15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
✔ MM-IQ: крупнейший бенчмарк для абстрактного визуального мышления
- 2710 образцов
- три формата ввода, шесть конфигураций задач и восемь моделей рассуждений
- таблица лидеров для оценки мультимодальных моделей
https://huggingface.co/datasets/huanqia/MM-IQ
@bigdatai
Microsoft представляет: Chain-of-Retrieval Augmented Generation
- Наблюдается улучшение более чем на 10 баллов в оценке EM - Устанавливает новый уровень производительности SotA в широком спектре наукоемких задач
https://arxiv.org/abs/2501.14342
🔥 ReaderLM-v2 — это языковая модель с 1.5 миллиарда параметров, специально разработанная для преобразования HTML в Markdown или JSON с высокой точностью!
🌟 Модель поддерживает до 29 языков и оптимизирована для работы с длинными контекстами (до 512 тыс. токенов, включая вход и выход). Она создана для задач, связанных с парсингом HTML, извлечением текстов и их преобразованием в структурированные форматы.
🔗 Ссылка: *клик*
@bigdatai
🔥 Jan — это открытая альтернатива ChatGPT, работающая полностью оффлайн на вашем устройстве!
🌟 Его цель — предоставить пользователям простой способ установки и использования больших языковых моделей (LLM) с полным контролем и конфиденциальностью. Jan поддерживает универсальные архитектуры, включая NVIDIA GPU, Apple M-серию, Apple Intel, Linux Debian и Windows x64.
💡 Основой Jan является Cortex, встраиваемый локальный AI-движок, способный работать на любом оборудовании. Jan предлагает библиотеку моделей с популярными LLM, такими как Llama, Gemma, Mistral и Qwen, а также возможность подключения к удаленным AI API, таким как Groq и OpenRouter. Кроме того, Jan предоставляет локальный API-сервер с интерфейсом, совместимым с OpenAI, и поддерживает расширения для кастомизации функционала.
🔐 Лицензия: AGPL-3.0
🖥 Github
@bigdatai
🔸 Gated DeltaNet: гибридная архитектура нейронных сетей с управлением памятью.
Gated DeltaNet - экспериментальная архитектура, разработанная NVIDIA для управления памятью в контексте линейных трансформеров, которая может решить проблемы с забыванием в моделях, обрабатывающих длинные последовательности данных.
Gated DeltaNet предлагает использовать одновременно дельта-правило и гейтинг. Дельта-правило обновляет память модели, заменяя устаревшую информацию на новую, а механизм гейтинга удаляет ненужную информацию из памяти, чтобы она не мешала модели работать эффективно.
Архитектура Gated DeltaNet была разработана на основе алгоритма, который параллелит вычисления дельта-правила с использованием представления WY и оптимизирует работу с GPU на уровне тензорных ядер.
Перфоманс-тестирование Gated DeltaNet проводилось на бенчмарках языкового моделирования, ризонинга, контекстного извлечения, экстраполяции длины и понимания объемного контекста.
Модель Gated DeltaNet превзошла Mamba2 и DeltaNet на всех этих тестах. Например - улучшенная точность на задачах S-NIAH-2 и S-NIAH-3, где Gated DeltaNet показала более эффективное управление памятью по сравнению с DeltaNet и Mamba2 и превосходство в задачах ризонинга.
Гибридные архитектуры, сочетающие слои Gated DeltaNet с вниманием скользящего окна или слоями Mamba2 повысили эффективность обучения и производительность моделей.
Тестовые GatedDeltaNet-H1 и GatedDeltaNet-H2 дали еще более высокие результаты, используя комбинации Gated DeltaNet + SWA и Mamba2 + Gated DeltaNet + SWA соответственно.
Gated DeltaNet показала самые низкие показатели перплексии при экстраполяции на длинные последовательности до 20 тыс. токенов и продемонстрировала превосходные способности в извлечении информации, обучении в контексте и отслеживании состояния в задачах LongBench.
🔸Практическая реализация обучения Gated DeltaNet на Pytorch доступна в репозитории на Github
📌Лицензирование:
🟢Некоммерческое использование: Nvidia Source Code License-NC
🟠Коммерческое использование: по запросу через форму NVIDIA Research Licensing
🟡Arxiv
🟡GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #NVIDIA #GatedDeltaNet
🔎 Depth Anything — это передовая технология оценки глубины, использующая монокуляр (одну камера).
Однако у этой технологии есть проблема с временной несогласованности в видео, что значительно ограничивает её практическое применение.
😩Существующие методы могут улучшить согласованность видео, но они применимы к коротким видео (менее 10 секунд) и требуют компромисса между качеством и эффективностью съёмки.
🤗 Video Depth Anything — модель, которая обеспечивает высококачественную и последовательную оценку глубины видео без ущерба для их эффективности.
Она построена на основе Depth Anything V2 и обладает мощным пространственно-временным управлением.
🍪 Разработанная на основе совместного набора данных о глубине видео и дешевых немаркированных изображений, эта модель представляет эффективную стратегию оценки длинного видео на основе ключевых кадров. Ограничения на градиенты глубины устраняют необходимость в дополнительных предварительных данных.
🖥 Эксперименты показали, что Video Depth Anything обрабатывает видео любой длины без потери качества, последовательности, что устанавливает новый уровень в оценке глубины видео с нулевой съемкой.
Доступны модели различных масштабов, при этом самая маленькая из них обеспечивает производительность в реальном времени со скоростью 30 кадров в секунду 🔥👍
Начало работы:git clone https://github.com/DepthAnything/Video-Depth-Anything
cd Video-Depth-Anything
pip install -r requirements.txt
✅ Лицензирование: Apache 2.0
▪GitHub
▪Paper
▪Model Small
▪Model Large
▪Demo
@ai_machinelearning_big_data
#DepthAnything #opensource #ml #depthestimation #videodepth
🤗 Hugging Face не так давно выпустила собственную low-code библиотеку для просто создания ИИ- агентов ⚡️
Smolagents - это библиотека на 100% с открытым исходным кодом, которая позволяет запускать мощные агенты, используя всего три строки кода.
↳ Импортируйте необходимые модули.
↳ Выберите агента
↳ Укажите LLM и инструменты, к которым он должен получить доступ.
↳ Запустите агент!
Готово!
- Поддерживает более 40 LLM
- Предоставляет один общий доступ к инструментам HF Hub.
- CodeAgent, который создает код и документирует свои действия.
Установка:
pip install smolagents
from smolagents import CodeAgent, DuckDuckGoSearchTool, HfApiModel
agent = CodeAgent(tools=[DuckDuckGoSearchTool()], model=HfApiModel())
agent.run("How many seconds would it take for a leopard at full speed to run through Pont des Arts?")
🚀Только что выпущено новое семейство моделей генерации кода Salesforce (SFR-Embedding-Code), занявшее 1-е место на бенчмарке CoIR!
Модель доступна в в 2-х размерах: 2B, 400M.
Основные характеристики:
1️⃣ Модель 2B: Занимает первое место в CoIR.
2️⃣ Модель 400M: демонстрирует лучшие показатели среди моделей на 0,5B параметров.
3️⃣ Поддерживает 12 языков программирования, Python, Java, C++, JavaScript, C# и другие!
Пример Запуска:
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel
# Each query needs to be accompanied by an corresponding instruction describing the task.
query_instruction_example = "Given Code or Text, retrieval relevant content"
queries = [
"how to implement quick sort in Python?"
]
# No instruction needed for retrieval passages
passages = [
"def quick_sort(arr):\n if len(arr) <= 1:\n return arr\n pivot = arr[len(arr) // 2]\n left = [x for x in arr if x < pivot]\n middle = [x for x in arr if x == pivot]\n right = [x for x in arr if x > pivot]\n return quick_sort(left) + middle + quick_sort(right)",
"def bubble_sort(arr):\n n = len(arr)\n for i in range(n):\n for j in range(0, n-i-1):\n if arr[j] > arr[j+1]:\n arr[j], arr[j+1] = arr[j+1], arr[j]\n return arr"
]
# load model with tokenizer
model = AutoModel.from_pretrained('Salesforce/SFR-Embedding-Code-2B_R', trust_remote_code=True)
# get the embeddings
max_length = 32768
query_embeddings = model.encode_queries(queries, instruction=query_instruction_example, max_length=max_length)
passage_embeddings = model.encode_corpus(passages, max_length=max_length)
# normalize embeddings
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
passage_embeddings = F.normalize(passage_embeddings, p=2, dim=1)
scores = (query_embeddings @ passage_embeddings.T) * 100
print(scores.tolist())
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:
МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy
🔥 Potpie — это инструмент для анализа и автоматизации работы с кодовой базой, который использует ИИ-агентов!
🌟 Он создает граф знаний из компонентов вашего проекта, чтобы предоставлять подробный контекст и рекомендации. Potpie позволяет использовать готовых агентов для отладки, анализа структуры кода, выполнения изменений и других задач, а также предлагает платформу для создания собственных агентов.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🧬 Evaluating GenMol as a Generalist Foundation Model for Molecular Generation
Могут ли генеративные модели на основе дискретной диффузии превзойти модели предсказания на основе GPT в молекулярных задачах? Советую почитать о GenMol, новом швейцарском армейском ноже NVIDIA для создания лекарств!
🔗статья: https://arxiv.org/abs/2501.06158
🔗блог: https://developer.nvidia.com/blog/evaluating-genmol-as-a-generalist-foundation-model-for-molecular-generation/
🔗демо: https://build.nvidia.com/nvidia/genmol-generat
@bigdatai
💥 Наглядная визуализация многомерных пространств.
@bigdatai
Генерация 3D-сетки из одного изображения МЕНЕЕ ЧЕМ ЗА СЕКУНДУ 🤯
https://huggingface.co/stabilityai/stable-point-aware-3d
👩💻 datasketch — Python-библиотека, содержащая реализации вероятностных структур данных, которые используются для оптимизации работы с большими объемами данных!
🌟 Среди основных возможностей — оценка схожести Jaccard с помощью MinHash и его взвешенной версии, а также оценка кардинальности множества с помощью HyperLogLog и HyperLogLog++. Эти структуры данных позволяют выполнять операции, такие как поиск схожих элементов или подсчет уникальных объектов, быстро и с минимальными затратами памяти.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
📖 Эта статья исследует уязвимость моделей типа Mixture-of-Experts (MoE)!
🌟 Исследователи показывают, как злоумышленники могут извлечь промпты пользователей путём манипуляции запросами в тех же пакетах, что и запросы жертвы. Это первый известный случай использования архитектурных уязвимостей для извлечения промптов, что открывает новый класс уязвимостей для LLM.
🔗 Ссылка: *клик*
@bigdatai
🤗 Inference Providers on the Hub!
С сегодняшнего дня вы можете получить доступ к тысячам моделей, таким как DeepSeek R1, Llama, Flux, Whisper и прямо из Hugging Face!
https://huggingface.co/blog/inference-providers
#huggingface #ml #providers
🐋 DeepSeek только что выпустила еще одну модель ИИ с открытым исходным кодом, Janus-Pro-7B.
Она мультимодальная и выигрывает у OpenAI DALL-E 3 и Stable Diffusion на бенчмарках GenEval и DPG-Bench.
https://huggingface.co/deepseek-ai/Janus-Pro-7B
@ai_machinelearning_big_data
#ai #deepseek #opensource #Janus
💥Релиз Qwen2.5-1M!
Теперь модель поддерживает контекст длиной 1 МИЛЛИОН ТОКЕН 🔥
⭐️ Доступны 2 модели: Qwen2.5-7B-Instruct-1M и Qwen2.5-14B-Instruct-1M.
Доступен подробный технический отчет о серии Qwen2.5-1M! 📊
📖 Технический отчет: https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf
📄 Блог: https://qwenlm.github.io/blog/qwen2.5-1m/
🚀 Потестировать можно здесь: https://chat.qwenlm.ai
🤗 Huggingface: https://huggingface.co/collections/Qwen/qwen25-1m-679325716327ec07860530ba
▪ Modelscope: https://modelscope.cn/collections/Qwen25-1M-d6cf9fd33f0a40
@bigdatai
Вот все, что произошло в AI Agents на этой неделе 🧵
@bigdatai
🔥 Обобщение и переобучение в машинном обучении.
- Видео
- Урок 1 / Урок2 / Урок3 / Урок4 / Урок5 /
- Урок6/ Урок7/ Урок 8
- Colab
-Полный курс
#ml #math #mlmath #probability #машинноеобучение
@bigdatai
🖥 SiYuan — это программное обеспечение с открытым исходным кодом для управления личными знаниями, ориентированное на конфиденциальность!
🌟 Оно позволяет пользователям организовывать свои заметки, данные и информацию с высокой степенью гибкости и точности. SiYuan поддерживает работу с Markdown в режиме WYSIWYG, двусторонние ссылки, блочные структуры и встроенные SQL-запросы. Приложение доступно для разных платформ, включая Windows, macOS, Linux, Android и iOS, а также поддерживает развертывание через Docker.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🧠 XMIDI Dataset - это крупномасштабный набор данных о музыке с метками эмоций и жанров.
Самый большой из известных мне наборов данных музыки с точными метками эмоций и жанров, содержащий 108 023 MIDI-файла.
📌 Github
🔥 Open Deep Research — это инструмент с открытым исходным кодом, разработанный для автоматизации исследовательского процесса и создания отчётов с использованием искусственного интеллекта!
🌟 Он выполняет три этапа: получение результатов веб-поиска через Bing Search API, извлечение и обработку релевантного контента из найденных источников с помощью JinaAI и генерацию итогового отчёта с использованием AI-моделей, таких как GPT-4, Gemini или Sonnet. Это позволяет пользователям быстро получать синтезированные данные и создавать информативные отчёты по заданным запросам.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
📝 AI reads books: Page-by-Page PDF Knowledge Extractor & Summarizer — скрипт, предназначенный для интеллектуального постраничного анализа PDF-книг!
🌟 Скрипт извлекает ключевые знания с каждой страницы и генерирует прогрессивные резюме через определенные интервалы, что позволяет глубже понять содержание книги, сохраняя при этом ее контекстуальную целостность.
🌟 Основные функции скрипта включают автоматический анализ и извлечение информации из PDF, генерацию резюме с использованием искусственного интеллекта, сохранение знаний в базе данных и форматирование итоговых резюме в Markdown. Кроме того, скрипт обеспечивает цветовую индикацию в терминале для улучшения восприятия и может возобновлять работу с места последней обработки, что делает его удобным инструментом для детального изучения и конспектирования PDF-книг.
🖥 Github
@bigdatai
🧠 Helium 1 preview 2b
Kyutai labs выпустили Helium-1 Preview, 2B многоязычный LLM для edge девайсов и мобильных устройств.
Модель, обучена на 2,5 Т токенов и превосходит Qwen 2.5 1.5B🔥
> Превосходит/сопоставим с Owen 1.5B, Gemma 2B и Llama 3B
> обучен на 2.5T токенов с размером контекста 4096
> использует дистилляцию на уровне 7B модели
> разработчики планируют добавить больше языков, выпустить полную версию
> открытый код
🤗 HF: https://huggingface.co/kyutai/helium-1-preview-2b
@ai_machinelearning_big_data
#Helium #llm #ml
🔥 Inferable — это платформа с открытым исходным кодом, предназначенная для создания и управления AI-агентами, интегрированными с LLM!
🌟 Платформа ориентирована на разработчиков, предоставляя удобный инструментарий для построения автоматизаций, которые могут выполнять сложные задачи с помощью вызова заранее определенных функций. Inferable поддерживает долговечное выполнение задач, автоматическое восстановление после сбоев, кэширование результатов и балансировку нагрузки, что делает её надежным решением для продакшн-сред.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🤖 AI Agent Tools
Awesome список фреймворков, платформ, инструментов, учебников и ресурсов для ИИ-агентов.
Я только что нашел качественный ресурс для изучения работы ИИ-агентов, охватывающий все, от фреймворков до внутреннего устройства агентов.
http://aiagenttoolkit.xyz
@bigdatai
🔥 PromptWizard — это фреймворк для оптимизации запросов в задачах, использующих LLM!
🌟 Он автоматизирует процесс создания, анализа и улучшения запросов, используя итеративный подход, где модель сама генерирует и дорабатывает инструкции и обучающие примеры. Этот инструмент помогает адаптировать запросы к конкретным задачам, обеспечивая лучшее качество ответов и более глубокое понимание инструкций языковой моделью.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🔥 Эта статья описывает, как визуализировать и анализировать использование GPU-памяти в PyTorch!
🌟 В ней объясняется, как использовать инструмент для записи и анализа истории использования памяти, чтобы выявить проблемы с памятью при обучении моделей. Рассматриваются методы оценки требований к памяти, оптимизации ее использования и понимания различных этапов, таких как создание модели, передача данных, расчеты градиентов и шаги оптимизации.
🔗 Ссылка: *клик*
@bigdatai