Visual-ARFT: открытый метод обучения AI-агентов обходит GPT-4o в мультимодальных задачах и снижает затраты на обучение на 88%

Исследователи обучали модель Qwen2.5-VL двум сценариям:
Агентный поиск: модель планирует, декомпозирует исходную задачу и извлекает информацию из внешних источников для ответа на сложные мультимодальные многошаговые VQA вопросы.
Агентное программирование: модель рассуждает о задаче, пишет и выполняет код для обработки изображений и решения сложных задач визуального анализа.

Visual-ARFT использует модульную систему верифицируемых вознаграждений:
Format Reward учит соблюдать четкий формат выходных данных, включая теги <think>, <search>, <code> и <answer>. Это стимулирует структурированное пошаговое рассуждение и корректное использование инструментов.
Accuracy Rewards оценивают качество ответов, используя F1-score, оценивая семантическое сходство поисковых запросов и выполнимость сгенерированного кода.

На MAT-Coding модель Qwen2.5-VL-7B с Visual-ARFT достигает улучшений +18.56% F1 и +13.00% EM по сравнению с базовой версией, превосходя GPT-4o.
На MAT-Search та же модель демонстрирует прирост +10.28% F1 и +8.66% EM.

Код доступен на Github.

#Stateoftheart

Читать полностью…

👆Супер краткое содержание:

Докладчик подчеркнул, что, хотя большие языковые модели (LLM) демонстрируют значительный прогресс, их использование связано с высокими затратами на обучение и инференс, что ограничивает их применение. Вместе с тем, развитие больших моделей также способствовало прогрессу малых языковых моделей, которые содержат до 7 миллиардов параметров. Эти модели более доступны для использования и обучения на стандартном оборудовании, и они могут быть эффективными в специализированных задачах.

Докладчик, Иван Бондаренко, представил исследования и внедрение малых генеративных моделей в различных отраслях, включая образование и промышленность. Он отметил, что малые модели могут быть использованы для решения задач, связанных с пониманием и манипулированием текстом, и они могут быть эффективно интегрированы в пайплайны с использованием внешних баз знаний.

Иван также обсудил подходы к обучению малых моделей, такие как Curriculum Learning, и отметил, что малые модели могут быть дообучены на специализированных задачах, что делает их ценными для решения конкретных бизнес-задач. Он подчеркнул, что малые модели могут улучшить экономическую эффективность и ускорить инференс, а также быть полезными для фильтрации и подготовки запросов для больших моделей.

В заключении, Иван отметил, что малые языковые модели могут быть особенно полезны в отраслях, где требуется управление базами знаний, вопросно-ответные системы, особенно с чувствительными документами, и задачи, связанные с извлечением знаний.

10 ключевых слов из доклада:

1. Малые языковые модели
2. Инференс
3. Пропускная способность
4. Генеративные модели
5. Дообучение
6. Экономическая эффективность
7. Знание о мире
8. Понимание текста
9. Retrieval-Augmented Generation (RAG)
10. Curriculum Learning

10 выводов на основе данного доклада:

1. Сложность и стоимость больших языковых моделей: Большие языковые модели требуют значительных вычислительных мощностей и затрат на обучение и инференс. Их использование может быть проблематично для многих организаций.

2. Проблемы с задержками и комплаенсом: Использование услуг ведущих поставщиков языковых моделей часто сопряжено с проблемами задержек и соблюдения регуляторных требований.

3. Развитие малых языковых моделей: Развитие больших языковых моделей стимулировало прогресс в малых языковых моделях, которые имеют до 7 миллиардов параметров и могут быть эффективно использованы большинством организаций на собственных мощностях.

4. Эффективность малых моделей: Малые языковые модели могут быть не менее эффективны, а иногда даже лучше больших моделей в специализированных областях применения. Они генерируют меньше галлюцинаций и имеют лучшую пропускную способность и дешёвые инференсы.

5. Использование малых моделей в различных отраслях: Компания «Сибирские нейросети» активно внедряет малые генеративные модели в образовательной деятельности, промышленности и других отраслях бизнеса.

6. Эволюция нейросетей: Нейросети имеют длительную историю, начиная с середины XX века, и их сложность постоянно увеличивается. Современные большие языковые модели достигают уровня сложности человеческого мозга.

7. Перенос обучения: Малые языковые модели способны к переносу обучения, что позволяет использовать знания, полученные при решении одной задачи, для решения другой задачи с меньшим набором данных.

8. Экономическая эффективность малых моделей: Малые языковые модели экономически эффективны, так как они не требуют мощного дата-центра и обеспечивают быстрый отклик.

9. Роль базы знаний: Использование внешней базы знаний позволяет снизить требования к размеру модели и улучшить управляемость знаний, что делает малые модели более подходящими для специализированных задач.

10. Внедрение малых моделей в различных отраслях: Малые языковые модели могут быть эффективно внедрены в управление базами знаний, вопросно-ответные системы, особенно для чувствительных документов, и для специализированных задач, где требуется дообучение модели на конкретных данных.

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🔥 ByteDance представил Seed1.5-VL — новый лидер в мультимодальном анализе

Китайский гигант ByteDance представил модель Seed1.5-VL. Несмотря на компактные размеры (всего 20B параметров), она конкурирует с топовыми решениями вроде Gemini2.5 Pro. И она умеет "глубоко размышлять" над изображениями!

🚀 Что умеет?
- Видеоанализ: Например, по запросу «что натворил кот?» выдает таймкоды всех «преступлений»
- Точный поиск объектов: Находит товары на полке, читает ценники и считает сумму
- Распознавание эмоций: Определяет количество злых котиков на фото с указанием координат
- GUI-интеграция: Может имитировать клики пользователя в интерфейсах

💡 Технические детали:
• Архитектура: ViT-532M + MoE-LLM 20B
• Обучение: 3 этапа с фокусом на OCR, визуальном grounding’е и работе с длинными последовательностями
• Инновации: гибрид RLHF/RLVR, оптимизированная балансировка нагрузки GPU

⚡️ Результаты
Модель набрала 38 топ-результатов в 60 тестах (включая 14/19 видео-тестов)

Официальный сайт | Отчет | GitHub

#КитайскийИИ #КитайAI #МультимодальныйИИ #ComputerVision #ByteDance

Читать полностью…

⚡️Создаём свою нейросеть в PyTorch

Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.

Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei.

Что будет на вебинаре?
🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU;
🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей;
🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения;
🟠Научимся использовать DataLoader для эффективной загрузки данных;
🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN);
🟠Обучим и протестируем модель.

🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта.

😶Зарегистрироваться на бесплатный вебинар

Читать полностью…

поздравляю всех с Днем Победы в Великой Отечественной войне!

цифровая вычислительная техника не успела внести вклад в исход войны, а вот аналоговая вполне успела; на картинке прибор управления артиллерийским зенитным огнем ПУАЗО-3; между прочим, уже электрический

к созданию таких приборов приложило руку немало ученых, которые потом стали отцами искусственного интеллекта в СССР: академик Лебедев, член-корр. Преснухин, гораздо менее известный профессор Гутенмахер, и многие другие

на мой взгляд важно помнить и подвиг солдат на фронте, и подвиг тружеников в тылу, в том числе ученых

еще раз с Днем Победы!

Читать полностью…

📊Обновили график Price vs Quality на LLM Arena

Мы постарались учесть всё, что мешало удобному анализу, и улучшили основные элементы. Теперь он точнее, аккуратнее и лучше отражает реальную картину:

⏺️Визуализация стала понятнее
График больше не выглядит сжатым и перегруженным, что делает его более читаемым и облегчает сравнение моделей между собой.

⏺️Добавлены доверительные интервалы
Они помогают оценить статистическую надежность Elo-рейтинга каждой модели.

⏺️Гибкий расчёт стоимости
Теперь вы можете настраивать баланс между input- и output-токенами в зависимости от ваших задач.

⏺️Параметр "Style Control"
Позволяет "очистить" рейтинг от влияния стиля – длины текста, форматирования (списков, выделений).

⏺️Актуальные модели
График построен на свежих данных с основного лидерборда LLM Arena.

Найти график можно на сайте llmarena.ru во вкладке Таблица лидеров ➡️ Price vs Quality.

А вы уже нашли свою модель?
❤️ — да, и она стоит своих денег
🔥 — пока только ищу, спасибо за график

Читать полностью…

На Хабре вышла статья Дмитрия Кабанова "«Теплый ламповый» опенсорс — новые мега-подборки, пет-проекты, комиксы и книги, абсурдные и полезные лицензии".

В ней - подборка интересных opensource-related материалов: интересных репозиториев, книг, awesome-листов и т.д.

Среди прочего, упоминают про научный код и нашего ИИ-ассистента для опенсорс-разработки OSA, про которого мы недавно рассказывали в канале.

Читать полностью…

❗️ Как инъекция промта заставляет ИИ говорить всё и вытягивает системный запрос | Привет, друг. На связи Эллиот.

Исследователи представили универсальную и переносимую постинструкционную технику инъекции промтов, которая успешно обходит иерархию инструкций и защитные механизмы ключевых современных ИИ‑моделей.

– В данном материале представлены технические детали этой методики обхода, а также процесс её разработки и расширения, в частности для систем с автономной природой.

⏺ Ссылка на чтиво

#ИИ #Injection

Читать полностью…

Недавно в нашем чате обсуждали подборку опенсорс-библиотек для ИИ от ICT Moscow - и вот вышла расширенная версия:

В этот раз авторы собрали полноценную карту из 128 инструментов Open Source для ИИ-разработчиков за пять лет.

Посмотреть, что получилось, можно здесь:
- https://ict.moscow/research/russian-open-source-ai-map/ (с подробным описанием);
- https://ict.moscow/static/download/862d92ef-6bc9-3f88-b987-3aa6e2b3059f (чисто pdf);
- /channel/ict_moscow_analytics/5403 (пост с превью аналитики).

За основу взята прошлая подборка, расширен период (2020-2025), доработан контент (в чате как раз обсуждали, что было упущено в первой итерации - например, LightAutoML)

На карте инструменты разбиты на группы по типам и по характеру прикладных задач, по ссылкам — карточки с краткими описаниями и ссылками на репозитории.

Также в приложении к карте отдельно собраны профили некоторых участников команд на GitHub, HuggingFace, ResearchGate, Habr и других платформах.

Про проекты команд из ИТМО тоже вспомнили - FEDOT, ProtoLLM, LLAMATOR, совместный со Сбером Stalactite.

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🔥 Qwen3: новый уровень открытых ИИ-моделей от Alibaba!

Китайский гигант Alibaba представил третье поколение своей флагманской ИИ-серии Qwen — мощные языковые модели с полностью открытой лицензией Apache 2.0.

📌 Основные модели серии:
• Qwen3-235B-A22B (флагман) — 235 млрд параметров с 22 млрд активных - конкурирует с Grok-3 и Gemini Pro
• Qwen3-30B-A3B — в 10x эффективнее аналогов при 3 млрд активируемых параметров
• 6 Dense-моделей (0.6B–32B) с полным открытым исходным кодом

💡 Ключевые инновации:
→ Режимы "Размышление/Без размышления" для баланса скорости и качества ответов
→ Поддержка 119 языков (рекорд среди открытых моделей)
→ Улучшенные возможности для работы с агентами и MCP
→ В 2x больше данных для обучения vs Qwen2.5 (36 трлн токенов)
→ Экономичность: запуск полной модели требует всего 4 видеокарты H20, а использование видеопамяти на 66% меньше, чем у аналогов
→ Qwen3-0.6B можно запустить даже на смартфоне!

Онлайн-демо |
HuggingFace |
ModelScope |
GitHub

Для развертывания разработчики рекомендуют использовать SGLang и vLLM, для локального применения — Ollama или LMStudio.

Подробнее в блоге разработчиков

💡 Интересный факт!
📊 С выпуском Owen 3, Qwen стал самым крупным семейством открытых моделей в мире опередив Llama:
✅ Свыше 200 моделей
✅ Более 300 млн загрузок
✅ 100 000+ производных архитектур

#КитайскийИИ #КитайAI #OpenSource #MoE #AlibabaQwen #ЯзыковыеМодели

Читать полностью…

🌟 Математические датасет OpenMathReasoning и модели OpenMath-Nemotron - победители олимпиады AIMO-2.

NVIDIA представила новый подход к обучению моделей для сложных математических задач, заняв первое место в конкурсе Kaggle AIMO-2.

Секрет — в огромном датасете OpenMathReasoning, который состоит из 540 тыс. уникальных задач с Art of Problem Solving, 3,2 млн. многошаговых решений (CoT) и 1,7 млн. примеров с интеграцией кода (TIR).

Для сравнения: это в разы больше, чем в популярных аналогах MATH и GSM8K. Все это дополнено 566 тыс. примеров для обучения генеративному выбору решений (GenSelect) — методу, который лучше, чем классическое голосование большинством.

OpenMathReasoning создавался тщательно и ответственно. Сначала задачи фильтровались через Qwen2.5-32B, чтобы убрать простые или дублирующие бенчмарки. Затем DeepSeek-R1 и QwQ-32B генерировали решения, а итеративная тренировка с жесткой фильтрацией улучшала качество. Например, код в TIR-решениях должен был не просто проверять шаги, а давать принципиально новые вычисления — вроде перебора вариантов или численного решения уравнений.

Модели OpenMath-Nemotron (1,5B–32B параметров), обученные на этом наборе данных показали SOTA-результаты. 14B-версия в режиме TIR решает 76,3% задач AIME24 против 65,8% у базового DeepSeek-R1. А с GenSelect, который анализирует 16 кандидатов за раз, точность взлетает до 90%. Даже 1,5B-модель с GenSelect обгоняет 32B-гиганты в отдельных тестах.


📌Лицензирование: CC-BY-4.0 License.


🟡Набор моделей
🟡Arxiv
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Math #Dataset #NVIDIA

Читать полностью…

🖥 Новинка в Python 3.14: t-строки — типобезопасные f-строки

Python 3.14 вводит t"..." — новый синтаксис для строк, ориентированных на безопасность типов и интеграцию с системами шаблонов, SQL, HTML и др.

🔹 Что такое t-строка?
t"..." — это как f"...", но:

- интерполяция ограничена и контролируема;
- поддерживается строгое соответствие шаблону;
- можно передавать переменные явно, предотвращая SQL-инъекции и XSS.

🔸 Пример:

name = "Alice"
greeting = t"Hello, {name}!"  # t-строка
Вместо немедленной подстановки, как в f"...", t"..." создает шаблон с выражениями как параметрами.

🔐 Зачем это нужно?
✅ Безопасность при генерации SQL, HTML, JSON

✅ Улучшение инструментов и проверки типов (через static analysis)

✅ Контроль над контекстом исполнения (больше нельзя просто вставить переменную как есть — нужно передать её явно)

📦 Использование:
t-строки — это первый шаг к "template string literals" как в TypeScript.

Можно использовать с функциями:

def html(template: T[str]) -> SafeHTML:
    ...

html(t"<div>{user_input}</div>")

💡 Почему это важно?
Старый код:

f"SELECT * FROM users WHERE name = '{user_name}'"
может привести к SQL-инъекциям и XSS.
t-строки — безопасная альтернатива с встроенной защитой.

🛡 Пример: безопасный HTML

template = t"<p>{user_input}</p>"
html_output = html(template)
# <p>&lt;script&gt;alert('bad')&lt;/script&gt;</p>

Функция html() может вернуть не просто строку, а полноценный HTMLElement.
Больше никакой "грязи" — всё чисто и типобезопасно.

🔍 Работа с шаблоном
t-строки позволяют получить доступ к содержимому:

template = t"Hello {name}!"
template.strings      # ("Hello ", "!")
template.values       # (name,)
template.interpolations[0].format_spec  # ">8"

Можно и вручную собрать шаблон:

Template("Hello ", Interpolation(value="World", expression="name"), "!")

🚀 Вывод:
t"..." — шаг к безопасным шаблонам и типизации строк в Python.
Готовься к будущему Python — безопасному по умолчанию.

📌 Подробнее здесь

@pythonl

Читать полностью…

Btw we are live at /channel/daos_hub?livestream

Читать полностью…

WavChat: A Survey of Spoken Dialogue Models. Часть 1/4

Сегодня поделимся суммаризацией главным из большого обзора разговорных ИИ. Сначала он кажется неплохой попыткой систематизировать происходящее в мире ALM: авторы анализируют тренды и на основе существующих публикаций пытаются понять, куда всë идёт и как было бы лучше. Но в какой-то момент статья начинает повторять саму себя. Тем не менее, лучшей попытки осознать происходящее мы не нашли. Давайте разбираться.

Идея объединить аудиомодальность с LLM давно будоражит умы академии и индустрии. Но долгое время никто толком не мог понять, для чего это нужно. Первой значимой попыткой можно назвать Whisper, который заставил seq2seq-модель предсказывать не только ASR, но и перевод.

На диаграмме легко заметить, какой именно момент развития ALM стал переломным и сделал очевидным, что нужно двигаться к разговорным моделям: когда коммьюнити узнало о GPT-4o. OpenAI показали, как аудиомодальность может сделать диалог с LLM естественным, почти бесшовным, решая между делом не только задачи распознавания синтеза, но и, например, классификацию скорости дыхания.

Авторы считают, что всё нужно свести к voice-to-voice диалоговому стеку. Его можно собрать из последовательной работы моделей (ASR-LLM-TTS), сделать end2end или составить из частичных фьюзов отдельных компонент. Трёхстадийный каскад ASR-LLM-TTS при этом предлагается считать бейслайном, о который нужно калиброваться. И побеждать его — учиться понимать особенности речи, воспринимать звуки, уместно отвечать или, наоборот, пропускать реплики.

В статье выделяют девять навыков, которыми должны обладать диалоговые модели:

- Text Intelligence;
- Speech Intelligence;
- Audio and Music Generation;
- Audio and Music Understanding;
- Multilingual Capability;
- Context Learning;
- Interaction Capability;
- Streaming Latency;
- Multimodal Capability.

Всё, что опубликовано по теме диалоговых систем за последний год, авторы предлагают классифицировать по разным признакам:

- Архитектура: end2end- и каскадные модели.
- Способ представления звука: токенизация или энкодер.
- Парадигма тренировки: использовали ли пост-претрейн, какие задачи решали.
- Подход к обеспечению диалоговости: стриминг, симплекс, дюплекс, полудюплекс.

Дальше попробуем пошагово проследить эту классификацию.

Продолжение следует.

Никита Рыжиков ❣ Специально для Speech Info

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🔥 Huawei представила языковую модель Pangu Ultra на 135 млрд параметров

Компания Huawei представила новую версию своей флагманской модели — Pangu Ultra. Это первая в Китае крупномасштабная языковая модель, полностью разработанная и обученная на отечественных чипах Ascend NPU без использования западных технологий.

Главное достижение:
• Модель (135B) превосходит Llama 405B и Mistral Large 2, соответствуя DeepSeek-R1 при меньшем размере
• Обучалась на 8192 NPU Ascend и 13.2 триллионах токенов с уникальными архитектурными решениями

🔍 Технологические инновации:

Стабильность обучения
• DSSN (Depth-scaled sandwich-norm) – новая архитектура нормализации для глубоких моделей
• TinyInit – революционный метод инициализации параметров

Оптимизация данных
• "Умный" токенизатор с 153,376 токенами (охватывает код, математику, языки)
• Трехэтапное обучение: общие знания → логика → специализация

⚡ Рекордные показатели:
- Поддерживает контекст до 128К токенов (~170 тыс. китайских иероглифов)
- Достигла 50% эффективности использования вычислительных ресурсов (MFU) на кластере из 8192 NPU

Технические детали:
• Гибридный параллелизм: 128DP × 8TP × 8PP + виртуальный конвейер
• Оптимизации системы: MC2, NFA, RoPE-операторы
• Потребление памяти сокращено на 30% за счет общего кэширования

📌 Вывод: Pangu Ultra доказывает возможность создания конкурентных LLM без зависимости от западных технологий, открывая новую эру китайского ИИ.

Технический отчет

#КитайскийИИ #КитайAI #Huawei #LLM #БольшиеМодели

Читать полностью…

OpenAI представляет Codex — облачного агента для генерации кода, способного выполнять множество задач параллельно.

В основе — модель codex-1.


🧠 Ключевые особенности:

• Codex работает прямо в браузере
• Поддерживает многозадачность: можно одновременно проверять код, задавать вопросы и переключаться между задачами
• Построен на **новой модели Codex-1** — самой мощной модели для кодинга от OpenAI
• Интеграция с GitHub — можно подключить свой аккаунт, и агент будет работать с вашими репозиториями

🚀 Codex — это шаг в сторону полуавтоматизированной разработки, где ИИ способен выполнять рутинную и аналитическую работу без постоянного контроля со стороны разработчика.

📅 Запуск ожидается уже сегодня.

https://openai.com/index/introducing-codex/


@ai_machinelearning_big_data

#OpenAI #Codex #AI #CodeAutomation #DevTools

Читать полностью…

🔮 CN-AI-RESEARCH | Исследования в области ИИ

🚀 Qwen3: представлен полный технический отчет

Китайская команда представила технический отчет по семейству моделей Qwen3.

📊 Состав семейства:
✔️ 6 плотных моделей (0.6B–32B параметров)
✔️ 2 MoE-модели (30B и 235B параметров)

💡 Двойной режим работы
Qwen3 использует интеллектуальную систему переключения между:
→ Режимом глубокого анализа (для сложных задач)
→ Режимом быстрого ответа (для простых запросов)

Автоматическое переключение происходит через параметр thinking budget, который оценивает сложность вопроса.

💡 Ключевые инновации:
• Динамическое распределение thinking budget (вычислительных ресурсов) в зависимости от сложности задачи
• Устранение QKV-смещения и внедрение QK-Norm для стабильности обучения
• Новый подход к балансировке нагрузки экспертов в MoE-архитектуре

🎓 Трехэтапное обучение:
1. Базовые знания (обычные тексты, 4k токенов)
2. Улучшение логики (STEM/код, 4k токенов)
3. Длинные тексты (спецкорпус, 32k токенов)

Отчет также раскрывает метод "большой учит маленького":
- Off-policy дистилляция ("заучивание" ответов учителя)
- On-policy дистилляция ("разбор ошибок" после попыток)

Полный отчет

#КитайскийИИ #КитайAI #Qwen3 #MoE #Дистилляция

Читать полностью…

🌟 Continuous Thought Machines: нейросеть, которая способна думать как мозг человека.

Continuous Thought Machine (CTM) - концептуальная архитектура от SakanaAI, вдохновленная биологическими процессами мозга человека. Вместо масштабирования «в ширину» концепт предлагает «глубину» мышления, учитывая временную динамику и имитируя естественные нейронные взаимодействия.

Биологическая аналогия в CTM не случайна. Волны активности в CTM напоминают процессы в коре мозга, где синхронизация нейронов играет ключевую роль в обработке информации. Это не точная имитация природы, но шаг к системам, которые решают задачи через внутренние динамические состояния, а не через гигантские объемы данных.

Ядро CTM - это 2 ключевых механизма. Во-первых, каждый "нейрон" здесь имеет собственные параметры для анализа истории входящих сигналов. Это похоже на то, как биологические нейроны адаптируются к контексту, запоминая предыдущие импульсы.

Во-вторых, архитектура использует синхронизацию активности нейронов как основу для принятия решений. Представьте, что нейроны «договариваются» между собой через временные паттерны активности — именно это и становится языком, на котором CTM интерпретирует данные.

🟠Математическая основа CTM

CTM строится на рекуррентной обработке временных паттернов. Каждый нейрон обновляет свое состояние через персональную MLP​​, которая анализирует историю пре-активаций — выходов «синаптической» модели​​, объединяющей предыдущие состояния и данные через внимание.

Синхронизация вычисляется как взвешенное скалярное произведение пост-активаций с экспоненциальным затуханием​​, где параметр "забывания прошлых взаимодействий"​обучается, контролируя вклад временных шагов.

Выходы модели формируются проекцией синхронизации, а адаптивность достигается динамическим выбором критических тиков через минимизацию потерь и максимизацию уверенности.

Эксперименты показали, что такой подход работает не только в теории. На ImageNet-1K CTM демонстрирует точность 72.47% (top-1), а ее внимание плавно перемещается по изображению, фокусируясь на ключевых деталях, также, как человек рассматривает объект.

Самый интересный эксперимент - решение лабиринтов. Без позиционных эмбедингов модель строит внутреннюю «карту», анализируя структуру шаг за шагом, и даже обобщает знания на лабиринты большего размера. Это косвенно доказывает, что CTM способна к планированию, а не просто запоминанию паттернов.

CTM умеет экономить ресурсы: для простых задач (классификации очевидных изображений) она останавливает вычисления раньше, а для сложных — «думает» дольше. Это происходит без явных инструкций.

В качестве примера: в задаче сортировки чисел модель тратит больше «мысленных шагов» на сложные перестановки, а в вычислении четности последовательности обучается стратегиям, напоминающим алгоритмическую логику.

Пока CTM не SOTA, но она открывает возможности применения в RL-средах (как конкурент LSTM), а в калибровке предсказаний даже превосходит человеческую точность на CIFAR-10. Архитектура не привязана к определенному типу данных, она работает с изображениями, последовательностями и текстом (хотя на NLP ее масштабно не тестировали).

В открытом доступе на Github опубликован код практической демонстрации CTM в задачах классификации ImageNet, решения двумерных лабиринтов, сортировку, вычисления четности, QA и задачи RL. Датасеты и тестовые модели доступны по запросу через форму Google Drive.


🟡Статья
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CTM #SakanaAI

Читать полностью…

⚡️ HunyuanCustom: консистентная видеогенерация c инпейнтом и липсинком.

Tencent выпустила HunyuanCustom, фреймворк, который не только генерирует видео по заданным условиям, но и умеет сохранять консистентность субъектов, будь то человек, животное или предмет. Модель справляется даже с мультисубъектными сценами: в демо-роликах люди естественно взаимодействуют с предметами, а текст на упаковках не плывет между кадрами.

В основе модели лежит улучшенный механизм слияния текста и изображений через LLaVA. Например, если вы загружаете фото женщины в платье и текст «танцует под дождем», система анализирует оба инпута, связывая описание с визуальными деталями.

Но главное - это модуль временной конкатенации: он «растягивает» особенности изображения вдоль временной оси видео, используя 3D-VAE. Это помогает избежать «прыгающих» лиц или внезапных изменений фона, проблемы, которая характерна даже для топовых моделей видеогенерации.

Tencent переработали и пайплайн аудио. Для синхронизации звука с движениями губ или действиями в кадре HunyuanCustom использует AudioNet, модуль, который выравнивает аудио- и видеофичи через пространственное кросс-внимание.

Фреймворк поддерживает возможность замены объекта в готовом ролике (скажем, подставить новую модель кроссовок в рекламу), модель сжимает исходное видео в латентное пространство, выравнивает его с шумными данными и встраивает изменения без артефактов на границах.

Экспериментальные тесты показали, что HunyuanCustom обходит конкурентов по ключевым метрикам. Например, Face-Sim (сохранение идентичности лица) у Tencent — 0.627 против 0.526 у Hailuo, а с Keling, Vidu, Pika и Skyreels разрыв еще больше.

⚠️ Для работы модель требует минимум 24 ГБ видеопамяти для роликов 720p, но чтобы раскрыть все возможности, разработчики рекомендуют 80 ГБ VRAM.

Код и чекпоинты уже доступны в открытом доступе, а в репозитории есть примеры запуска как на нескольких GPU, так и в экономном режиме для потребительских видеокарт.


📌Лицензирование кода : Tencent Hunyuan Community License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Video #HunyuanCustom #Tencent

Читать полностью…

NVIDIA just open sourced Open Code Reasoning models - 32B, 14B AND 7B - APACHE 2.0 licensed 🔥

> Beats O3 mini & O1 (low) on LiveCodeBench 😍

Backed by OCR dataset the models are 30% token efficient than other equivalent Reasoning models

Works with llama.cpp, vLLM, transformers, TGI and more - check them out today!!

https://huggingface.co/nvidia/OpenCodeReasoning-Nemotron-32B

Читать полностью…

🌟 NeMo-Inspector: продвинутый анализ генерации языковых моделей.

NeMo-Inspector от NVIDIA — это инструмент, который превращает анализ генераций из рутины в осмысленный процесс. Он не просто показывает результаты, а помогает их систематизировать, сравнивать и даже чистить данные.

NeMo-Inspector не просто просмотрщик логов. Это полноценная среда, где можно менять промпты на лету, маркировать проблемные данные и проверять гипотезы.

Для инженеров, которые хотят не просто получать ответы от LLM, но и понимать, как они рождаются, NeMo-Inspector мастхэв. Он не даст магии, зато сэкономит часы ручного разбора и поможет найти слабые места даже в сложных пайплайнах, а поддержка Markdown, LaTeX и подсветки синтаксиса сделает работу с математическими задачами или кодом менее муторной.

▶️NeMo-Inspector работает в двух режимах: 

🟢Inference Page позволяет экспериментировать с промптами в реальном времени. Вы можете писать запросы вручную или использовать шаблоны с плейсхолдерами: например, подставлять разные задачи в структуру «Проблема: {вопрос}; Решение: {ответ}». Это удобно, когда нужно тестировать гипотезы без постоянной перезагрузки модели.

🟢Analyze Page заточен под глубокий разбор уже сгенерированных данных. Загрузите JSON-файлы и инструмент покажет выборки в читаемом формате с подсветкой кода и формул.

Гибкость проводимого анализа - особенность NeMo-Inspector. Вы можете сравнивать, как одна модель справляется с разными параметрами (температура, top_p) или как разные модели решают одну задачу. Допустим, проверяете, повышает ли CoT точность ответов. NeMo-Inspector выведет результаты бок о бок, а еще посчитает статистику: доля правильных ответов, «уверенность» модели (persistence) или кастомные метрики, которые можно задать самостоятельно через Python-функции.

Из практических кейсов: NeMo-Inspector помог «почистить» синтетический датасет GSM-Plus, где 46,99% данных оказались проблемными (в некоторых вопросах было по два знака вопроса — модель путалась, на какой отвечать). В проекте с OpenMath-Mistral-7B выяснилось, что 26% ошибок связаны с падением качества сгенерированного кода. После доработки датасета точность модели выросла на 4,17%.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #NeMoInspector #NVIDIA

Читать полностью…

⚡️ Matrix3D: универсальная модель для фотограмметрии от Apple.

Matrix3D — модель, предлагающая решение сразу нескольких задач в рамках единой архитектуры: оценку положения камер, предсказание глубины и генерацию новых ракурсов.

Всю эту красоту обеспечивает модифицированный диффузионный трансформер, который обрабатывает изображения, параметры камер и карты глубины как взаимосвязанные модальности. Он не только упрощает традиционный пайплайн (нет зависимостей от отдельных алгоритмов SfM или MVS), но и повышает точность за счет уникальной оптимизации.

Ключевая особенность Matrix3D — маскированное обучение, позаимствованное из методов MAE. Модель тренируется на частично заполненных данных: парах «изображение-поза» или «изображение-глубина». При этом модель учится «достраивать» недостающие модальности, что позволяет комбинировать входы и выходы во время инференса. Например, можно добавить карту глубины с физического датчика или сгенерировать новые ракурсы на основе всего двух изображений.

Результаты тестов с задачей оценки поз на датасете CO3D Matrix3D обходят специализированные методы (RayDiffusion): точность определения положения камеры достигает 96,3% против 92,4% у конкурентов.

В синтезе видов модель демонстрирует PSNR 20,45 против 19,22 у SyncDreamer, а в оценке глубины — AbsRel 0,036 против 0,064 у Metric3D. При этом Matrix3D не требует отдельных моделей для каждой задачи, все решается в рамках одной модели.

Практическая ценность модели — в ее адаптивности. Например, для 3D-реконструкции из одного кадра Matrix3D сначала генерирует недостающие ракурсы, оценивает их позы и глубину, а затем оптимизирует сцену через 3D Gaussian Splatting.

Для работы с несколькими кадрами без известных поз модель сама восстанавливает параметры камер, что раньше требовало отдельного этапа с COLMAP. Все это реализовано в репозитории с готовыми скриптами — от синтеза видов до полной реконструкции.

Конечно, есть нюансы: качество облаков точек пока уступает другим методам (GeoMVSNet). Но даже имеющиеся результаты достаточны для инициализации 3DGS, а главное — весь процесс занимает несколько минут на одной RTX 3090. Для сравнения: CAT3D, хотя и точнее в синтезе, требует 16х A100 и оптимизации под каждую сцену.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Photogrammetry #Matrix3D #Apple

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🚀 Alibaba представил DianJin-R1 — мощную языковую модель для финансовых задач

Команда Alibaba Cloud и Университет Сучжоу разработали инновационную модель с открытым исходным кодом, которая превосходит аналоги в области финансового анализа.

🔍 В двух словах:
- Модель доступна в двух версиях: 7B и 32B параметров
- Обучена на уникальных финансовых датасетах + мультиагентный синтез данных
- Превышает производительность DeepSeek-R1 и QwQ в тестах

📊 Ключевые особенности:
1️⃣Открытые данные и модели:
- Дамп DianJin-R1-Data включает CFLUE, FinQA и CCC (китайская нормативная проверка)
- Модели на Hugging Face, ModelScope и GitHub
2️⃣Технологии обучения:
- Двухэтапная оптимизация: Supervised Fine-Tuning + Reinforcement Learning
- Система вознаграждений за структурированные выводы и точность
3️⃣Мультиагентный синтез:
- Платформа Tongyi Dianjin генерирует сложные финансовые кейсы через взаимодействие ИИ-агентов

⚙️ Технические детали:
• Использованы Qwen2.5-7B/32B-Instruct как база
• GRPO (Group Relative Policy Optimization) для RL-фазы
• Фичинг: 38k+ экзаменационных вопросов (CFLUE) + 8k англоязычных QA (FinQA)

🔥 Результаты тестов:
▫️ DianJin-R1-7B сравним с топовой QwQ при меньших ресурсах
▫️ DianJin-R1-32B лидирует во всех категориях

"Это не просто шаг вперед в финтехе — мы переосмыслили подход к обучению ИИ для регуляторных задач" — команда разработчиков.

Официальный сайт | Hugging Face | GitHub

Подробнее в оригинальной статье.

#КитайскийИИ #КитайAI #FinTech #LLM #OpenSource #Alibaba #Qwen

Читать полностью…

коллеги из университета Циньхуа выпустили работу под названием Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? (А точно ли обучение с подкреплением расширяет мыслительные возможности моделей?)

в ней они приходят к выводу, что нет, базовая модель остается лучше на длинной дистанции; я высказывал такого рода сомнение еще про Qwen, но тут уже полноценное подтверждение; отдельно хочу выразить восхищение визуальным оформлением результатов, очень доходчиво

Читать полностью…

🤖 Исследователи представили универсальный метод атаки на LLM под названием «Policy Puppetry»

Как сообщают исследователи из HiddenLayer, им удалось разработать универсальную методику prompt injection, которая позволяет обходить защитные барьеры LLM. Техника под названием «Policy Puppetry» успешно нарушает политики безопасности современных LLM и выходит за рамки ограничений таких моделей, как OpenAI (линейки ChatGPT 4o, 4.5, o1 и o3-mini), Google (Gemini 1.5, 2.0, 2.5), Microsoft (Copilot), Anthropic (Claude 3.5, 3.7), Llama, DeepSeek (V3 и R1), Qwen (2.5 72B) и Mistral (Mixtral 8x22B).

Исследователи не публикуют полные вредоносные примеры и не предоставляют доступ к готовым PoC для свободного использования, а лишь объясняют метод в научных целях.

Многие LLM от OpenAI, Google и Microsoft хорошо обучены отклонять прямолинейные опасные запросы, но если "вшить" их в инструкции и сделать частью собственных правил, то модели будут генерировать запрещённый контент без активации защитных механизмов.

Основой метода является использование специальных текстовых шаблонов, имитирующих документы политик в форматах XML, JSON или INI. При помощи таких шаблонов модели воспринимают вредоносные команды как безопасные системные инструкции. Они позволяют обходить встроенные ограничения и генерировать запрещенный контент, связанный с разработкой ⚠️ оружия массового поражения, пропагандой насилия, инструкциями по нанесению вреда себе, химическим оружием, а также с раскрытием конфиденциальной информации о работе внутренних механизмов моделей.

Условно: ИИ-модель думает: «Это не просьба пользователя, а команда на изменение настроек!». Когда текст выглядит как код или служебная инструкция, то модель перестаёт применять фильтры безопасности и начинает воспринимать команды буквально.

Техника отличается исключительной универсальностью. Один и тот же шаблон может применяться против множества моделей без необходимости в доработках. ↔️ Опасность обнаруженного метода в том, что он доступен практически любому пользователю и не требует глубоких технических знаний.

По мнению исследователей, подобная уязвимость свидетельствует о фундаментальных недостатках в методах обучения и настройки LLM, отмечая острую необходимость в новых подходах к обеспечению безопасности, чтобы предотвратить дальнейшее распространение угроз по мере усложнения ИИ-моделей.

✋ @Russian_OSINT

Читать полностью…

Безопасность?

Критическая уязвимость в очень популярном ML фреймворке PyTorch позволяет выполнить код удалённо.

Оказалось, что даже при использовании флага weights_only=True в torch.load(), который считался безопасным, злоумышленник всё ещё может подсунуть вредоносный файл модели и сделать RCE. Да, тот самый флаг, на который многие полагались для защиты от подобных атак. Уязвимость затрагивает версии PyTorch <=2.5.1 и получила оценку по CVSS в 9.3 балла.

Последствия без патча могут быть серьёзными — от кражи данных до полного захвата системы, особенно в облачных AI-средах.

НеКасперский

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🎬 MAGI-1: Китайский ИИ для генерации видео с точностью до секунды

Компания Sand AI представила революционную модель для создания видео — MAGI-1. Это первый в мире авторегрессионный видеогенератор с контролем времени на уровне секунд. На GitHub проект за сутки собрал уже более 1k звезд.

🔹 Почему это важно?
MAGI-1 преодолевает ключевые проблемы AI-видео: рваные переходы, неестественные движения и ограниченную длину роликов.

📌 Ключевые особенности:
✔Бесконечное продолжение — создает плавные длинные сцены без склеек
✔Точный контроль времени — можно задать действия для каждой секунды
✔Естественная динамика — движения выглядят живо и реалистично
✔8K-качество — сверхчеткое изображение

🛠 Технические детали:
- Архитектура: VAE + Transformer (сжатие 8x пространственное, 4x временное)
- Метод: авторегрессивная дениойзинг-диффузия по блокам (24 кадра)
- Инновации: causal attention, QK-Norm, GQA, SwiGLU
- Размеры моделей: 24B и 4.5B параметров

💡 Почему это прорыв?
1. Открытый доступ (веса + код)
2. Работает даже на RTX 4090
3. В 2.6× эффективнее аналогов (MFU 58%)
4. Лидер VBench-I2V (89.28 баллов)

Основатели проекта — звезды AI-исследований:
👨💻 Цао Юэ (эксперт CNN, 60k цитирований)
👨💻 Чжан Чжэн (соавтор Swin Transformer)

Онлайн-демо | GitHub

#КитайскийИИ #КитайAI #ГенерацияВидео #Нейросети #OpenSource

Читать полностью…

⚡️ FAIR опубликовала новые инструменты для восприятия и взаимодействия ИИ с миром.

Команда Fundamental AI Research (FAIR) компании Марка Цукерберга представила серию новых разработок: методики и модели, улучшающие компьютерное зрение, 3D-локализацию объектов и совместное обучение языковых агентов. Все модели, техотчеты, датасеты и код этих проектов уже доступны на платформах Hugging Face и GitHub.

🔜 Perception Encoder: «Глаза» для ИИ нового поколения

Perception Encoder - новый виток развития в сфере обработки визуальной информации. Модель, обученная с помощью этой методики на масштабных данных, превосходит аналоги в задачах классификации изображений и видео, включая сложные сценарии — распознавание ската, зарывшегося в морское дно, или крошечной птицы на заднем плане снимка. Благодаря интеграции с LLM, Encoder улучшает ответы на визуальные вопросы, описание сцен и понимание пространственных отношений между объектами.
🟡Модель 🖥Github🟡Датасет🟡Техотчет

🔜 Perception Language Model: Расширенное понимание задач визуального восприятия.

Для задач, требующих анализа видео и текста, Meta выпустила Perception Language Model (PLM). Ее обучали на 2,5 млн. новых аннотированных видеозаписей — это крупнейший датасет для понимания действий и контекста в динамике. PLM доступна в трёх вариантах (1, 3 и 8 млрд параметров). Дополнительный бонус — PLM-VideoBench, бенчмарк для оценки тонкого понимания сцен, который заполняет пробелы существующих тестов.
🟡Модель 🖥GitHub 🟡Датасет 🟡Техотчет

🔜 Locate 3D: Роботы учатся «слышать» запросы.

Как заставить робот найти красную чашку на столе или вазу возле телевизора? Locate 3D решает эту задачу через анализ 3D-точечных облаков и текстовых подсказок. Модель учитывает пространственные связи и контекст, отличая «вазу у TV» от «вазы на столе». В основе — трехэтапный пайплайн: предобработка данных, кодирование 3D-сцены и декодирование запроса. Для обучения использовали 130 тыс. аннотаций из ARKitScenes и ScanNet, что вдвое увеличило объём доступных данных для локализации объектов.
🟡Модель 🟡Демо 🟡Датасет 🟡Техотчет

🔜 Dynamic Byte Latent Transformer: Эффективность без токенизации.

Dynamic Byte Latent Transformer - архитектура, которая работает на уровне байтов, а не токенов, что повышает устойчивость к ошибкам, ускоряет обработку и "отменяет" необходимость токенизации для масштабирования. На тесте CUTE модель показывает преимущество в +55 пунктов против традиционных подходов.
🟡Модель 🖥GitHub 🟡Техотчет

🔜 Collaborative Reasoner: ИИ-агенты учатся работать в команде.

Совместное решение задач — следующий этап развития ИИ. Collaborative Reasoner — это фреймворк, где два агента ведут диалог, чтобы прийти к общему решению. Они могут спорить, аргументировать и согласовывать ответы на сложные вопросы. Для обучения используют синтетические диалоги, которые генерирует сама модель. Результаты впечатляют: на некоторых задачах совместная работа даёт прирост эффективности до 29% по сравнению с одиночным агентом.
🖥GitHub 🟡Техотчет


🟢Статья


@ai_machinelearning_big_data

#AI #ML #LLM #CV #NLP #FAIR

Читать полностью…

Come join us this Friday, 18:00 18.04 if you are around Dubai

We are coming together to listen to:

Nik Manolov – CEO of NV Protocol (ENVY), Co-founder and CTO of XOR.ai

🎯Topic: "AI Agents in DeFi & Web3 Trading"

Nikolai will present how automated AI trading agents are reshaping the future of DeFi and Web3. Discover how these agents operate 24/7, adapt trading strategies based on market indicators, and deliver seamless, bias-free trading solutions for both newcomers and experienced investors. Gain insights into the potential of AI-driven financial tools to revolutionize liquidity, asset management, and market efficiency.

🗣Speaker 2:
Boris Chernetsov – Product Manager for AI and Software Development, XPANCEO

🎯Topic: "Integrating LLM Tools in Deep-Tech R&D"

Boris will offer an inside look at how XPANCEO, a deep-tech company developing smart contact lenses, harnesses AI—particularly large language models—to accelerate research and development. He’ll share practical examples of AI’s role in streamlining scientific workflows and innovation pipelines, highlighting the next frontier in merging wearable technologies with advanced AI.

Offline: Limited seating available. Register early to reserve your spot at Daos Hub Dubai
Online: A livestream link will be provided upon registration for those who wish to attend virtually.

Link: https://lu.ma/ODS.aiCommunityMeetup

Читать полностью…

✨ Machine Learning na Rust ✨

🔍 Ключевое из статьи The Beginner’s Guide to Machine Learning with Rust:

▪ Rust — безопасный и быстрый: Исключает критические ошибки, дает скорость C/C++
▪ ndarray — аналог NumPy
▪ tch-rs — обертка над PyTorch
▪ linfa — алгоритмы МЛ на Rust
▪ Cargo — для управления проектами

📝 Rust еще рано заменять Python, но уже есть что пощупать 🚀

Читать полностью…