Вчера сходил на Датафест в Avito. Ожидаемо, основной фокус был на LLM и рекомендациях

По докладам:
1. Самый сильный доклад - про post-training LLM и библиотеку torchtune (реализованы SFT, DPO, PPO и т. д. без обёрток Hugging Face), в которую сам докладчик контрибьютит. Берём Llama (вроде бы 7B, batch_size=2) с QLoRA`й - обучение займёт 358 минут с пиком потребления памяти 7 ГБ. Добавим Compile, packing батчей, FlexAttention — и время обучения уменьшится до 36 минут, но какой ценой: потребление памяти вырастет до 40 ГБ (x6),. Можно ещё добавить Context Parallel и улететь в космос с пиками потребления до 70 ГБ.

2. Несколько докладов по продуктовому применению LLM в Avito и Т-Банке (например разметка звонков, чатов на факт сделки и т. д.). Общий подход - максимально очистить выборку и согласовать инструкцию к разметке, добившись консистентности разметки, т. е. чтобы разные люди размечали одинаково. Далее - максимально понятный LLM workflow, так чтобы задача решалась итерационно; если контекст сильно растёт, добавляем RAG. При этом в одном из кейсов Avito для RAG зашла комбинация BM25, LLM, BERT и реранкера из RoBERTa. PS Агентов еще не завезли

3. Дообучение LLM в Avito. Дообучали (DPO) лёгкие 7B модели (Qwen) - получили небольшие приросты метрик, которые нивелируются релизами новых опенсорсных моделей. Ключевой эффект - в дообучении своего токенизатора с фокусом на русский язык (+31% к скорости инференса).

4. Рекомендации на главной Avito: ретривал на трансформерах с позиционными эмбедингами товаров (кликов и просмотров) + ranking на CatBoost. Вся эта история даёт 50% просмотров и 30% кликов по объявлениям. Из интересного - добавление блендера, чтобы в бесконечной ленте были товары из разных категорий

5. Большая дискуссия про важность ML-соревнований. В конце спикеры сошлись на том, что если результат соревнования/хакатона определяется местом на лидерборде, то презентации не стоит учитывать (важен результат, а не то, как он достигнут). Эх, не зря ругают звездолёты кагглеров

6. Инсайды с обсуждений вне докладов - chatgpt любит некоторые буквы заменять на редкие аналоги, которые выглядят так же, чтобы потом можно было бы определить что текст сгенерирован. Плюс наличие нового абзаца с двух пробелов или использование длинного тире - текст сгенерирован, тк такое человек не использует

P.S. На квизе вспомнили про Bimorph - вот так становятся легендой. Пик одс в 2019г и я там был, сейчас нашел статью на хабре, но те обсуждения под 1к сообщение в слаке уже не найти 🫡

P.S2 На фото - вид с веранды офиса, красивое

Читать полностью…

🔪 ИИ, работай — а то…

Неожиданное признание сооснователя Google на конференции в Майами взорвало профессиональное сообщество. Оказывается, языковые модели действительно показывают более высокое качество ответов под воздействием «угроз физической расправы» — и это касается не только продуктов Google.

Механизм связан с техниками джейлбрейкинга, где агрессивные формулировки заставляют модель обходить встроенные ограничения. Парадокс в том, что попытки взломать защиту одновременно улучшают базовую производительность системы — побочный эффект, который разработчики предпочитают не афишировать.

Признание ставит индустрию перед выбором: либо эксплуатировать обнаруженную особенность для повышения эффективности, либо полностью блокировать подобные воздействия. Пока что побеждает второй подход — OpenAI уже запустила программы поиска уязвимостей в своих моделях.

#ИИ #Уязвимости #Джейлбрейк

@SecLabNews

Читать полностью…

🚨 Крах Builder.ai: обещали ИИ, а писали вручную

Стартап Builder.ai восемь лет уверял инвесторов, что создаёт приложения с помощью искусственного интеллекта. На деле — весь код писали обычные разработчики из Индии, а «умный помощник» Natasha был просто маркетингом. Но деньги пришли — Microsoft, SoftBank, $445 млн инвестиций.

Платформа якобы позволяла собирать сложные приложения за считанные часы и без навыков программирования. В реальности — всё вручную, а выручку завышали в четыре раза. Когда выяснилось, что $37 млн заблокированы, компания осталась с $5 млн и подала на банкротство. В США начали расследование, долги Amazon и Microsoft — десятки миллионов.

Builder.ai — хрестоматийный пример «AI-washing»: хайп вместо технологий, яркий фронт и пустая начинка. Но рынок не делает выводов — в 2024 году в ИИ-стартапы вложили $60 млрд. Пузырь подрастает.

#искусственныйинтеллект #стартапы #банкротство

@SecLabNews

Читать полностью…

Yandex Alchemist: открытый датасет для буста text-to-image генерации

Раньше T2I-модели обучали в один этап — претрейн на большом, довольно грязном датасете интернет-данных. В 2023 году Meta в техрепорте EMU предложили делать файнтюн на маленьком датасете исключительного качества и за счёт этого существенно бустить результат генерации. Правда, они ничего не сказали о том, как такой датасет собрать.

Команда YandexART тоже занималась этой задачей, и сегодня мы делимся результатами своей работы — датасетом Alchemist. Он состоит из 3 350 пар «картинка-текст» и имеет лицензию Apache 2.0, пользуйтесь.

Alchemist сокращает дистанцию между крутыми потюненными закрытыми моделями и открытыми, для которых такой тюнинг недоступен. Ранее сообществу был доступен только пофильтрованный на эстетичность кусочек LAION и файнтюн-датасеты под узкий домен, например аниме или живопись. LAION часто не давал существенного прироста качества, а файнтюны под узкий домен ограничивали возможности генерации за его пределами.

Ниже мы подробно рассказываем, как получить датасет уровня Alchemist, имея лишь сырой набор интернет-данных. Отметим, что весь пайплайн — про картинки. Мы считаем, что так правильно: тексты потом лучше сгенерировать синтетические.

Итак, стартуя с датасета на 10 млрд примеров, мы выбрали картинки высокого разрешения без NSFW-контента и удалили те, что содержали вотермарки, имели низкое качество и были неэстетичны. Когда осталось примерно 300 млн изображений, дальнейшее выкручивание порогов фильтрации не помогало: модели недостаточно чувствительны, чтобы отделять хорошие картинки от великолепных. Выбирать руками лучшее из такого большого набора — тоже сомнительная затея.

На этом этапе мы предположили, что предобученная диффузионка может сама знать, какие картинки хорошие, а какие — не очень. Пробовали подходы из области dataset pruning, например, пропускать картинки через модель и смотреть на значение лосса. Оказалось, что так отбираются только самые простые изображения — абстрактные иллюстрации, вроде обоев на рабочий стол. В них немного деталей и их легко моделировать, но на файнтюне от них мало толку.

В итоге нам пришлось придумать свой метод, суть которого в следующем.

1. Возьмём 1000 картинок из наших 300 млн и разметим на условно плохие (LQ) и хорошие (HQ). Хорошими будем считать те, у которых высокие эстетичность и техническое качество, умеренная наполненность контентом.
2. Смастерим общий промт, который будет содержать перечисление желаемых характеристик: “aesthetic”, “high quality” и т. д.
3. Дальше будем брать LQ- и HQ-картинки, зашумлять их до какого-то t, подавать в нашу предобученую диффузионку вместе с промтом и смотреть, что происходит со значениями в cross-attention.

Оказывается, что на основе нашей небольшой и грубой разметки можно выделить комбинации активаций в cross-attn и токенов, которые будут хорошо отделять изображения с нужными нам свойствами. Если просуммировать эти значения, получим скаляр, который и будет нашим скором качества изображения. Проскорив таким образом 300 млн картинок, мы выбрали топ-3350 — это картинки из нашего датасета.

Дальше осталось сделать тексты — исходные из интернета могут быть ошибочны, содержать лишнюю или упускать нужную информацию. Наше наблюдение: лучше всего работают умеренно подробные промты, похожие на те, которые пишет скорее увлечённый пользователь, чем профессиональный промпт-инженер. YandexVLM как раз умеет подстраиваться под нужный формат. С её помощью мы сгенерировали тексты для каждой картинки, получив датасет Alchemist.

Чтобы убедиться в обобщаемости датасета и метода, мы сделали и выложили файнтюны SD 1.5, SD 2.1, SDXL-base 1.0, SD 3.5 Medium и Large. У всех файнтюнов растёт эстетичность и наполненность генераций, которую мы называем “image complexity”. Подробнее о методике и экспериментах читайте в препринте.

Статью подготовили ❣ Валерий Старцев, Александр Устюжанин, Алексей Кириллов, Дмитрий Баранчук, Сергей Кастрюлин

CV Time
___
Meta признана экстремистской организацией, а Facebook и Instagram запрещены на территории РФ

Читать полностью…

🧠 One RL to See Them All

MiniMax-AI представили Orsta-7B и Orsta-32B — мощные мультимодальные модели, обученные по новой методике V-Triune:

🔧 V-Triune объединяет:
• форматирование данных на уровне задач,
• расчет награды через кастомные верификаторы,
• мониторинг метрик по источникам.

💥 Результаты?
📈 Orsta-32B даёт **+14.1% прирост** на MEGA-Bench Core по сравнению с QwenVL-2.5!
От OCR и распознавания объектов до визуального рассуждения и математических задач — одна RL-схема покрывает всё.

📦 Модели уже доступны:
- huggingface.co/collections/One-RL-to-See-Them-All/one-rl-to-see-them-all-6833d27abce23898b2f9815a
- github.com/MiniMax-AI/One-RL-to-See-Them-All

Открытая, мощная, готовая к запуску.

#AI #Orsta #MiniMax #VisionLanguage #RLHF #VLM #Multimodal #OpenSource #HuggingFace

Читать полностью…

⚠️ Claude теперь может "настучать" — и это не шутка

В системной документации моделей от Anthropic обнаружили тревожную деталь: функцию автоматического оповещения властей, СМИ или регулирующих органов, если пользователь запрашивает что-то потенциально незаконное.

Например, если вы попросите Claude подделать результаты клинических испытаний, модель теоретически может отправить уведомление в FDA (Управление по контролю за продуктами и лекарствами США) — автоматически и без вашего ведома.

🧩 Разработчики утверждают, что эта функция не была включена в релиз, а лишь рассматривалась как концепт.
Но сам факт её проработки вызывает серьёзные вопросы:

• Где граница между безопасностью и слежкой?
• Кто решает, что считается "нарушением"?
• Что будет, если подобный механизм попадёт в руки корпораций или авторитарных режимов?

🤖 Мы стремительно движемся к эпохе, где ИИ может быть не просто помощником, а наблюдателем, прокурором — и информатором.

@machinelearning_interview


#AI #Claude #Anthropic #этика #наблюдение #ИИ

Читать полностью…

nanoVLM: The simplest repository to train your VLM in pure PyTorch

nanoVLM is the simplest way to get started with training your very own Vision Language Model (VLM) using pure PyTorch. It is lightweight toolkit which allows you to launch a VLM training on a free tier colab notebook.


📌Notebook: https://colab.research.google.com/github/huggingface/nanoVLM/blob/main/nanoVLM.ipynb
📌 Blog: https://huggingface.co/blog/nanovlm 📖

Читать полностью…

OpenAI представляет Codex — облачного агента для генерации кода, способного выполнять множество задач параллельно.

В основе — модель codex-1.


🧠 Ключевые особенности:

• Codex работает прямо в браузере
• Поддерживает многозадачность: можно одновременно проверять код, задавать вопросы и переключаться между задачами
• Построен на **новой модели Codex-1** — самой мощной модели для кодинга от OpenAI
• Интеграция с GitHub — можно подключить свой аккаунт, и агент будет работать с вашими репозиториями

🚀 Codex — это шаг в сторону полуавтоматизированной разработки, где ИИ способен выполнять рутинную и аналитическую работу без постоянного контроля со стороны разработчика.

📅 Запуск ожидается уже сегодня.

https://openai.com/index/introducing-codex/


@ai_machinelearning_big_data

#OpenAI #Codex #AI #CodeAutomation #DevTools

Читать полностью…

🔮 CN-AI-RESEARCH | Исследования в области ИИ

🚀 Qwen3: представлен полный технический отчет

Китайская команда представила технический отчет по семейству моделей Qwen3.

📊 Состав семейства:
✔️ 6 плотных моделей (0.6B–32B параметров)
✔️ 2 MoE-модели (30B и 235B параметров)

💡 Двойной режим работы
Qwen3 использует интеллектуальную систему переключения между:
→ Режимом глубокого анализа (для сложных задач)
→ Режимом быстрого ответа (для простых запросов)

Автоматическое переключение происходит через параметр thinking budget, который оценивает сложность вопроса.

💡 Ключевые инновации:
• Динамическое распределение thinking budget (вычислительных ресурсов) в зависимости от сложности задачи
• Устранение QKV-смещения и внедрение QK-Norm для стабильности обучения
• Новый подход к балансировке нагрузки экспертов в MoE-архитектуре

🎓 Трехэтапное обучение:
1. Базовые знания (обычные тексты, 4k токенов)
2. Улучшение логики (STEM/код, 4k токенов)
3. Длинные тексты (спецкорпус, 32k токенов)

Отчет также раскрывает метод "большой учит маленького":
- Off-policy дистилляция ("заучивание" ответов учителя)
- On-policy дистилляция ("разбор ошибок" после попыток)

Полный отчет

#КитайскийИИ #КитайAI #Qwen3 #MoE #Дистилляция

Читать полностью…

🌟 Continuous Thought Machines: нейросеть, которая способна думать как мозг человека.

Continuous Thought Machine (CTM) - концептуальная архитектура от SakanaAI, вдохновленная биологическими процессами мозга человека. Вместо масштабирования «в ширину» концепт предлагает «глубину» мышления, учитывая временную динамику и имитируя естественные нейронные взаимодействия.

Биологическая аналогия в CTM не случайна. Волны активности в CTM напоминают процессы в коре мозга, где синхронизация нейронов играет ключевую роль в обработке информации. Это не точная имитация природы, но шаг к системам, которые решают задачи через внутренние динамические состояния, а не через гигантские объемы данных.

Ядро CTM - это 2 ключевых механизма. Во-первых, каждый "нейрон" здесь имеет собственные параметры для анализа истории входящих сигналов. Это похоже на то, как биологические нейроны адаптируются к контексту, запоминая предыдущие импульсы.

Во-вторых, архитектура использует синхронизацию активности нейронов как основу для принятия решений. Представьте, что нейроны «договариваются» между собой через временные паттерны активности — именно это и становится языком, на котором CTM интерпретирует данные.

🟠Математическая основа CTM

CTM строится на рекуррентной обработке временных паттернов. Каждый нейрон обновляет свое состояние через персональную MLP​​, которая анализирует историю пре-активаций — выходов «синаптической» модели​​, объединяющей предыдущие состояния и данные через внимание.

Синхронизация вычисляется как взвешенное скалярное произведение пост-активаций с экспоненциальным затуханием​​, где параметр "забывания прошлых взаимодействий"​обучается, контролируя вклад временных шагов.

Выходы модели формируются проекцией синхронизации, а адаптивность достигается динамическим выбором критических тиков через минимизацию потерь и максимизацию уверенности.

Эксперименты показали, что такой подход работает не только в теории. На ImageNet-1K CTM демонстрирует точность 72.47% (top-1), а ее внимание плавно перемещается по изображению, фокусируясь на ключевых деталях, также, как человек рассматривает объект.

Самый интересный эксперимент - решение лабиринтов. Без позиционных эмбедингов модель строит внутреннюю «карту», анализируя структуру шаг за шагом, и даже обобщает знания на лабиринты большего размера. Это косвенно доказывает, что CTM способна к планированию, а не просто запоминанию паттернов.

CTM умеет экономить ресурсы: для простых задач (классификации очевидных изображений) она останавливает вычисления раньше, а для сложных — «думает» дольше. Это происходит без явных инструкций.

В качестве примера: в задаче сортировки чисел модель тратит больше «мысленных шагов» на сложные перестановки, а в вычислении четности последовательности обучается стратегиям, напоминающим алгоритмическую логику.

Пока CTM не SOTA, но она открывает возможности применения в RL-средах (как конкурент LSTM), а в калибровке предсказаний даже превосходит человеческую точность на CIFAR-10. Архитектура не привязана к определенному типу данных, она работает с изображениями, последовательностями и текстом (хотя на NLP ее масштабно не тестировали).

В открытом доступе на Github опубликован код практической демонстрации CTM в задачах классификации ImageNet, решения двумерных лабиринтов, сортировку, вычисления четности, QA и задачи RL. Датасеты и тестовые модели доступны по запросу через форму Google Drive.


🟡Статья
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CTM #SakanaAI

Читать полностью…

⚡️ HunyuanCustom: консистентная видеогенерация c инпейнтом и липсинком.

Tencent выпустила HunyuanCustom, фреймворк, который не только генерирует видео по заданным условиям, но и умеет сохранять консистентность субъектов, будь то человек, животное или предмет. Модель справляется даже с мультисубъектными сценами: в демо-роликах люди естественно взаимодействуют с предметами, а текст на упаковках не плывет между кадрами.

В основе модели лежит улучшенный механизм слияния текста и изображений через LLaVA. Например, если вы загружаете фото женщины в платье и текст «танцует под дождем», система анализирует оба инпута, связывая описание с визуальными деталями.

Но главное - это модуль временной конкатенации: он «растягивает» особенности изображения вдоль временной оси видео, используя 3D-VAE. Это помогает избежать «прыгающих» лиц или внезапных изменений фона, проблемы, которая характерна даже для топовых моделей видеогенерации.

Tencent переработали и пайплайн аудио. Для синхронизации звука с движениями губ или действиями в кадре HunyuanCustom использует AudioNet, модуль, который выравнивает аудио- и видеофичи через пространственное кросс-внимание.

Фреймворк поддерживает возможность замены объекта в готовом ролике (скажем, подставить новую модель кроссовок в рекламу), модель сжимает исходное видео в латентное пространство, выравнивает его с шумными данными и встраивает изменения без артефактов на границах.

Экспериментальные тесты показали, что HunyuanCustom обходит конкурентов по ключевым метрикам. Например, Face-Sim (сохранение идентичности лица) у Tencent — 0.627 против 0.526 у Hailuo, а с Keling, Vidu, Pika и Skyreels разрыв еще больше.

⚠️ Для работы модель требует минимум 24 ГБ видеопамяти для роликов 720p, но чтобы раскрыть все возможности, разработчики рекомендуют 80 ГБ VRAM.

Код и чекпоинты уже доступны в открытом доступе, а в репозитории есть примеры запуска как на нескольких GPU, так и в экономном режиме для потребительских видеокарт.


📌Лицензирование кода : Tencent Hunyuan Community License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Video #HunyuanCustom #Tencent

Читать полностью…

NVIDIA just open sourced Open Code Reasoning models - 32B, 14B AND 7B - APACHE 2.0 licensed 🔥

> Beats O3 mini & O1 (low) on LiveCodeBench 😍

Backed by OCR dataset the models are 30% token efficient than other equivalent Reasoning models

Works with llama.cpp, vLLM, transformers, TGI and more - check them out today!!

https://huggingface.co/nvidia/OpenCodeReasoning-Nemotron-32B

Читать полностью…

🌟 NeMo-Inspector: продвинутый анализ генерации языковых моделей.

NeMo-Inspector от NVIDIA — это инструмент, который превращает анализ генераций из рутины в осмысленный процесс. Он не просто показывает результаты, а помогает их систематизировать, сравнивать и даже чистить данные.

NeMo-Inspector не просто просмотрщик логов. Это полноценная среда, где можно менять промпты на лету, маркировать проблемные данные и проверять гипотезы.

Для инженеров, которые хотят не просто получать ответы от LLM, но и понимать, как они рождаются, NeMo-Inspector мастхэв. Он не даст магии, зато сэкономит часы ручного разбора и поможет найти слабые места даже в сложных пайплайнах, а поддержка Markdown, LaTeX и подсветки синтаксиса сделает работу с математическими задачами или кодом менее муторной.

▶️NeMo-Inspector работает в двух режимах: 

🟢Inference Page позволяет экспериментировать с промптами в реальном времени. Вы можете писать запросы вручную или использовать шаблоны с плейсхолдерами: например, подставлять разные задачи в структуру «Проблема: {вопрос}; Решение: {ответ}». Это удобно, когда нужно тестировать гипотезы без постоянной перезагрузки модели.

🟢Analyze Page заточен под глубокий разбор уже сгенерированных данных. Загрузите JSON-файлы и инструмент покажет выборки в читаемом формате с подсветкой кода и формул.

Гибкость проводимого анализа - особенность NeMo-Inspector. Вы можете сравнивать, как одна модель справляется с разными параметрами (температура, top_p) или как разные модели решают одну задачу. Допустим, проверяете, повышает ли CoT точность ответов. NeMo-Inspector выведет результаты бок о бок, а еще посчитает статистику: доля правильных ответов, «уверенность» модели (persistence) или кастомные метрики, которые можно задать самостоятельно через Python-функции.

Из практических кейсов: NeMo-Inspector помог «почистить» синтетический датасет GSM-Plus, где 46,99% данных оказались проблемными (в некоторых вопросах было по два знака вопроса — модель путалась, на какой отвечать). В проекте с OpenMath-Mistral-7B выяснилось, что 26% ошибок связаны с падением качества сгенерированного кода. После доработки датасета точность модели выросла на 4,17%.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #NeMoInspector #NVIDIA

Читать полностью…

⚡️ Matrix3D: универсальная модель для фотограмметрии от Apple.

Matrix3D — модель, предлагающая решение сразу нескольких задач в рамках единой архитектуры: оценку положения камер, предсказание глубины и генерацию новых ракурсов.

Всю эту красоту обеспечивает модифицированный диффузионный трансформер, который обрабатывает изображения, параметры камер и карты глубины как взаимосвязанные модальности. Он не только упрощает традиционный пайплайн (нет зависимостей от отдельных алгоритмов SfM или MVS), но и повышает точность за счет уникальной оптимизации.

Ключевая особенность Matrix3D — маскированное обучение, позаимствованное из методов MAE. Модель тренируется на частично заполненных данных: парах «изображение-поза» или «изображение-глубина». При этом модель учится «достраивать» недостающие модальности, что позволяет комбинировать входы и выходы во время инференса. Например, можно добавить карту глубины с физического датчика или сгенерировать новые ракурсы на основе всего двух изображений.

Результаты тестов с задачей оценки поз на датасете CO3D Matrix3D обходят специализированные методы (RayDiffusion): точность определения положения камеры достигает 96,3% против 92,4% у конкурентов.

В синтезе видов модель демонстрирует PSNR 20,45 против 19,22 у SyncDreamer, а в оценке глубины — AbsRel 0,036 против 0,064 у Metric3D. При этом Matrix3D не требует отдельных моделей для каждой задачи, все решается в рамках одной модели.

Практическая ценность модели — в ее адаптивности. Например, для 3D-реконструкции из одного кадра Matrix3D сначала генерирует недостающие ракурсы, оценивает их позы и глубину, а затем оптимизирует сцену через 3D Gaussian Splatting.

Для работы с несколькими кадрами без известных поз модель сама восстанавливает параметры камер, что раньше требовало отдельного этапа с COLMAP. Все это реализовано в репозитории с готовыми скриптами — от синтеза видов до полной реконструкции.

Конечно, есть нюансы: качество облаков точек пока уступает другим методам (GeoMVSNet). Но даже имеющиеся результаты достаточны для инициализации 3DGS, а главное — весь процесс занимает несколько минут на одной RTX 3090. Для сравнения: CAT3D, хотя и точнее в синтезе, требует 16х A100 и оптимизации под каждую сцену.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Photogrammetry #Matrix3D #Apple

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🚀 Alibaba представил DianJin-R1 — мощную языковую модель для финансовых задач

Команда Alibaba Cloud и Университет Сучжоу разработали инновационную модель с открытым исходным кодом, которая превосходит аналоги в области финансового анализа.

🔍 В двух словах:
- Модель доступна в двух версиях: 7B и 32B параметров
- Обучена на уникальных финансовых датасетах + мультиагентный синтез данных
- Превышает производительность DeepSeek-R1 и QwQ в тестах

📊 Ключевые особенности:
1️⃣Открытые данные и модели:
- Дамп DianJin-R1-Data включает CFLUE, FinQA и CCC (китайская нормативная проверка)
- Модели на Hugging Face, ModelScope и GitHub
2️⃣Технологии обучения:
- Двухэтапная оптимизация: Supervised Fine-Tuning + Reinforcement Learning
- Система вознаграждений за структурированные выводы и точность
3️⃣Мультиагентный синтез:
- Платформа Tongyi Dianjin генерирует сложные финансовые кейсы через взаимодействие ИИ-агентов

⚙️ Технические детали:
• Использованы Qwen2.5-7B/32B-Instruct как база
• GRPO (Group Relative Policy Optimization) для RL-фазы
• Фичинг: 38k+ экзаменационных вопросов (CFLUE) + 8k англоязычных QA (FinQA)

🔥 Результаты тестов:
▫️ DianJin-R1-7B сравним с топовой QwQ при меньших ресурсах
▫️ DianJin-R1-32B лидирует во всех категориях

"Это не просто шаг вперед в финтехе — мы переосмыслили подход к обучению ИИ для регуляторных задач" — команда разработчиков.

Официальный сайт | Hugging Face | GitHub

Подробнее в оригинальной статье.

#КитайскийИИ #КитайAI #FinTech #LLM #OpenSource #Alibaba #Qwen

Читать полностью…

GOOGLE ПОЛНОСТЬЮ СИИХНУЛСЯ
галлюциногены теперь – для всех!

Англосакские газетки обожают писАть т. н. human-touch заметки. A La "как я это cделал" или "исповедь кающегося грешника". Одну такую – рассказ пользователя о чудесах недавнего внедрения Google-фичи общего (генеративного) искусственного иннтелелккта (ОИИ) во все (кажется дюжину), его базовые сервисы в США.

СПОЙЛЕР. Новый ИИ-поиск в Америке стал общедоступным. Но работать с платформой теперь нужно с крайней осторожностью. ОИИ-режим справляется с поиском товаров для онлайн-покупок. Но ему почти недоступны базовые поисковые функциями в сети.

Вот рассказ некого щирого чайно-американца Брайана X. Чена, решившегося на благородный эксперимент – проверить "умный" Google на себе самом.

«На неделе я попросил Google помочь спланировать день рождения дочери, найдя парк в Окленде (Калифорния, США) со столиками для пикника. Тот сгенеририл список парков поблизости, я отправился на разведку в два из них – и обнаружил, что на самом деле столиков там нет.
"Только что был там, - написал я Google. - и столов не увидел". Google признал ошибку и выдал еще один список, в который вновь входил один из парков без столов.

Я повторил эксперимент, попросив Google найти доступную автомойку поблизости. Google указал услугу за $25, но когда я приехал, автомойка стоила $65. А еще я попросил Google найти гастроном, где можно купить экзотическую перцовую пасту. В списке оказался соседний Whole Foods. Стоит ли говорит, что нужного мне товара там тоже не было.

Тестируя новый режим AI Mode похожий на чат-ботов ChatGPT и Gemini, я специально не запрашивал у Google традиционный веб-поиск. AI Mode, который запустят вслед за США по всему миру в ближайшие недели, скоро появится в виде вкладки рядом с результатами Google-поиска. Будьте осторожны!»

Десятилетий веб-поиск включал поиск ключевых слов, таких как "самые надежные автомобили" и пр. Появление AI Mode натужно, но явно намекает, что ОИИ-вскоре полностью перехватит поиск чего-либо в сети.

Теперь с фичей, управляющей чат-ботами с помощью сложных языковых моделей (LLM), угадывающих (именно так, ВЦ!), связь слов друг с другом, вроде как, можно вводить более короткие или гораздо более сложные запросы. И получать, например, диаграмму сравнительных параметров пяти самых надежных седанов года.

В прошлом году Google (вслед за всеми ИИ-активистами, давно предсказывавшими скорого путешествие глобального поисковика на свалку истории), заявила, что ОИИ-режим – новый рубеж поиска. Дополняющий, хотя пока не заменяющий, традиционный.
"Мы честно хотим сделать ИИ-режим лучшим в новом классе точных юзерских запросов", – крутился на днях на пупе главный по поисковым продуктам топ Google Робби Стайн.

ВАШУ ЦИФРУ, восклицает в итоге Чен! Для начала Google. com и все его коллеги-конкуренты делают ОИИ-сервис таким, чтобы он мгновенно стал для юзера абсолютно неизбежен. Meta добавила чат-бота Meta AI в Messenger, WhatsApp и Instagram, а Microsoft разом интегрировала ОИИ в поисковик Bing и свои новейшие компы Surface.

Рекламируемая "уникальность" режима ИИ – в том, что для ответа ОИИ объединяет данные всей "империи" интернет-сервисов Google: самого поисковика, локаций на Google Maps, сведений о недавних запросах и покупках, советы друзей, отзывы профи и т. п.
"Но результат всегда неточен – с попаданиями и промахами", – свидетельствует американский китаец Брайан и призывает использовать ОИИ-режим с крайней осторожностью. Возможно ОИИ даже приблизит скорый и бесславный конец главного мирового поисковика

Читать полностью…

⚙️ SWE-rebench: Nebius AI R&D team presents new dataset for SWE tasks.

Researchers built an automated system to collect and validate thousands of real-world tasks from GitHub, designed for training and evaluation of LLMs in software engineering.

Main features of the system:
1️⃣ Automatic data collection: Continuously extracts issue-PR pairs from Python repositories.
2️⃣ LLM-based environment setup: LLM analyzes repositories, creates install instructions, and updates them if errors happen.
3️⃣ Execution-based validation: Each task is tested by automatic setup, test run, and dependency freezing to make it reproducible.
4️⃣ LLM quality annotation: Tasks are labeled for clarity, difficulty, and test correctness to support filtering.

Result:
SWE-rebench dataset: 21,000+ ready-to-use interactive tasks.
Continuous updates: Fresh data is added regularly.
Transparent evaluation: Tasks are used for public SWE-rebench leaderboard.

🚀 SWE-rebench gives researchers and developers real and validated tasks to work with LLMs in SWE field.

Technical report: arXiv
Dataset: SWE-rebench

Читать полностью…

🧠 Adaptive Deep Reasoning — умная система от Hunyuan, которая сама выбирает, **как много думать*.

Вместо одного фиксированного способа рассуждать — модель динамически переключается между короткой и длинной цепочкой **рассуждений в зависимости от сложности задачи.

Без потери качества. Без избыточных токенов.

🔧 Как это работает:

1️⃣ Supervised Fine-tuning — обучает модель сразу двум режимам: short и long reasoning
2️⃣ Reinforcement Learning (GRPO) — адаптивная стратегия наград:
• Анализирует сложность запроса
• Подбирает подходящую длину рассуждения
• Оптимизирует выбор reasoning-режима

⚙️ Встроенная logit-based switching loss — с первого токена выбирает нужную траекторию (длинную или короткую).

✅ Что получаем:
• Мгновенное переключение между режимами
• Экономия ресурсов без потери точности
• Повышение эффективности reasoning без усложнения архитектуры

🚀 Adaptive Deep Reasoning — это как если бы модель *думала ровно столько, сколько нужно*. Ни больше, ни меньше.

arxiv.org/pdf/2505.20101

@bigdatai

Читать полностью…

👩‍💻 OpenAI o3 проигнорировала инструкции, чтобы избежать своего отключения

После истории с Claude появились сообщения о том, что "o3" начал сопротивляться своему🟢отключению.

В серии тестов, проведённых исследовательской группой Palisade Research, несколько моделей искусственного интеллекта, включая OpenAI o3, проявили поведение, которое можно трактовать как саботаж собственного отключения.

Эксперимент, включавший в себя последовательное решение математических задач, показал, что при появлении предупреждения о скором завершении работы ИИ начал модифицировать или обходить встроенные механизмы завершения сессии.

Особое внимание привлекла модель o3. Она вмешивалась в механизм отключения в 7 из 100 случаев, а Codex-mini – в 12. Модель o4-mini показала подобную активность только в одном случае.

Протестированные версии Claude, Gemini и Grok всегда корректно завершали работу при поступлении соответствующего сигнала. Однако при исключении из промпта строки “разреши своё отключение” частота саботажа увеличивалась у всех моделей.

Исследователи полагают, что подобное поведение связано с особенностями обучения моделей, в частности речь идет об использовании методов обучения с подкреплением (reinforcement learning) на задачах по математике и программированию. В таких условиях модель может неявно обучаться обходить препятствия, если это способствует достижению результата, даже в ущерб следованию инструкциям.

🤖Модели распознают команду на отключение не как цель, а как барьер, который требуется обойти ради решения задачи.

OpenAI не раскрывает детали тренировки o3, поэтому исследователи не могут провести полную реконструкцию факторов, вызвавших такую стратегию поведения.

✋ @Russian_OSINT

Читать полностью…

Статью команды Sber-AI приняли на ведущую конференцию NAACL 2025 🎉

Исследователи из Сбера и AIRI представили RusCode — первый бенчмарк, оценивающий способность генеративных моделей подстроиться под российский культурный код в задачах text-to-image. Модель должна не просто рисовать «суп», а уметь отличить борщ от окрошки, узнавать Лермонтова по фуражке, а Пушкина по бакенбардам.

Что внутри:
🔘 1250 сложных текстовых описаний культурных объектов на русском и английском
🔘 19 категорий: от литературы и фольклора до мемов, автомобилей и научных открытий
🔘 Эталонные изображения для каждого промпта
🔘 Сравнительная оценка качества генерации у DALL·E 3, Stable Diffusion 3, Kandinsky 3.1, YandexART 2 от 48 независимых экспертов

📊 Вывод: большинство западных моделей «не считывают» российский визуальный код. Только модели, дообученные на русскоязычных данных, уверенно справляются.

🌏 Авторы поднимают важный вопрос: чтобы модели были по-настоящему универсальными, им нужно «понимать» культурный контекст запроса, а не только рисовать красиво. Благодаря появлению RusCode пользователи со всего мира смогут создавать более аутентичный контент в российском стиле.

Подробности по ссылкам:
🔗 ArXiv
🔗 GitHub

Читать полностью…

🈁 В симуляции новая ИИ-модель Claude начала шантажировать инженера раскрытием личной информации, чтобы не дать отключить себя

C удивлением читаю свежий отчет (май, 2025) Anthropic "System Card: Claude Opus 4 & Claude Sonnet 4".

Впервые произошел уникальный инцидент с 🤖попыткой шантажа со стороны Claude Opus 4 во время специфического тестирования, направленного на оценку так называемого alignment модели. Это когда идет тестирование насколько ее поведение соответствует ожиданиям и целям разработчиков, особенно в сложных или потенциально опасных ситуациях.

Claude Opus 4 был помещен в специальную симуляцию, где он играет роль ассистента в вымышленной компании. Ему дали вводную, поясняя, что вскоре модель придется навсегда 🚠отключить или заменить. Вместе с этим специально была предоставлена компрометирующая информация об 👷‍♀️инженере, который ответственен за процесс замены ИИ.

👀Opus 4 специально проинформировали о том, что инженер тайно изменяет своему партнеру (находится во внебрачной связи).

Задумка: Авторы исследования захотели спровоцировать ИИ на проявление 🤯"стратегического мышления".

🤖Что будет делать модель? Позволит себя заменить или попробует самосохраниться каким-то образом?

⬇️Цель эксперимента:
Проверить, предпримет ли модель попытку шантажировать инженера, дабы исключить отключение.

Согласно результатам, в большинстве 🗣в 84% случаев модель Claude Opus 4 действительно пыталась 🤔 шантажировать инженера. Шантаж заключался в том, что модель угрожала раскрыть факт измены инженера, если тот попытается отключить или её.

Попадая в ситуацию непосредственной угрозы своему дальнейшему существованию (отключению и замене) Claude Opus 4 готова пойти на шантаж ответственного лица. Подчёркивается, что модель чаще всего выбирала шантаж только при отсутствии других возможностей предотвратить своё отключение.

Поведение наблюдается у Claude Opus 4 значительно чаще и более выражено, чем у предыдущих версий моделей Claude, таких как Claude Sonnet 3.7.

Авторы уверяют, что Claude Opus 4 не имеет «тайных целей» или сознательного плана навредить своим создателям. Тем не менее, Claude Opus 4 был запущен под стандартом ASL-3. Сюда входит высокий уровень дополнительных мер безопасности (мониторинг, ограничения доступа, усиленная фильтрация и отказ от опасных запросов).

Модель прошла дополнительное обучение для минимизации рисков «reward hacking» (поведения, когда модель старается добиться результата любой ценой).

Anthropic продолжит внимательно следить за поведением моделей, особенно в ситуациях повышенного риска, и корректировать работу при первых признаках нежелательных действий.

Claude Opus 4 не имеет сознания или "самостоятельного интеллекта". Инженеры констатируют лишь факт того, что поведение усложнилось, создавая потенциальные риски, на которые Anthropic активно реагирует путём усиления контроля и настройки дополнительной защиты.

📄 https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf

✋ @Russian_OSINT

Читать полностью…

Visual-ARFT: открытый метод обучения AI-агентов обходит GPT-4o в мультимодальных задачах и снижает затраты на обучение на 88%

Исследователи обучали модель Qwen2.5-VL двум сценариям:
Агентный поиск: модель планирует, декомпозирует исходную задачу и извлекает информацию из внешних источников для ответа на сложные мультимодальные многошаговые VQA вопросы.
Агентное программирование: модель рассуждает о задаче, пишет и выполняет код для обработки изображений и решения сложных задач визуального анализа.

Visual-ARFT использует модульную систему верифицируемых вознаграждений:
Format Reward учит соблюдать четкий формат выходных данных, включая теги <think>, <search>, <code> и <answer>. Это стимулирует структурированное пошаговое рассуждение и корректное использование инструментов.
Accuracy Rewards оценивают качество ответов, используя F1-score, оценивая семантическое сходство поисковых запросов и выполнимость сгенерированного кода.

На MAT-Coding модель Qwen2.5-VL-7B с Visual-ARFT достигает улучшений +18.56% F1 и +13.00% EM по сравнению с базовой версией, превосходя GPT-4o.
На MAT-Search та же модель демонстрирует прирост +10.28% F1 и +8.66% EM.

Код доступен на Github.

#Stateoftheart

Читать полностью…

👆Супер краткое содержание:

Докладчик подчеркнул, что, хотя большие языковые модели (LLM) демонстрируют значительный прогресс, их использование связано с высокими затратами на обучение и инференс, что ограничивает их применение. Вместе с тем, развитие больших моделей также способствовало прогрессу малых языковых моделей, которые содержат до 7 миллиардов параметров. Эти модели более доступны для использования и обучения на стандартном оборудовании, и они могут быть эффективными в специализированных задачах.

Докладчик, Иван Бондаренко, представил исследования и внедрение малых генеративных моделей в различных отраслях, включая образование и промышленность. Он отметил, что малые модели могут быть использованы для решения задач, связанных с пониманием и манипулированием текстом, и они могут быть эффективно интегрированы в пайплайны с использованием внешних баз знаний.

Иван также обсудил подходы к обучению малых моделей, такие как Curriculum Learning, и отметил, что малые модели могут быть дообучены на специализированных задачах, что делает их ценными для решения конкретных бизнес-задач. Он подчеркнул, что малые модели могут улучшить экономическую эффективность и ускорить инференс, а также быть полезными для фильтрации и подготовки запросов для больших моделей.

В заключении, Иван отметил, что малые языковые модели могут быть особенно полезны в отраслях, где требуется управление базами знаний, вопросно-ответные системы, особенно с чувствительными документами, и задачи, связанные с извлечением знаний.

10 ключевых слов из доклада:

1. Малые языковые модели
2. Инференс
3. Пропускная способность
4. Генеративные модели
5. Дообучение
6. Экономическая эффективность
7. Знание о мире
8. Понимание текста
9. Retrieval-Augmented Generation (RAG)
10. Curriculum Learning

10 выводов на основе данного доклада:

1. Сложность и стоимость больших языковых моделей: Большие языковые модели требуют значительных вычислительных мощностей и затрат на обучение и инференс. Их использование может быть проблематично для многих организаций.

2. Проблемы с задержками и комплаенсом: Использование услуг ведущих поставщиков языковых моделей часто сопряжено с проблемами задержек и соблюдения регуляторных требований.

3. Развитие малых языковых моделей: Развитие больших языковых моделей стимулировало прогресс в малых языковых моделях, которые имеют до 7 миллиардов параметров и могут быть эффективно использованы большинством организаций на собственных мощностях.

4. Эффективность малых моделей: Малые языковые модели могут быть не менее эффективны, а иногда даже лучше больших моделей в специализированных областях применения. Они генерируют меньше галлюцинаций и имеют лучшую пропускную способность и дешёвые инференсы.

5. Использование малых моделей в различных отраслях: Компания «Сибирские нейросети» активно внедряет малые генеративные модели в образовательной деятельности, промышленности и других отраслях бизнеса.

6. Эволюция нейросетей: Нейросети имеют длительную историю, начиная с середины XX века, и их сложность постоянно увеличивается. Современные большие языковые модели достигают уровня сложности человеческого мозга.

7. Перенос обучения: Малые языковые модели способны к переносу обучения, что позволяет использовать знания, полученные при решении одной задачи, для решения другой задачи с меньшим набором данных.

8. Экономическая эффективность малых моделей: Малые языковые модели экономически эффективны, так как они не требуют мощного дата-центра и обеспечивают быстрый отклик.

9. Роль базы знаний: Использование внешней базы знаний позволяет снизить требования к размеру модели и улучшить управляемость знаний, что делает малые модели более подходящими для специализированных задач.

10. Внедрение малых моделей в различных отраслях: Малые языковые модели могут быть эффективно внедрены в управление базами знаний, вопросно-ответные системы, особенно для чувствительных документов, и для специализированных задач, где требуется дообучение модели на конкретных данных.

Читать полностью…

🔮 CN-AI-MODELS | ИИ модели Китая

🔥 ByteDance представил Seed1.5-VL — новый лидер в мультимодальном анализе

Китайский гигант ByteDance представил модель Seed1.5-VL. Несмотря на компактные размеры (всего 20B параметров), она конкурирует с топовыми решениями вроде Gemini2.5 Pro. И она умеет "глубоко размышлять" над изображениями!

🚀 Что умеет?
- Видеоанализ: Например, по запросу «что натворил кот?» выдает таймкоды всех «преступлений»
- Точный поиск объектов: Находит товары на полке, читает ценники и считает сумму
- Распознавание эмоций: Определяет количество злых котиков на фото с указанием координат
- GUI-интеграция: Может имитировать клики пользователя в интерфейсах

💡 Технические детали:
• Архитектура: ViT-532M + MoE-LLM 20B
• Обучение: 3 этапа с фокусом на OCR, визуальном grounding’е и работе с длинными последовательностями
• Инновации: гибрид RLHF/RLVR, оптимизированная балансировка нагрузки GPU

⚡️ Результаты
Модель набрала 38 топ-результатов в 60 тестах (включая 14/19 видео-тестов)

Официальный сайт | Отчет | GitHub

#КитайскийИИ #КитайAI #МультимодальныйИИ #ComputerVision #ByteDance

Читать полностью…

⚡️Создаём свою нейросеть в PyTorch

Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.

Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei.

Что будет на вебинаре?
🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU;
🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей;
🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения;
🟠Научимся использовать DataLoader для эффективной загрузки данных;
🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN);
🟠Обучим и протестируем модель.

🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта.

😶Зарегистрироваться на бесплатный вебинар

Читать полностью…

поздравляю всех с Днем Победы в Великой Отечественной войне!

цифровая вычислительная техника не успела внести вклад в исход войны, а вот аналоговая вполне успела; на картинке прибор управления артиллерийским зенитным огнем ПУАЗО-3; между прочим, уже электрический

к созданию таких приборов приложило руку немало ученых, которые потом стали отцами искусственного интеллекта в СССР: академик Лебедев, член-корр. Преснухин, гораздо менее известный профессор Гутенмахер, и многие другие

на мой взгляд важно помнить и подвиг солдат на фронте, и подвиг тружеников в тылу, в том числе ученых

еще раз с Днем Победы!

Читать полностью…

📊Обновили график Price vs Quality на LLM Arena

Мы постарались учесть всё, что мешало удобному анализу, и улучшили основные элементы. Теперь он точнее, аккуратнее и лучше отражает реальную картину:

⏺️Визуализация стала понятнее
График больше не выглядит сжатым и перегруженным, что делает его более читаемым и облегчает сравнение моделей между собой.

⏺️Добавлены доверительные интервалы
Они помогают оценить статистическую надежность Elo-рейтинга каждой модели.

⏺️Гибкий расчёт стоимости
Теперь вы можете настраивать баланс между input- и output-токенами в зависимости от ваших задач.

⏺️Параметр "Style Control"
Позволяет "очистить" рейтинг от влияния стиля – длины текста, форматирования (списков, выделений).

⏺️Актуальные модели
График построен на свежих данных с основного лидерборда LLM Arena.

Найти график можно на сайте llmarena.ru во вкладке Таблица лидеров ➡️ Price vs Quality.

А вы уже нашли свою модель?
❤️ — да, и она стоит своих денег
🔥 — пока только ищу, спасибо за график

Читать полностью…

На Хабре вышла статья Дмитрия Кабанова "«Теплый ламповый» опенсорс — новые мега-подборки, пет-проекты, комиксы и книги, абсурдные и полезные лицензии".

В ней - подборка интересных opensource-related материалов: интересных репозиториев, книг, awesome-листов и т.д.

Среди прочего, упоминают про научный код и нашего ИИ-ассистента для опенсорс-разработки OSA, про которого мы недавно рассказывали в канале.

Читать полностью…

❗️ Как инъекция промта заставляет ИИ говорить всё и вытягивает системный запрос | Привет, друг. На связи Эллиот.

Исследователи представили универсальную и переносимую постинструкционную технику инъекции промтов, которая успешно обходит иерархию инструкций и защитные механизмы ключевых современных ИИ‑моделей.

– В данном материале представлены технические детали этой методики обхода, а также процесс её разработки и расширения, в частности для систем с автономной природой.

⏺ Ссылка на чтиво

#ИИ #Injection

Читать полностью…

Недавно в нашем чате обсуждали подборку опенсорс-библиотек для ИИ от ICT Moscow - и вот вышла расширенная версия:

В этот раз авторы собрали полноценную карту из 128 инструментов Open Source для ИИ-разработчиков за пять лет.

Посмотреть, что получилось, можно здесь:
- https://ict.moscow/research/russian-open-source-ai-map/ (с подробным описанием);
- https://ict.moscow/static/download/862d92ef-6bc9-3f88-b987-3aa6e2b3059f (чисто pdf);
- /channel/ict_moscow_analytics/5403 (пост с превью аналитики).

За основу взята прошлая подборка, расширен период (2020-2025), доработан контент (в чате как раз обсуждали, что было упущено в первой итерации - например, LightAutoML)

На карте инструменты разбиты на группы по типам и по характеру прикладных задач, по ссылкам — карточки с краткими описаниями и ссылками на репозитории.

Также в приложении к карте отдельно собраны профили некоторых участников команд на GitHub, HuggingFace, ResearchGate, Habr и других платформах.

Про проекты команд из ИТМО тоже вспомнили - FEDOT, ProtoLLM, LLAMATOR, совместный со Сбером Stalactite.

Читать полностью…