Искусственный интеллект в проектах — помощник, а не начальник🤖

ИИ всё чаще появляется в рабочих процессах — но польза начинается не там, где он «думает за людей», а там, где снимает рутину.

Что уже можно автоматизировать без боли:
🟣 создавать задачи из писем и встреч;
🟣 следить за статусами и дедлайнами;
🟣 собирать отчёты и сводки;
🟣 подсвечивать перегруз и зависшие задачи.

Что ИИ делать не должен — принимать решения и брать ответственность. И именно с таким подходом он работает: человек решает, ИИ экономит время.

Почему управление проектами — идеальная среда для ИИ и как это уже реализовано внутри Kaiten — рассказываем в статье на Хабре: https://habr.com/ru/companies/kaiten/articles/974472/

Читать полностью…

📌Как делали MiniMax М2.1 и что будет дальше.

Когда говорят, что одна модель пишет код лучше другой, обычно имеется ввиду бенчмарк SWE-Bench. Модель получает реальный баг из настоящего проекта с Github, который она должна прочитать, найти ошибку и исправить её. Это частично повторяет ежедневную работу программиста.

Но у этого бенча, как и у любого другого, есть свои недостатки.

🟠SWE-Bench работает только с Python. В реальном мире разработчики имеют дело с Java, Go, TypeScript, Rust, C++ и еще кучей других.

🟠Бенчмарк только про исправление ошибок, а программисты еще пишут новые функции, занимаются рефакторингом и оптимизацией.

🟠Его результаты сильно зависят от того, в каком окружении работает модель.

И вот здесь MiniMax-AI задалась вопросом: как создать по-настоящему универсального ИИ-программиста?

Ответ они нашли и реализовали его в своей свежайшей модели M2.1.

🟡Масштабирование окружения.

За этим расплывчатым термином кроется огромная система, которая оперирует популярными языками: JS, TS, Python, Java, Go, C++ и Rust.

Для этого с GitHub были собраны более 100 тыс. реальных задач с описанием проблемы, кодом и тестами. Это было непросто, так как сложные языки (Java или C++) требуют настройки и у каждого языка свои фреймворки и системы управления зависимостями.

Чтобы обучить модель на таком массиве данных, MiniMax построил инфраструктуру, способную запускать более 5 тыс. изолированных сред выполнения за максимально короткое время - 10 секунд.

🟡Выход за рамки баг-фиксов.

MiniMax-M2.1 обучали и генерации тестов и в результате оказалось, что это критически важный навык.

Предыдущая версия, M1, писала слишком простые тесты и часто выбирала неверные решения. M2.1 в этом преуспела и сравнялась по результатам с мощным конкурентом Claude Sonnet 4.5.

Еще она научилась оптимизировать производительность кода — на SWE-Perf показала средний прирост эффективности в 3.1%.

И наконец, M2.1 научили делать Code Review, для чего создали внутренний бенчмарк SWE-Review.

🟡Обобщение на незнакомых окружениях (Generalization on OOD Scaffolds).

Модель должна одинаково хорошо следовать длинным инструкциям и адаптироваться к разным способам управления контекстом диалога.

Команда провела тесты в mini-swe-agent, Droid и Claude Code и если посмотреть на цифры из их сравнительной таблицы, то можно увидель, что модель стала гораздо более гибкой и универсальной.

На том же SWE-Bench, при использовании Claude Code, MiniMax-M2.1 выбила 74 балла, что выше, чем у модели M2 с ее 69.2 баллами, и практически наравне с Claude Sonnet 4.5 и DeepSeek V3.2.

На другом тесте, OctoCodingBench, разрыв еще больше: 26.1 у новой модели против 13.3 у старой.

🟡Планы на 2026.

Во-первых, MiniMax планирует научить модель оценивать не только правильность кода, но и читаемость кода, качество комментариев, прозрачность процесса работы.

Во-вторых - повысить эффективность решения задач, чтобы модель не делала лишних шагов, например, не перечитывала один и тот же файл по несколько раз.

Но самое интересное — это их планы по RL Scaling, и создание так называемой Coding World Model.

Идея в том, чтобы построить модель-симулятор, которая сможет предсказывать результат выполнения кода, не запуская его в реальности.

Наконец, они планируют расширяться в узкоспециализированные области: разработка GPU Kernel, компиляторов и смарт-контрактов.

Похоже, концепция "ИИ-кодера" становится все более реальной. Успех MiniMax-M2.1 показал, что дело уже не в написании отдельных строк кода, а в комплексном понимании всего процесса разработки.


@ai_machinelearning_big_data

#AI #ML #LLM #MiniMaх

Читать полностью…

⚡️ Google показала интересный пример того, как мультимодели уже помогают в гуманитарных исследованиях.

Gemini 3.0 Pro смогла расшифровать загадочные пометки в «Нюрнбергской хронике», которым более 500 лет. В модель залили сканы страниц и попросили не просто переписать текст, а объяснить, что означают заметки с учетом контекста.

Оказалось, что круговые таблицы на полях были попыткой примирить две конкурирующие библейские хронологии и вычислить год рождения Авраама.

Сложность состояла в том, что заметки смешивали латинские сокращения, римские цифры и обрывки надписей.

Gemini связала вычисления с системой датировки Anno Mundi (год от сотворения мира), привязала их к традициям Септуагинты и еврейской Библии, а затем перевела в «до н.э.», получив расхождение примерно в 100 лет.

siliconangle.com/2026/01/01/googles-gemini-3-0-pro-helps-solve-long-standing-mystery-nuremberg-chronicle/

@data_analysis_ml

Читать полностью…

вообще эта новость вполне могла быть в любой день, но иллюстрация требует поставить ее в субботу; суть новости - Google выкатил генератор заголовков для новостных сюжетов, и все заверте... я могу восстановить логику событий так, что кто-то решил обучить генератор делать привлекательные (кликабельные) заголовки; как следствие, генератор честно выучился делать кликбейт - то есть максимально "желтые"

я думаю, что люди, которые обучали, не были знакомы со спецификой новостного домена, что еще раз подчеркивает необходимость погружения в область, прежде, чем "палить из всех столов", в смысле обучать самые модные модели на любых доступных данных

@valuableai

Читать полностью…

📌Интервью 23-летнего сотрудника OpenAI, который выучил DL без учебы в университете.

Интересная история, которая заставляет задуматься об образовании и карьере.

Знакомьтесь - Габриэль Петерссон. Ему всего 23 года, он бросил школу в глухом шведском городке, не учился в ВУЗе, но прямо сейчас работает научным сотрудником в OpenAI, в команде Sora.

🟡Мы живем во время, когда монополия ВУЗов на фундаментальные знания пошатнулась.

Традиционное образование - это путь "снизу вверх". Хочешь заниматься машинным обучением? Сначала выучи линейную алгебру, потом матан, потом тервер. Это долго и зачастую теряется мотивация и понимание, зачем тебе это нужно прямо сейчас.

Масла в котел демотивации подливают компании, которые тоже не очень хотят ждать. Palantir, например, уже нанимает старшеклассников, минуя вузы. И история Габриэля — показательный пример тенденции.

Он не проходил классический путь "школа — бакалавриат — магистратура". Вместо этого он использовал ChatGPT как персонального ментора. И речь не о том, чтобы попросить чат-бот «напиши код за меня». Габриэль использовал метод, который он сам называет «рекурсивным заполнением пробелов».

Его суть том, чтобы идти как бы "сверху вниз". Он берет сложный проект: например, хочет разобраться, как работают модели диффузии. Он просит ChatGPT написать код. Естественно, сначала он ничего не понимает.

И вот тут он начинает задавать вопросы к каждому непонятному модулю. «Что делает этот блок?». Допустим, это блок ResNet. Он спрашивает: «Почему это помогает модели учиться?». И копает глубже. Если всплывает незнакомое понятие - он просит объяснить математическую базу, лежащую в его основе.

Это и есть рекурсия: слой за слоем, пока не заполнятся все пробелы в знаниях. Он не учит математику впрок, он учит ту математику, которая нужна ему прямо сейчас для работы кода.

🟡Но как иностранец без диплома получил визу в США и работу в Кремниевой долине?

Для получения визы талантов (O1) он использовал свою репутацию на Stack Overflow и рекомендации, которые просмотрели миллионы людей, как доказательство вклада в индустрию.

Габриэль советует: забудьте про HR. Резюме и дипломы не важны, если вы можете показать результат. Его стратегия — MVP или демо продукта и написать напрямую топ-менеджменту компании с предложением бесплатной работы на неделю. Это снимает риски для нанимателя и дает вам шанс показать себя.

Его главный посыл: если вы готовы активно задавать вопросы и не боитесь выглядеть глупо перед ИИ, изучая основы, вы уже входите в 1% лучших. Потому что большинство людей просто плывут по течению.

🔜 Посмотреть полное интервью


@ai_machinelearning_big_data

#AI #ML #Interview #OpenAI

Читать полностью…

я хотел сегодня пропустить, чтобы дать всем отдохнуть, но меня догнала огненная новость - мои бывшие коллеги из исследовательского центра им. Н.Н. Лузина (это псевдоним, могу намекнуть на оригинальное навзвание - 🐉🪷🌺) выложили свой претрейн!

модель под названием Gamayun на 1.5B параметров, лучше Qwen2.5 аналогичного размера на русском, арабском, болгарском, испанском и польском языках!

также в этой работе коллеги предложили бенчмарк RuBIN, фактически измеряющий знание популярных русскоязычных цитат

мне очень приятно начать год с такой новости, поздравляю коллег из исследовательского центра им. Н.Н. Лузина, а также всех интересующихся русскоязычным NLP! 🎉🎉🎉

@valuableai

Читать полностью…

🧮Математика сюрпризов: как 17-летняя школьница разрушила 40-летнюю гипотезу

Математика 2025 года доказывает: в науке о строгих правилах всё еще полно места для сюрпризов. Даже в областях, где всё казалось изученным до мелочей, старые гипотезы внезапно рушатся под свежим взглядом. Ярким примером стала 17-летняя школьница Ханна Кайро, которая, обучаясь дома на Багамах, смогла опровергнуть 40-летнюю гипотезу из гармонического анализа. Она нашла контрпример там, где опытные ученые десятилетиями видели лишь подтверждение устоявшихся теорий, доказав, что математическая интуиция порой важнее академических регалий.

Геометрия и физика тоже преподнесли невероятные результаты, граничащие с парадоксами. Исследователи наконец обнаружили «нопертэдр» — первый в истории выпуклый многогранник, сквозь который невозможно протащить его собственную копию, а также создали тетраэдр, способный стоять лишь на одной из четырех граней. Параллельно с этим математики представили новое, универсальное решение знаменитой «задачи десяти мартини», окончательно связав квантовую физику электронов с причудливыми фрактальными структурами.

На самом фундаментальном уровне ученые замахнулись на пересмотр природы бесконечности и чисел. Пока одни группы исследователей предлагают новые типы бесконечностей, которые делают математическую вселенную еще более хаотичной и сложной, другие находят способы доказать иррациональность целых наборов чисел. Эти открытия показывают, что даже привычная со школы числовая прямая остается территорией поиска, где за простыми вопросами скрываются глубокие истины, меняющие наше представление о реальности.

#Математика #Наука #Геометрия

SecurityLab в Telegram | MAX | Поддержите нас «бустами»

Читать полностью…

Привет!

Встречайте двадцать шестой, предновогодний 🎄 выпуск подкаста "Капитанский мостик". В этом выпуске обсуждаются ключевые события года, включая рост цен на технологии памяти, скорость изменений в индустрии, дефляцию технологий и трансформацию маркетинга. Также рассматриваются новые навыки, необходимые в программировании, и важность образования в технологической сфере России. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Читать полностью…

Сравнение числа ошибок в коде, написанном людьми и AI https://opennet.ru/64485/

Читать полностью…

​​Топ-10 интересных статей 2025

В этом году я написал 30+ обзоров статей. Получилось немного меньше, чем в прошлые годы, но очень уж много топовых компаний публикуют лишь сухие technical reports.
Большинство статей было, конечно, про LLM, но не только ими полон мир - был интересный прогресс в компьютерном зрении и многих других направлениях.

Хочу поделится топ-10 статей, которые мне показались особо интересными. Лист совершенно субъективный и не покрывает топ-фронтир LLM.

DeepSeek-R1
GSPO
Lumine
SAM-3
Chronos-2
NeoBERT
AlphaEvolve
SWE-rebench
DINOv3
Dragon Hatchling

Детали можно почитать в моём блогпосте. Или на medium.

#datascience

Читать полностью…

🚀 Вышел QwenLong-L1.5 - модель для long-context reasoning, которая на длинных контекстах конкурирует с GPT-5 и Gemini-2.5-Pro.

Коротко о модели
- 30B параметров, из них 3B активных
- Заточена под рассуждение на очень длинных контекстах
- Полностью открыты веса, код обучения и рецепты данных

Ключевые показатели:
- +31.7 балла на OpenAI MRCR при контексте 128K - SOTA среди всех моделей
- На уровне Gemini-2.5-Pro на 6 крупных long-QA бенчмарках
- +9.69 на CorpusQA
- +6.16 на LongBench-V2

Что интересного.

1. Синтетические данные в масштабе
14.1K длинных reasoning-сэмплов из 9.2B токенов без ручной разметки.
Средняя длина - 34K токенов, максимум - 119K.

2. Стабильное RL-обучение
Используется балансировка задач и Adaptive Entropy-Controlled Policy Optimization (AEPO), что позволяет стабильно обучать модели на длинных последовательностях.

3. Архитектура с памятью
Итеративные обновления памяти за пределами окна 256K токенов.
Результат - +9.48 балла на задачах с контекстом от 1M до 4M токенов.

QwenLong-L1.5 - это один из самых сильных open-source шагов в сторону реально масштабируемого ризонинга с длинным контекстом

Модель интересна не только результатами, но и тем, что весь стек обучения открыт.

GitHub: https://github.com/Tongyi-Zhiwen/Qwen-Doc
Paper: https://modelscope.cn/papers/2512.12967
Model: https://modelscope.cn/models/iic/QwenLong-L1.5-30B-A3B
HF: https://huggingface.co/Tongyi-Zhiwen/QwenLong-L1.5-30B-A3B

@ai_machinelearning_big_data

#AI, #LLM, #opensource, #long #Owen

Читать полностью…

🎬 На ридинг-группе 18 декабря Роман Болозовский, ML-инженер AI VK, разобрал статью про SilverTorch — фреймворк, который предлагает упростить работу с крупными рекомендательными моделями и расширить к ним доступ.

Поговорили о месте SilverTorch в экосистеме рекомендательных систем, его возможностях масштабирования, о том, какие задачи он реально закрывает, и где заявленная «демократизация» по-прежнему требует внушительных вычислительных ресурсов. Также обсудили практические кейсы использования и потенциальную ценность инструмента для команд и исследователей.

Запись ридинг-группы уже здесь — можно посмотреть в удобное время.

#ридинггруппа #aivk

Читать полностью…

🤷‍♂️ Не справились с ситуацией

В Сан-Франциско из-за масштабного отключения электроэнергии на сутки вышли из строя роботакси Waymo.

В городе перестали работать светофоры, из-за чего роботакси устроили пробки на дорогах.

↖️ https://kod.ru/waymo-sboi-taxi-san-francisco

Читать полностью…

Gemini AI генерирует небрежный код для разработки Ubuntu с новым вспомогательным скриптом

Несколько недель назад инженер Canonical сообщил, что попытка использовать ИИ для модернизации отслеживателя ошибок Ubuntu привела к созданию кода, который был «просто неправильным», а также к другим проблемам, вызванным кодом от Microsoft GitHub Copilot. Тот же разработчик Ubuntu переключился на использование Gemini AI для создания вспомогательного скрипта, который должен был помочь с ежемесячными выпусками ISO-образов Ubuntu. Однако Gemini AI от Google также сгенерировал небрежный код для этого Python-скрипта, предназначенного для помощи с этими релизами Ubuntu...

Читать полностью

#Phoronix
@linux_potok

Читать полностью…

T5Gemma 2 - новое поколение энкодер-декодерных моделей от Google

Google представила T5Gemma 2 - энкодер-декодерную архитектуру, построенную на базе идей и ряда улучшений Gemma 3. Это не просто апдейт, а полноценный шаг вперед для задач генерации, перевода, суммаризации и мультимодального понимания.

T5Gemma 2 объединяет сильные стороны классического подхода T5 (encoder-decoder) с архитектурными улучшениями Gemma нового поколения, делая модель более эффективной, масштабируемой и универсальной.

Основные особенности
- Энкодер-декодерная архитектура нового поколения
- Общие эмбеддинги для энкодера и декодера, что снижает размер модели
- Объединенное self- и cross-attention в декодере для более эффективных вычислений
- Поддержка длинного контекста до 128 000 токенов
- Мультимодальность - работа с текстом и изображениями
- Многоязычная поддержка более 140 языков

Размеры моделей
T5Gemma 2 доступна в нескольких конфигурациях:
- 270M + 270M параметров
- 1B + 1B параметров
- 4B + 4B параметров

Такие размеры позволяют использовать модель как в исследованиях, так и в продакшене, включая on-device сценарии.

Модель демонстрирует отличное понимание контекста, более стабильную генерацию и высокое качество работы с длинными последовательностями. Особенно хорошо проявляет себя в задачах суммаризации, QA, перевода и мультимодальных сценариях.

Где это полезно
- Суммаризация документов
- Машинный перевод
- Поиск и RAG-системы
- Мультимодальные ассистенты
- Обработка длинных текстов без агрессивного чанкинга

T5Gemma 2 показывает, что encoder-decoder подход по-прежнему актуален и может конкурировать с decoder-only моделями, особенно в задачах понимания и структурированной генерации.

https://blog.google/technology/developers/t5gemma-2/

Читать полностью…

🔥 Год ChatGPT Plus бесплатно: экономим 20 000 рублей

Нашли рабочую лазейку в правилах OpenAI.
Вы получаете полноценный аккаунт без лимитов и с доступом ко всем топовым моделям.
Инструкция (займет 2 минуты):

1️⃣ Переходим на сервис временной почты: https://em.bjedu.tech/en/
2️⃣ Важно: в списке доменов выбираем erzi me.
3️⃣ Регистрируем новый аккаунт ChatGPT на этот адрес.
4️⃣ Получаем код подтверждения в почту - готово!

⚡️ Проверили, пока еще работает

@data_analysis_ml

Читать полностью…

Малайзия, Франция и Индия пошли против ИИ-чат-бота Grok

ИИ разрабатываемый компанией Илона Маска, снова оказался в центре скандала. Grok был создан стартапом xAI и позже интегрирован в социальную сеть X. Пользователи платформы обнаружили, что при загрузке обычной фотографии и указании в запросе «удалить одежду», чат-бот генерировал реалистичное изображение с имитацией обнажённого тела. Такие материалы в ряде случаев даже становились публичными, попадая в ленту X.

Индия направила письмо компании X, предписав провести всестороннюю проверку чат-бота. Власти Малайзии уже расследуют изображения, после жалоб на неправомерное использование ИИ. Франция объявила контент незаконным.

Мой Компьютер

Читать полностью…

Серега @southfreebird параллельно с работой в Nebius с друзьями сделал крутой open-source проект!

Авторы: @southfreebird, @Olegbalakhnov и @zaringleb.

Ребята обучили и выложили в open-source VLA-модель на базе VLA-0 от Nvidia, только с backbone в 6 раз меньше (0.5B vs 3B в оригинальной работе), которая показывает success rate 94.1% на Libero benchmark (против 94.7% у оригинальной модели).

VLA (Vision-Language-Action) это модель, которая смотрит на картинку, понимает текстовую команду и сразу выдаёт действие для робота, типа «возьми кубик и положи справа».

Вообще порог входа в robotics ML всё ещё достаточно высокий, поэтому у ребят крутая цель: сделать в open-source воспроизводимые рецепты для файнтюна небольших моделей на небольшом количестве демонстраций.

Ссылка на блогпост и модель:
https://robot-learning-collective.github.io/vla-0-smol

Если интересно следить, ребята завели Discord:
https://discord.gg/XcZVY2kxj9

Ну и пишите, если будут вопросы!

Читать полностью…

всем привет, если вам нечем заняться на новогодние праздники, кроме доедания салатов, то еще есть возможность залететь в соревнование по переводу на тюркские языки (будет идти до конца праздников)

тем более, что появился повод, прямо под ёлочку 🎄 Tencent выпустили обновление своих моделей для машинного перевода Hunyuan 1.5 (если я правильно понял, то наилучшим переводом 混元 будет "первичный бульон", как источник для всего разнообразия жизни)

коллеги выпустили две новых модели 1.8B и 7B, результаты (на картинке) впечатляют - бьют специализированные переводчики от Google и Microsoft, правда, проигрывают Gemini Pro (что, конечно, неудивительно)

кстати, часть результатов на FLORES-200, который среди 200 языков включает башкирский, казахский, кыргызский и татарский, так что можно залететь в соревнование с этими моделями; присоединяйтесь!

@valuableai

Читать полностью…

Как приходит новый день год - так выглядит граница между днём и ночью на Земле:

«Эта «сумеречная полоса» шириной в сотни километров непрерывно движется вокруг Земли. На экваторе она мчится со скоростью около 1666 км/ч, а у полюсов почти замирает. Природа создаёт свой собственный калейдоскоп света и тени»

Подпишись на ПУЛ N3 / MAX

Читать полностью…

📌GPU Glossary: исчерпывающая база по GPU.

Modal Labs составили подробный глоссарий, чтобы решить проблему, с которой сами столкнулись при работе с графическими процессорами в сервисе Modal : документация фрагментирована и зачастую очень сложно сопоставить концепции на разных уровнях стека.

Modal Labs (бренд Modal) – компания, основанная в 2021 году, которая предоставляет высокопроизводительную серверную вычислительную платформу для разработчиков, работающих с данными, ИИ и машинным обучением.

Они прочитали PDF-документацию от NVIDIA, порылись в тематических Discord-сообществах и даже купили бумажные учебники, чтобы составить базу знаний, охватывающую весь стек в одном месте:

🟢Ядра CUDA, SM, тензорные ядра, warp-планировщики;

🟢Потоки, PTX, иерархию памяти;

🟢Roofline, дивергенцию;

🟢Nvcc, nvidia-smi, cuBLAS, Nsight, libcuda.

В руководстве все страницы связаны между собой, поэтому вы можете перейти к разделу о Warp Scheduler , чтобы лучше понять потоки, о которых вы читали в статье о модели программирования CUDA.

Сам проект открыт и доступен на Github.


🟡Страница
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #GPU #Glossary #Modal

Читать полностью…

📌GLM 4.7 стала первой открытой моделью, вышедшей в плюс в бенчмарке Vending Bench 2.

Andon Labs опубликовала результаты Vending Bench 2, и GLM 4.7 вошла в шестерку лучших. Она стала первой открытой моделью, которая прошла полный "годовой тест" с реальной прибылью в 2 377 долларов.

Vending Bench 2 - это симуляционный тест для ИИ-агентов, в котором испытуемая модель в течение года управляет виртуальным бизнесом по продаже товаров через вендинговые автоматы.

Задачи бенча включают в себя закупку товаров, торговлю с поставщиками, корректировку цен в зависимости от спроса, покрытие расходов, учет погодных условий и сезонов.

Метрика теста - избежать банкротства и, в идеале, накопить деньги.

Лидерами стали закрытые модели: Gemini 3 Pro и Claude Opus 4.5, которые завершили тестирование с результатом выше 4000 долларов.

Тем не менее, GLM 4.7 обошла GPT 5.1 и ряд более мелких моделей, что доказывает: опен-сорс сокращает разрыв в агентских задачах с длительным горизонтом.


@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Запись семинара

Илья Манякин (МСистемы), Вероятностные графовые модели и байесовские сети. YouTube | Дзен | RuTube (~1 час 20 минут).

Читать полностью…

Подборка статей об альтернативах квадратичному селф-аттеншну

В последние годы всё больше обсуждают альтернативы классическому аттеншну — прежде всего из-за стоимости квадратичного скейлинга и работы с длинными контекстами. Ниже — краткий обзор нескольких любопытных работ и блогпостов на тему линейного, sparse- и гибридного аттеншна.

Why Did MiniMax M2 End Up as a Full Attention Model?

Начнём с поста от команды MiniMax. Их первая модель, MiniMax M1, была гибридной и использовала простой линейный аттеншн на матричных стейтах. Но во второй версии, MiniMax M2, они неожиданно вернулись к полному квадратичному аттеншну — даже без sliding window attention (SWA), который уже встречается в опенсорсных моделях.

Авторы говорят, что гибридная архитектура у них попросту не заработала. На классических текстовых бенчмарках всё выглядело приемлемо, а вот на агентских задачах — с кодом, итерациями и длинным контекстом — модель стабильно проигрывала. SWA тоже не помог: при дообучении моделей, изначально предобученных с полным аттеншном, ключевые головы не перестраивались и деградировали.

Итоговый вывод у MiniMax осторожный: линейные и гибридные подходы выглядят перспективно, но пока не хватает инфраструктуры, реализаций и бенчмарков. Поэтому на данный момент они остаются со стандартным трансформером и считают, что сначала нужно больше данных и экспериментов с длинным контекстом.

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

В этой работе изучают training free sparsity в аттеншне и пытаются понять, что реально работает с точки зрения баланса compute/accuracy. На умеренных контекстах спарсификация аттеншна почти не помогает и часто ухудшает качество. На очень длинных — даёт выигрыш по FLOPs, но часто приводит к ухудшению качества: авторы замечают, что метод, работающий на одной задаче, ломается на другой. В среднем удаётся получить около 5× сжатия без сильной деградации качества, но разброс большой, особенно для маленьких моделей.

Evaluating Long Context (Reasoning) Ability

В следующем посте автор критикует популярные long-context-бенчмарки. Он говорит, что needle-in-a-haystack-like-задачи в основном проверяют ретривал и плохо отражают реальную (более сложную) работу с длинным контекстом. На более сложных задачах, где контекст нужно понять, а не просто найти факт (например, в длинном коде с логическими ошибками), модели начинают деградировать уже на десятках тысяч токенов — даже с Full Attention. Вывод: бенчмарков, которые реально проверяют ризонинг на длинном контексте, пока недостаточно.

Kimi Linear: an expressive, efficient attention architecture

Спустя неделю после скептического поста MiniMax Moonshot AI (авторы модели Kimi K2 и не только) выпустили работу с почти противоположным тезисом: Linear Attention работает. В Kimi Linear предложили Kimi Delta Attention с gated delta rule и рекуррентной матричной памятью. В модели используют соотношение 3:1 линейных слоёв к Full Attention. Качество на бенчмарках в статье не хуже полного аттеншна, а эффективность выше: prefill на длинных промптах быстрее примерно в три раза, декодинг и memory footprint тоже выигрывают за счёт меньшей зависимости от KV-cache.

Разбор подготовил ❣ Иван Рубачёв, а ещё он приглашает вас на семинары Yandex Research Reading Group

Душный NLP

Читать полностью…

Современные нейросетевые модели для глобального прогноза погоды

Недавно вышла модель WeatherNext-2 от Google, и мы решили рассказать не только о ней, но и в целом о задаче и моделях глобального прогноза погоды.

Глобальный прогноз погоды — это задача прогноза эволюции всей земной атмосферы на несколько дней вперёд. Классический подход — численный прогноз погоды (NWP), в котором численно решается система связанных дифференциальных уравнений гидродинамики. Такие расчёты выполняются на суперкомпьютерах более часа, поэтому прогноз на ближайшие часы нельзя получить мгновенно.

Из-за хаотичной природы атмосферных процессов применяется ансамблирование: прогноз запускают с немного различающихся начальных условий, получая десятки возможных сценариев. Ансамблевый прогноз — наиболее точный, он позволяет оценить вероятности событий.

К 2025 году сформировались базовые требования к DL-моделям глобального прогноза:

— пространственное разрешение не грубее 0,25°по широтам и долготам (~28×28 км);
— соответствие спектров (проверка физичности);
— наличие осадков и желательно метрик, отличных от MAE/RMSE;
— поддержка ансамблей.

Ключевым фактором развития DL-подходов стало усвоение данных. Современные техники ассимиляции позволили пересобрать архив наблюдений с 1940 года, получив ERA5 — самый полный и согласованный датасет состояния атмосферы на сетке 0,25°. Доступность большого числа качественных данных — благодатная почва для DL-подхода. Стандартный вход DL-моделей — около 72 карт (приземные переменные, переменные по уровням давления и статические поля).

Обзор основных моделей

За последние годы появились DL-модели глобального прогноза: Pangu Weather, GraphCast, Aurora, GenCast. Все они используют ERA5 и авторегрессионно транслируют состояние атмосферы в будущее.

Pangu Weather показала, что «картиночная» модель может воспроизводить крупномасштабную динамику, но ансамбли через шум в начальных условиях оказались некачественными.

GraphCast использует графовую архитектуру на икосаэдрической сетке и задаёт планку качества для детерминистских моделей. GenCast расширил этот подход, применив диффузию для получения ансамблей, что позволило уменьшить «мыло» и лучше моделировать экстремумы, но ценой более медленного инференса.

При этом выяснилось, что стандартных метрик (LW-RMSE и ACC) недостаточно: многие модели не проходят проверку на физичность по спектрам. Несоответствие спектров означает, что модель не улавливает вариации энергии на мелких масштабах, и неэффективно использует высокое разрешение.

WeatherNext-2

WeatherNext-2 — третья итерация модели Google. Это вероятностная модель, которая напрямую оптимизируется по CRPS и строит ансамбли без диффузии.

Ключевая идея — декомпозиция неопределённости:

— эпистемическая неопределённость моделируется deep-ансамблем (четыре модели с разными сидами);

— алеаторическая неопределённость моделируется через функциональные возмущения: для каждого члена ансамбля и шага сэмплируется один глобальный 32-мерный шумовой вектор, который через conditional layer norm подаётся во все слои модели.

Архитектура сохраняет подход GraphCast: переход grid→mesh, граф-трансформер на mesh и обратное отображение. Глобальный низкоразмерный шум, применяемый ко всем слоям и пространственным точкам, задаёт согласованную пространственную вариативность.

Модель работает с шагом шесть часов и делает полный 15-дневный прогноз ансамбля менее чем за минуту на одном TPU, что значительно быстрее GenCast. По метрикам CRPS и RMSE среднего ансамбля WeatherNext-2 превосходит GenCast и приближается к численным ансамблям. Про осадки в статье сообщается скупо, спектры лучше, чем у GenCast, но хуже, чем у FourCastNetV3.

В целом WeatherNext-2 показывает, что можно получить быстрый ансамбль без диффузии и существенно улучшить качество по сравнению с предыдущими нейромоделями.

При этом ключевые вопросы о соответствии спектров и корректной работе с осадками остаются.

Разбор подготовил ❣ Павел Анисимов
CV Time

Читать полностью…

Пройдите тест от Авито по Data Science и оцените свой уровень на основе реальных кейсов из практики DS-команд компании ☄️

Что в нём полезного:
– поймёте, какие компетенции уже прокачаны, а над чем стоит поработать,
– сможете открыть рекрутерам доступ к результатам и повысить шансы на оффер,
– получите письмо с разбором ответов на почту в течение дня.

На праздниках самое время проверить себя и определить точки роста.

Ссылку на тест оставили здесь ⚡️

Читать полностью…

Alice AI VLM dev на MWS Vision Bench: что конкретно изменилось в модели (и вокруг неё)

Сегодня наша базовая визуально-языковая модель Alice AI VLM dev появились на втором месте в MWS Vision Bench с результатами Overall private test: 0,637 (img→text: 0,886, img→markdown: 0,747, Grounding: 0,065, KIE (JSON): 0,751, VQA: 0,737). Alice AI VLM dev — часть большой Alice AI VLM. Расскажем, как всё обучалось.

Инженеры Яндекса сумели добиться хороших результатов благодаря обучению модели не только под пользовательские сценарии, но и под бизнесовые. Внутри компании используют VLM для автоматизации документооборота, разметок и многого другого. На этих доменах модель обучается как на стадии претрейна, так и на стадии алайнмента.

В сценарии «картинка + вопрос» качество упирается не только в генерацию ответа, но и в то, как модель видит изображение, читает текст на нём и следует инструкции. В продакшене Alice AI VLM работает в связке: «называтель» извлекает объекты и строит их иерархию с учётом текстового запроса, а VLM‑рефразер маршрутизирует запрос либо в основной VLM‑генератор, либо в специализированные ветки (например, «решатель»), либо в Alice AI LLM. Alice AI VLM dev (она же базовая VLM) — это та же модель, которая работает в продакшене как «генератор» и «решатель», но обрабатывающая запросы пользователя напрямую, без предыдущих этапов.

Обучение VLM двухэтапное: на претрейне мультимодальное next‑token-обучение на большом корпусе, а на алайнменте — SFT + RL, где модель доводят до «ассистентского» поведения.

Претрейн

Увеличили Image‑encoder и размер картинки на входе без деградации — с 896×896 до 1024×1024. Благодаря этому выросло качество работы с деталями, вроде формул, таблиц, этикеток и дорожных знаков.

Также переформатировали OCR‑данные. Раньше в датасете часто встречались пары «картинка + весь распознанный текст», что хорошо помогало учить модель непосредственно на чтение, но этого было недостаточно для некоторых других сценариев. Например для задач на понимание логической и пространственной связи между блоками текста.

Теперь обучают VLM отвечать в разных форматах на OCR-данных: выписывая весь текст самостоятельно, выписывая координаты текста вместе с ним, используя текст внешнего OCR или напрямую отвечая на вопрос пользователя. Такой grounded‑OCR улучшает извлечение таблиц и списков, а также выполнение задач на поиск контента.

Объём претрейна увеличился с 400 миллиардов до 600 миллиардов токенов, а максимальную длину контекста целенаправленно проучили до 32 тысяч. Это позволяет обрабатыватьдлинные документы и несколько изображений в одном запросе.

Алайнмент

Раньше фотоинпут получался через дообучение поверх базовой VLM Яндекса: это давало продуктовые фичи, но обновления базовой модели требовали пересборки датасетов, а по пути могли проседать базовые навыки (OCR, следование некоторым инструкциям).

В последнем релизе сделали «Алису из коробки»: та же базовая VLM стала Alice AI VLM — моделью, отвечающей пользователю. А датасеты и метрики алайнмента объединили так, чтобы одновременно контролировать показатели как «технической» мультимодальности, так и продуктовой.

Отдельно перенесли сетап RL из текстовой Alice AI LLM. Теперь оптимизируют не только правильность, но и полноту, полезность и проактивность ответа. На потоковой корзине SbS новая версия выигрывает у предыдущей в 63% случаев.

Подробнее об обучении нашей VLM — читайте в соответствующем разделе технического отчёта. Там же можно узнать и об изменениях в других моделях семейства.

ML Underhood

Читать полностью…

Привет!

Встречайте двадцать пятый выпуск подкаста "Капитанский мостик". В этом разговоре обсуждаются ключевые темы, связанные с развитием технологий и искусственного интеллекта. Участники делятся мнениями о зрелости рынка, важности перевода знаний, языковых барьеров, монетизации технологий и качестве кода, сгенерированного AI. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Читать полностью…

🔥 2025 - год, когда LLM действительно изменились. Коротко и по делу, по мотивам поста Андрея Карпты

2025 оказался неожиданно сильным годом для LLM. Не просто улучшения метрик, а реальные сдвиги в том, как модели обучаются, как ими пользуются и как вообще стоит думать об их «интеллекте».

Главное за 2025 по мнению Карпты:
1. RLVR — Reinforcement Learning from Verifiable Rewards
До 2025 стандартный стек выглядел так: pretraining → SFT → RLHF. В 2025 к этому стеку добавился новый, ключевой этап- RLVR.

Вместо субъективной человеческой оценки модель обучают на автоматически проверяемых наградах: задачи по математике, коду, логике. В результате LLM сама находит стратегии рассуждения - дробит задачи, проверяет гипотезы, возвращается назад.

Важно не «что мы показали модели», а то, что она сама нашла рабочие способы думать. Этот этап оказался невероятно эффективным по соотношению capability к стоимости, из-за чего значительная часть вычислений ушла не в pretraining, а в длинные RL-прогоны.

Побочный эффект — появился новый регулятор мощности: test-time compute. Больше «времени на размышление» — выше качество. o1 показал идею, o3 в начале 2025 сделал перелом — разницу стало чувствовать интуитивно.

2. «Призраки, а не животные» и рваный интеллект
В 2025 индустрия наконец осознала форму LLM-интеллекта. Мы не «растим животных». Мы «призываем призраков».

LLM оптимизированы не под выживание и социальные группы, а под имитацию текста, получение наград в формальных задачах и апвоты. Поэтому интеллект получается рваным:
- гениальны в одном
- наивны и уязвимы в другом

RLVR усиливает этот эффект - модели становятся сверхсильными в верифицируемых доменах и странно слабыми вне их. Отсюда и потеря доверия к бенчмаркам: они почти всегда верифицируемы, а значит легко «обрастают jagged-улучшениями». Обучение на тесте стало искусством.

Можно побить все бенчмарки и всё ещё быть далеко от AGI.

3. Cursor и новый слой LLM-приложений
Cursor показал, что появился новый класс LLM-продуктов - «Cursor для X».

Это не просто интерфейс к модели, а слой, который:
- делает context engineering
- оркестрирует множество LLM-вызовов в DAG
- балансирует стоимость и качество
- дает специализированный UI
- вводит «ползунок автономности»

Вероятный сценарий: LLM-лабы делают «универсального студента», а приложения превращают их в специалистов — добавляя данные, инструменты, сенсоры и обратную связь.

4. Claude Code - AI, который живет на твоем компьютере
Claude Code стал первым убедительным агентом, который работает локально, в твоем окружении, с твоими файлами и контекстом.

Это важный сдвиг. Не облачные контейнеры и абстрактные агенты, а «дух», который живет рядом с разработчиком. В мире рваных возможностей это оказалось гораздо полезнее, чем агентные своры в облаке.

Форм-фактор CLI сделал этот сдвиг особенно наглядным: AI - это уже не сайт, а постоянный спутник.

5. Vibe coding
2025 - год, когда стало возможно писать сложные программы, почти забыв, что код вообще существует.

Vibe coding демократизирует программирование:
- обычные люди могут создавать софт
- профессионалы пишут больше, быстрее и смелее
- код стал дешевым, одноразовым, экспериментальным

Можно написать программу ради одной проверки, одного бага, одной идеи - и выкинуть. Это изменит и софт, и профессии.

6. Nano banana и будущее интерфейсов
Чат - это терминал 80-х. Удобно для машины, плохо для человека.

Люди предпочитают визуальное мышление: схемы, изображения, анимации, интерфейсы. LLM должны общаться с нами в этих форматах. Gemini Nano banana - первый намек на настоящий LLM-GUI, где текст, изображения и знания слиты в одной модели.

Это не просто генерация картинок — это новый пользовательский слой для интеллекта.


2025 показал: LLM - это новый тип интеллекта. Он одновременно умнее и глупее, чем ожидали. Он невероятно полезен, но мы реализовали, возможно, даже не 10% его потенциала.

Прогресс будет быстрым. Работы впереди — море. Поле идей - открыто.

https://x.com/karpathy/status/2002118205729562949

@data_analysis_ml

Читать полностью…

Управление туалетной безопасности

ИИ будет наблюдать за людьми в туалетах по всей территории США.

И это ни Пентагон, ни бункер или особо секретный объект. Речь идёт об обычной средней школе Беверли-Хиллз в Южной Калифорнии. Там установлены видеокамеры, распознающие людей, сопоставляющие лица с имеющейся базой данных и выявляющие признаки агрессии.

В помещениях ИИ с поведенческим анализом сканирует детей, а за дверью туалетной комнаты устройство, мимикрирующее под дымовой датчик, ведёт аудиозапись. Нечего было греметь крышкой унитаза.

Снаружи тоже полный комплект. Дроны патрулируют небо, а считыватели номерных знаков Flock Safety за $8,5 млрд проверяют каждую проезжающую машину.

Местные власти идею установить аналогичные системы наблюдения во всех школах США. По их мнению это поможет снизить риск возникновения массовых стрельб, потому как большая часть стрелков готовилась именно в уборных.

НеКасперский

Читать полностью…