55443
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
⚫️ Data Fusion подошла к концу
В эти два дня у ВТБ получилось уместить уйму полезного контента. Технические доклады, кейс-сессии по всем направлениям ML, планарные сессии с CEO из бигтеха и лидами ведущих рисерч команд, Q&A. Мы физически не смогли посетить даже половину из того, что хотелось (хорошо, что есть записи).
Продуманно, масштабно, интересно. Выражаем организаторам большую благодарность за приглашение и уже ждем следующего года 👉
Как работают рекомендательные системы в Lamoda, Wildberries, Сбере и МТС?
Только что побывали на большой кейс-сессии по рексисам на Data Fusion. Было четыре ярких доклада от лидеров ведущих команд из индустрии. В карточках – некоторые интересные подкапотные детали о том, как работают рекомендации в привычных нам сервисах.
Полностью доклады можно посмотреть здесь
В лаборатории AIRI придумали способ легко масштабировать трансформеры на контекст 2 миллиона токенов
Вчера на конференции Data Fusion прошла церемония награждения Data Fusion Awards (запись). Премию за научный прорыв выиграл Айдар Булатов: он стал одним из авторов работы, в которой предложили способ расширения контекстного окна трансформеров при линейном росте вычислительных затрат.
Нас работа очень заинтересовала, и позже мы познакомились с Айдаром на постерной сессии лично, чтобы немного расспросить его о статье. Главная идея: соединить трансформеры и рекуррентный механизм памяти.
Мы разделяем текст на кусочки и обрабатываем их последовательно. При этом в начало каждого сегмента добавляются векторы памяти, которая обновляется на каждой следующей итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом мы все равно с каждым разом храним все больше и больше информации о тексте.
Масштабируется это действительно хорошо: ребята обучали модель только на последовательностях длины до 3.5к токенов, но на тестах она спокойно выдерживает контекст до 2 миллионов (а позже и до 50 миллионов на модификациях)! Вот гитхаб и статья.
Кстати, на основе этой работы Айдар в команде с Юрием Куратовым и другими авторами также создали бенчмарк BABILong для оценки моделей на длинном контексте. Сейчас на этом бенчмарке тестируют свои модели многие ведущие лабы: Google, Meta, OpenAI. Мы, кстати, даже несколько раз о нем писали, но то, что он был сделан в AIRI, узнали только вчера. Эта работа тоже была в числе победителей премии.
Поздравляем 🥳
Итак, выпустили полноценную o3 и o4-mini
o3 выбивает даже лучшие метрики, чем были, когда ее анонсили. На AIME 2025 это рекордные 98.4%. При этом o4-mini еще круче: ее результат 99.5. А на Humanity Last Exam результаты сопоставимы с Deep Research. Кодинг тоже не отстает.
Обе модели мультимодальные, и не просто мультимодальные, а с ризонингом поверх изображений. Плюс модели специально натаскивали на использование инструментов (поиск, интерпретатор и все такое), так что агентные способности на высоте.
При этом o3 даже немного дешевле o1. Цены: инпут $10.00 / 1M и аутпут $40.00 / 1M (для o1 это 15 и 60). o4-mini: $1.1 / 1M и $4.4 / 1M.
Еще приятно, что масштабирование на ризонинге теперь дешевле. То есть с ростом метрик за счет увеличения ризонинга цена теперь растет медленнее, чем это было с o1.
Обе модели будут доступны Plus, Pro и Team, их уже раскатывают.
https://openai.com/index/introducing-o3-and-o4-mini/
Неочевидные тренды в ИИ ресерче: подборка литературы от исследователей
Только что прошла ключевая сессия Data Fusion с обзором главных актуальных исследований в ИИ (запись). Четверо ученых и руководителей научных лабораторий рассказали, в каких областях сейчас самый живой и многообещающий рисерч. Пересказываем:
1. Parameter-Free Optimization. Подбор гиперпараметров – боль любого процесса обучения. Здесь же мы пытаемся подбирать гиперпараметры не наобум, а как-то автоматизированно. Например, рассчитывая растояние до теоретического оптимума. Лучшие статьи: раз, два, три.
2. Федеративное обучение. Aka защищенное обучение aka персонализированное обучение. То есть модель обучается на данных так, что они не попадают в руки разработчиков. Это могут быть данные кучи разных компаний/людей, которые лежат на разных серверах и остаются защищенными. Лучшие статьи: раз, два, три.
3. Текстовые диффузионные модели. Идея состоит в том, чтобы вместо генерации токенов один за одним генерировать их в произвольном порядке, как бы постепенно расшумляя замаскированную последовательность. Это больше похоже на то, как текст пишут люди. Почитать: раз, два.
4. Нейросетевой стандарт сжатия изображений JPEG AI. Он был принят на международном уровне недавно, и это первый полностью ИИшный стандарт. Возможно, это действительно будущее изображений. Во-первых, оказывается, что с таким сжатием очень легко классифицировать сгенерированные картинки. Во-вторых, это быстро и можно "бесплатно" прикручивать декодеры, которые будут и сжимать, и обрабатывать каринку под запрос. Почитать: раз, два.
5. Генеративные потоковые сети. Свежий подход для генерации дискретных структур. Ну, например, графов. Так можно генерировать молекулы с заданными свойствами, CoT логических рассуждений для LLM или переформулировать задачу RL. Почитать.
И, конечно, все упоминали RL и ризонинг. Тут без комментариев, вы и так все знаете. Список, что почитать.
Что бы добавили?
В LinkedIn найдено еще одно подтверждение того, что все пути в IT ведут на ферму
Классический роадмап ML-щика
На Kaggle обновление: они продолжают усиливать интеграцию Google Colab
1. Теперь можно синхронизировать апдейты между платформами. Если вы загружали блокнот из Colab, а потом еще раз меняли его в Colab, то на Kaggle эти изменения появятся по одному щелчку мыши.
2. Кроме того, появилась кнопка «Изменить в Colab». Она редиректнет вас из ноутбука Kaggle в Colab, и все внесеннные после этого изменения появятся на Kaggle автоматически.
3. Ну и приятная мелочь: теперь можно импортировать из Colab тетрадки пачками, а не по одной за раз.
www.kaggle.com/product-announcements/570265
Теперь официально: OpenAI делает соцсеть
Она будет похожа на X. Сейчас уже даже есть внутренний прототип: галерея изображений, сгенерированных пользователями. Ее ночью раскатили на всех юзеров, уже можно посмотреть (бесплатным тоже доступно, да). Пока что стартап собирает фидбэк.
Зачем им это? Первая причина – это данные. Вторая – тоже данные. Много открытых онлайн данных для обучения, как у Meta и XAI. Ну и бесплатная реклама через интеграцию моделей, как для Grok в X.
А теперь вспомним, как пару месяцев назад в ответ на запрос Маска купить OpenAI Альтман ответил «Мы бы лучше купили X». Масштабы пасхалки представили?
Оп, Google начали нанимать на позицию Post-AGI Research
Ключевые вопросы включают изучение траектории от AGI к ASI, сознание в машинах, влияние ASI на основы человеческого общества. Вы также будете сотрудничать с кросс-функциональными командами разработки и проводить эксперименты для нашей миссии.
Яндекс запускает бета-версию ризонинга
На претрейн-модели делают SFT на ответах YandexGPT 5 Pro. После этого проводят еще один SFT с оптимизированным датасетом, а потом большой этап обучения с подкреплением + RLHF. Для ускорения обучения гоняют все на решении от самого Яндекса – YaFSDP (есть в опенсорсе).
Экспериментируют и с онлайн RL, и с оффлайн: проводят обучение на парах вопрос-ответ со стадии SFT YandexGPT 5 Pro.. Занятно посмотреть, что в итоге будет на релизе.
Попробовать уже можно в чате с Алисой, нужно просто активировать модель в настройках.
Плюсом Яндекс дает возможность тут же потестить DeepSeek R1. Похоже на Perplexity, который предлагает сразу несколько SOTA-моделей на выбор. Это нужно для того чтобы собрать максимальное количество обратной связи. Ризонинг все-таки более нишевый, чем обычные LLM, поэтому важно понять, насколько такой продукт полезен российскому пользователю и собрать датасет реальных запросов и задач.
Хабр
Еще одна специализированная версия Gemma от Google: теперь для общения с дельфинами
Моделька так и называется – DolphinGemma. Цель – анализировать и генерировать звуковые последовательности, имитирующие естественную коммуникацию дельфинов. Это буквально ключ к межвидовому общению.
Над проектом Google работали с Wild Dolphin Project. Это организация, которая дольше всех в мире (с 1985 года, на секундочку) собирает данные о дельфинах и записывает их разговоры в естественной среде. У них хранятся десятилетия видеозаписей и аудиозаписей, которые дополнены информацией об индивидуальных характеристиках дельфинов (характер, жизненный путь, поведение).
Сама модель DolphinGemma небольшая, около 400M, можно запустить на смартфоне. Ключевой момент – это обучение токенизатора SoundStream. В остальном обычная LM, которая пытается предсказать следующий токен. Только вместо человеческого языка – 🐬
Тесты показали, что DolphinGemma реально способна извлекать паттерны и структуры из звуков животных. Следующим шагом исследователи хотят создать систему CHAT (Cetacean Hearing Augmentation Telemetry), то есть установить какой-то общий "словарь", используя привычные дельфинам вещи – рыбу, водоросли, яркие предметы.
Обещают даже скоро опенсорснуть -> blog.google/technology/ai/dolphingemma/
Тем временем новенькую GPT-4.1 уже можно попробовать ✨ бесплатно ✨ в Cursor, GitHub Copilot и на AlphaXiv
Вайбового рабочего дня 💻
Тем временем HuggingFace купили робо-стартап Pollen Robotics
Это тот самый стартап, вместе с которым HF в прошлом году сделали свой знаменитый открытый фреймворк Le Robot для создания домашних роботов практически из коробки (все датасеты, скрипты для обучения и даже поставщиков деталей уже собрали в одно целое за вас).
Основной продукт Pollen Robotics – опенсорсный робот Reachy 2 (наверху). Его HF планируют опенсорсить и дальше и улучшать вместе с сообществом. Также готового Reachy 2 можно купить за 70 000 долларов.
Наше видение: будущее, в котором каждый может создавать и контролировать своих собственных роботов вместо того, чтобы полагаться на закрытые, дорогие черные ящики.Читать полностью…
Бывшие инженеры Meta в резюме специально акцентируют внимание на том, что они никак не участвовали в разработке Llama 4
Кажется, это все, что нужно знать об этом релизе
Ян Лекун: "Я больше не заинтересован в LLM, они в прошлом"
На своем свежем интервью на конференции Nvidia GTC ученый сказал, что сейчас LLMs уже принадлежат не академии, а индустрии, где из них пытаются выжать все соки. С точки зрения науки они в прошлом, и сейчас наиболее интересны другие направления:
1. Системы которые понимают физический мир
2. Системы у которых есть постоянная память
3. Системы, которые умеют рассуждать и планировать (в LLM, по мнению Лекуна, есть только отдаленное подобие настоящего ризонинга)
Полная запись
Новость дня: OpenAI покупают Windsurf – вайб-кодинг стартап
В прошлом инструмент был известен как Codeium. Это один из главных конкурентов Cursor. Говорят, сделка обойдется OpenAI в три миллиарда (интересно, это дешевле, чем нанять команду и реализовать собственного агента с нуля?)
Кстати, мало кто об этом пишет, но до этого OpenAI дважды пытались купить Cursor. Однако переговоры с Anysphere почему-то не задались.
TIME опубликовали свой ежегодный топ-100 самых влиятельных людей мира
В списке как никогда много тех.лидеров и ученых. Вот кто в него попал:
➖ Дарио Амодеи, CEO Anthropic
➖ Лян Вэньфэн, CEO DeepSeek
➖ Илон Маск
➖ Марк Цукерберг
➖ Лиза Су, CEO AMD и родственница Дженсена Хуанга
➖ Демис Хассабис, нобелевский лауреат этого года и CEO Google DeepMind
Кто не попал:
Сэм Альтман 😭
Дженсен Хуанг 😭
time.com/collections/100-most-influential-people-2025/
OpenAI выпустили в опенсорс (да-да) агента Codex для командной строки
Лицензия Apache 2.0. Легко запускается локально и превращает командную строку в среду программирования на естественном языке.
По умолчанию нужно будет окать действия агента, но есть полностью автономный мод. Мультимодальность тоже имеется.
Установить: npm install -g @openai/codex
Репозиторий
Смотри стрим OpenAI через 2 минуты: www.youtube.com/watch?v=sq8GBPUb3rk
Покажут o3 (наконец-то)
Может ли LLM расследовать преступления?
Однажды Илья Суцкевер в своем интервью объяснял, почему задача next token prediction может привести к реальному интеллекту, и приводил вот такой пример:
Представьте, что вам нужно прочитать огромный детектив и в конце предсказать последнее слово в предложении "Оказалось, убийцей был ...". Если модель может это сделать, значит, она действительно понимает историю.
Радослав Нейчев: «То, что в науке нет денег – это и миф, и нет» 😭
На Data Fusion сейчас прошла дискуссия про разоблачение мифов в ИИ и ML. Обсудили зарплату теоретиков, то, что бизнес не умеет внедрять ИИ, и даже гуманитариев в ML (да, так тоже можно). Понравилась цитата Радослава Нейчева, руководителя из Яндекса и зам.завкафедры МОиЦГ МФТИ:
«Хорошие деньги в науке получать можно, просто они висят не так низко, как в других сферах. Тут ничего не заработаешь, если филонить.
В науке нужно постоянно бежать, чтобы просто оставаться на месте. Ты должен быть умен, начитан, трудолюбив и иметь чутье. Это сложно, но это единственный вариант заработать, и то не сразу. Сначала ты работаешь на имя, потом оно на тебя»
⚫ А мы тут нашей командой приехали на конференцию Data Fusion
Сегодня и завтра здесь будет очень много технических ML-докладов и занятных открытых дискуссий. Всем самым интересным будем делиться здесь.
Трансляцию, кстати, уже запустили, так что можете взглянуть на программу и посмотреть доклады в онлайне. Вот на что пойдем сегодня сами и советуем вам:
➖ Доклад про футурологию ИИ и цифровое послесмертие от Константина Воронцова (9:30)
➖ Дискуссия про мифы ИИ с Юрием Дорном и Радославом Нейчевым (13:00)
➖ Дебаты о науке и жизни с Андреем Райгородским (14:10)
➖ Большой разговор про ключевые вызовы в развитии LLM (15:50)
➖ Обзор актуальных многообещающих исследований и трендов в ML-ресерче (17:00)
➖ Кейс сессии про агентов, ИИ в медицине, MLOps, бигдату и ML в бизнесе (весь день)
OpenAI выкатили новый гайд для промпт-инженеринга GPT-4.1 и раскрыли главную загадку длинного контекста
Если у вас длинный контекст + инструкции, то лучше помещать инструкции И в начало, И в конец. Но если вы очень экономите токены, то – в начало. Теперь вы знаете.
Наверное, так специально предобрабатывали трейн, потому что по умолчанию у LLM обычно все наоборот (инструкции перед контекстом воспринимаются хуже).
P.S. В сам гайд тоже советуем заглянуть. Там много примеров и готовых удобных заготовок.
В Nvidia скрестили трансформеры с Mamba-2 и выпустили Nemotron-H
Исследователи взяли обычный трансформер, но большинство слоев внимания заменили на слои Mamba-2. Mamba – это модель из семейства State space models, это такой умный вариант LSTM (вот тут наш понятный разбор того, как SSM работают).
Для модели 56B осталось только 10 слоев селф-аттеншена, а для модели 8B – 4 слоя. С точки зрения экономии ресурсов и ускорения это очень круто, потому что в слоях mamba память константная. То есть вычисления вообще не зависят от длины контекста (в отличие от внимания, которое масштабируется квадратично).
Интуитивно кажется, что тогда должно страдать качество. Но нет: результаты сопоставимы с чистыми трансформерами схожих размеров. Например, Nemotron-H-56B примерно на уровне с Llama-3.1-70B и Qwen-2.5-72B. При этом летает все в 2-3 раза быстрее.
Интересно, появится ли моделька на арене (веса здесь)
arxiv.org/pdf/2504.03624
OpenAI преодолел отметку в 800 000 000 пользователей. Это 10% населения Земли.
Если судить по количеству еженедельных активных пользователей, за 2024 они выросли в 4 раза. Сообщается, что к концу 2025 стартап планирует достичь 1 миллиарда юзеров (и это уже не звучит как что-то нереальное).
Спасибо Ghibli генерациям
Мы слишком много знаем!
И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.
Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.
Мы собрали действительно звездный состав спикеров, мы очень старались сделать это мероприятие максимально полезным — вам осталось только не пропустить его!
Регистрируйтесь на KARPOV.CONF 2025 — включите Data-driven на полную!
⚡️ OpenAI показали свои новые модели GPT-4.1, GPT-4.1 mini и GPT-4.1 nano
В чате их не будет: они только для разработчиков в API. У всех трех моделей контекст 1 миллион токенов, для OpenAI это впервые.
Для программирования модель действительно хороша: на SWE-bench обгоняет даже o1 high. При этом стоит намного дешевле ($2.00 / 1M инпут и $8.00 / 1M аутпут). Плюсом неплохие способноси на мультимодальных задачах и математике.
Последний график – масштабирование на росте контекста. Видно, что 4.1 на голову лучше остальных моделей OpenAI на длинных последовательностях, то есть даже на огромных документах или кодовых базах не будет терять детали.
Цены и детали – здесь, вот тут можно попробовать в песочнице, а вот блогпост со всеми метриками
⚡️ Стрим OpenAI через полтора часа
P.S. Ссылку прикрепим к этому сообщению, как только она появится
Открыт приём статей в научный журнал Международной конференции по ИИ — AI Journey.
Главный приз за лучшую статью — 1 миллион рублей. Ключевые работы опубликуют в спецвыпуске «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Что даёт участие:
• Шанс выиграть 1 000 000₽
• Публикация в авторитетном журнале с индексацией Scopus/WoS
• Возможность представить исследование на площадке конференции AI Journey 2025
Условия:
— Статья должна быть оригинальной (не опубликована ранее)
— Принимаются работы на русском и английском
— Дедлайн — 20 августа 2025
Как подать заявку: https://aij.ru/science
Google представили специальную версию Gemma для разработки лекарств
Семейство моделей TxGemma специально обучили понимать и предсказывать свойства препарата на всем пути разработки. Обычно как раз в этом основной затык в разработке лекарств: ученым надо перепробовать кучу вариантов. Это долго и дорого, а TxGemma призвана процесс упростить.
Интересно, что это универсальная платформа: модели умеют обрабатывать не только белки, но и малые молекулы, нуклеиновые кислоты, заболевания и вирусы + статьи, клиническую информацию и другие доп.материалы.
В семействе есть модели на 2B, 9B и 27B. Это TxGemma-Predict. Из них еще сделали TxGemma-Chat, с которым ученые могут общаться, и Agentic-Tx – агента, который самостоятельно выстраивает процесс ресерча и вызывает внешние медицинские инструменты типа PubMed.
Базовая модель – Gemma-2. Дообучали на 67 млрд токенов из 66 разных датасетов Therapeutic Data Commons. По бенчмаркам – SOTA. Например, по химии и биологии на Humanity’s Last Exam выбивает 81.7% против 64.5% у предшедственников. А на GPQA (Diamond) улучшение более чем на 26%.
✨ И главное: все в опенсорсе
Статья | Блогпост | Репа