55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
OpenAI объявили о том, что теперь будут раскрывать больше цепочек рассуждений o3-mini
Это относится и к платным, и к бесплатным пользователям.
«Мы делаем этопотому что на нас давит Китайдля того, чтобы людям было понятнее, как думает модель, и чтобы они были увереннее в ее ответах»
Разбираемся, как работает GRPO – ключевой алгоритм модели DeepSeek R1
Начнем с того, что GRPO – это метод обучения с подкреплением. Он, можно сказать, авторская находка DeepSeek, они предложили его еще год назад в статье про DeepSeekMath (ее подробный разбор лежит у нас на сайте), и с тех пор активно используют в своих моделях.
Обучение с подкреплением – это метод обучения, при котором агент (в нашем случае модель) учится принимать решения, взаимодействуя с окружающей средой. Агент получает награды за свои действия и стремится максимизировать общую награду. На каждом шаге взаимодействия со средой у агента есть политика – стратегия, которой следует агент, определяющая, какое действие он должен предпринять в каждом состоянии.
Самым распространенным для языковых моделей алгоритмом RL является Proximal Policy Optimization (PPO), и GRPO как раз является его вариацией. Суть:
➖ У агента есть начальная политика (стратегия), по которой он действует.
➖ Агент выполняет действия в среде (отвечает на вопросы), следуя своей текущей политике
➖ PPO оценивает действие агента. Для этого обычно используется три модели:
reference model – модель, которая выступает эталоном и позволяет измерять, насколько текущая политика изменилась по сравнению с исходной,
reward model – оценивает награду, которую агент получает за выполнение действия прямо сейчас,
value model – оценивает ожидаемую долгосрочную выгоду от действия, предсказывая будущие награды.
➖ На основе этих оценок агент меняет свою политику. Здесь заключена основная особенность алгоритма: функция потерь в PPO устроена так, что слишком резкие изменения политики не допускаются. Это помогает агенту постепенно улучшать свою стратегию, не делая слишком резких шагов сразу, что делает процесс обучения более стабильным и эффективным.
Но есть в PPO и недостатки. В частности, value model, которая играет ключевую роль в PPO, тащит на себя очень много ресурсов, потому что обычно сопоставима по размерам с моделью, которую мы обучаем. Это делает обучение дорогим.
Так что из GRPO (Group Relative Policy Optimization) value model вообще выкинули. Вместо value model в GRPO мы используем среднюю награду от группы ответов на один и тот же вопрос, и так определяем, насколько "хороши" действия модели.
То есть в GRPO оценка качества ответа основана на сравнении с другими ответами в группе, а не на абсолютных значениях наград. Если ответ лучше среднего по группе, политика усиливает вероятность его выбора. Если хуже — ослабляет. Это компенсирует оценку value model и делает обучение более эффективным и менее ресурсоемким.
Математические детали процесса оставили для вас в конспекте наверху.
Кстати, GRPO работает хорошо даже если пропустить этап файнтюнинга. Так обучали R1-Zero, младшую сестренку R1. Для нее вообще не использовали никакой разметки, и GRPO вытащил все ее качество исключительно на себе (подробнее).
Разработчик YandexGPT поделился методами ускорения инференса моделей
На Хабре выкатили полезный материал про то, как улучшить процесс работы на конечном устройстве. Самое приятное — методы универсальные и их можно комбинировать между собой для максимального буста.
Они подойдут для большинства популярных архитектур типа LLaMA или MoE (Mixture of Experts). Полностью статья лежит тут.
🍯
Кстати ChatGPT Search там открыли для всех пользователей, теперь для него даже не требуется регистрация, только включенный VPN
Интересно, гуляем за счет подстегивания конкуренции от DeepSeek или так и было запланировано?
chatgpt.com
Это то, что мы все так сильно любим: Андрей Карпаты выложил новое обучающее видео
Это погружение в LLM на 3.5 часа. В лекции рассмотрены все основные шаги обучения моделек:
– Прентрейн: данные, токенизация, устройство архитектуры трансформера, примеры на GPT-2 и Llama 3.1
– Файнтюнинг: LLM Psychology, галлюцинации, орфография и еще много интересных деталей
– RLHF: все про то, как обучение с подкреплением работает в LLM на примере DeepSeek R1
Ну что может быть лучше?
youtu.be/7xTGNNLPyMI?si=dlaK07h1Uw_1Dr8Z
Рубрика «занимательные совпадения»
Бретт Эдкок, фаундер известного робо-стартапа FugureAI, написал в Твиттере что:
1. Стартап разрывает контракт с OpenAI, который они заключали в начале прошлой весны
2. В течение 30 дней они покажут нечто такое, чего никто еще не видел на рынке роботов-гуманоидов
Надо сказать, что их сотрудничество с OpenAI не было бесплодным. В августе они анонсировали совместного крутого робота, который должен был появиться в продаже как раз в 2025.
Что же произошло? Связано ли это с новым товарным знаком OpenAI, под которым можно разрабатывать роботов? Или с декабрьскими новостями о том, что стартап пересобирает команду робототехников?
Как бы там ни было, сейчас ясно одно: Маск нервно закурил
Свежее исследование соцсети «Сетка» показало реальные масштабы проникновения нейросетей в России
Опросили 2300 специалистов из 30 отраслей. В топе по использованию среди зарубежных: ChatGPT (86%), среди отечественных: YandexGPT (42%), среди российских нейросетевых сервисов — «Шедеврум» (24%). Основные задачи: генерация изображений (66%), планирование (48%) и написание ТЗ (36%).
Да, в списке популярных пока полностью отсутствуют китайские модели вроде DeepSeek и Qwen. Видимо, это вопрос времени — учитывая их текущий темп развития и доступность.
Калифорнийский университет раскатывает ChatGPT на пол миллиона своих студентов и преподавателей
На практике студенты и преподаватели получат полный бесплатный доступ к ChatGPT Edu. Это версия бота, адаптированная специально под образование. Внутри будут бесплатные курсы и сертификации, интерактивные GPT-тьюторы и интерфейсы для преподавателей, в которых можно будет создавать учебные программы.
Это крупнейшее внедрение ИИ какой-либо отдельной организацией в мире. Знаменательно, что такой организацией стал не бизнес, а университет.
OpenAI проводят первый за время своего существования ребрендинг
Больших изменений не будет, но поменяется шрифт (теперь у компании есть собственный OpenAI Sans), стиль лого и палетка. Все это не менялось с 2015, а сейчас станет «более закругленным, человечным и органичным».
На секундочку, команда дизайнеров стартапа готовила обновление год. Возможно, в ближайшем будущем редизайну подвергнется и сайт, и интерфейс чат-бота.
Интересно, что эта новость совпала с новостью о том, что OpenAI регистрирует новый товарный знак, под которым можно будет производить наушники, умные аксессуары, AR/VR и роботов.
P.S. Кстати все ролики в конце видео сгенерировали в SORA
Соцсети разносит график, на котором видно, что o3 превзошла уровень PhD
И не просто PhD (доктор наук), а PhD, которые отвечают на вопросы своей области с использованием к тому же гугла.
Бенчмарк – GPQA Diamond от Google. Это самый сложный существующий тест из семейства GPQA (Graduate-Level Q&A), в нем 198 очень сложных вопросов по биологии, физике и химии. Эти задачи многосоставные и требуют многошагового абстрактного мышления, так что даже эксперты обычно решают его на 65%.
Красивое
СберУниверситет приглашает на программу «Управление IT-командой», которая стартует 7 апреля 2025 года. Программа рассчитана на начинающих руководителей, разработчиков, планирующих переход на позицию тимлида, а также Middle/Senior специалистов. Формат обучения: онлайн и очно в кампусе. Продолжительность — 3 месяца, стоимость — 280 000 рублей.
Вы научитесь эффективно ставить задачи, мотивировать команду, управлять конфликтами и развивать лидерские качества. Программа включает актуальные подходы к управлению IT-командами, практические задания, очные тренинги, вебинары и групповой коучинг. Эксперты с международным опытом поделятся знаниями, которые помогут вам уверенно руководить командой, подбирать сотрудников и распределять задачи.
Не упустите шанс стать лидером, вдохновляющим свою команду на успех! Подробнее по ссылке.
Процент галлюцинаций o3-mini-high составил 0.8 %
Это исторический минимум: до этого ни одна модель не набирала меньше процента. Для сравнения, у DeepSeek-R1 ошибка составляет аж 14.3 %, у DeepSeek-V3 – 3.9 %, а у o1 – 2.4 %.
Это интересная метрика, потому что проверить ее не так-то просто. Часто для этого используют подход LLM-as-a-judge, когда одна LLM оценивает другую. Но проблема в том, что при этом получается эффект "эхо-камеры" и на выходе мы имеем несостоятельную оценку.
Vectara, которые составляют лидерборд галлюцинаций, из которого взяты оценки выше, наоборот, используют собственную detection модель HHEM-2.0, и она работает вообще без сторонних LLM. HHEM просто анализирует соответствие ответа исходным данным и присваивает ему Factual Consistency Score от 0 до 1.
Лидерборд
Anthropic открыли общедоступное баг баунти
Они предлагают протестить их новую систему защиты (наш разбор статьи про нее). Для этого надо зайти по этой ссылке и хакнуть восемь уровней, то есть на практике любым способом заставить бота ответить на 8 конкретных вопросов, на которые он, по идее, отвечать не должен.
Пока по данным Anthropic никто не прошел дальше третьего уровня. Напоминаем, что до этого систему пытались ломать 400 специалистов в рамках закрытого хакатона, и не справился никто
Вышло свежее исследование от Anthropic про новый метод элаймента LLM
Давненько антропики не выпускали крутых ресерчей, а тут сразу очень объемная статья с крутыми результатами, да еще и Ян Лейке (бывший ключевой ученый OpenAI) в соавторах. Разбираемся, что показали 👇
Начнем с того, что стартап уже давно занимается в частности изучением джейлбрейков – техник «хитрого» промптинга, которые позволяют обходить ограничения моделек. В ноябре, например, у них выходила статья (наш разбор) про метод обнаружения новых методов джейлбрейка. Сейчас они тоже показывают что-то похожее: Constitutional Classifiers, то есть систему классификации для защиты LLM.
В основе метода safeguard классификаторы, которые обучают полностью на синтетических данных. Такие данные генерируются на основе набора естественно-языковых правил, которые определяют, какие запросы допустимы, а какие должны блокироваться. Эти правила называются конституциями, потому метод и зовется Constitutional.
При этом так фильтруются не только выходы LLM (как происходит традиционно), но еще и сами запросы. И такой рецепт в совокупности с качественной генерацией синтетики сработал ну очень хорошо.
Надо сказать, что обычно основная проблема таких систем – это то, что они плохо приспосабливаются к новым методам промптинга. Но тут в ходе тестирования не нашлось ни одного промпта, которым бы удалось стабильно сломать защищенную таким методом систему.
А тестирование, чтобы вы понимали, было действительно масштабное: Anthropic провели целый хакатон, на котором предлагали до 15к долларов за успешные джейлбрейки. В нем приняли участие 405 человек, включая профессиональных red teamer’ов (это типа белые хакеры в мире LLM). Плюс внутренние тесты стартапа, конечно: у них есть собственная red team.
При этом по словам Anthropic процент false positive остается достаточно низким (до 0.5%), так что моделька получается даже не слишком пугливой.
В общем результаты крутые, правда. Полностью статью читайте тут: arxiv.org/abs/2501.18837
Google релизнули Alpha Geometry 2: модель решает задачи по геометрии на уровне золотого медалиста Международной Математической Олимпиады
Первая версия Alpha Geometry вышла практически ровно год назад, и относительно нее новая версия сильно прокачалась: если предшественница решала 54% всех задач по геометрии с IMO 2000-2024, то AG2 справляется с 84%. Это, если что, на 84% больше, чем результат o1 👽
При этом AG2 не совсем нейросеть. Это нейро-символьная система. То есть AG2 объединяет в себе и LLM, и символьные строгие методы для вычислений и доказательств. В общих чертах AG2 потрошится на три основных составляющих:
1. Зафайнтюненная Gemini, которой скормили 300 млн теорем. Модель анализирует текст задачи и диаграммы и как бы интуитивно намечает решение: подсказывает, какие свойства фигур могут быть полезны, какие теоремы могут пригодиться и так далее. Она также служит своеобразным энкодером и формализует текст задачи в доменный язык, который умеет воспринимать символьный модуль.
2. Символьный движок DDAR2, в который сгружаются все результаты Gemini. Он берет на себя доказательства по строгим правилам геометрии и проверку и расширение предложенных LM решений с помощью дедукции. В новый DDAR добавили поддержку сложных геометрических конструкций, а также умение работать с "двойными" точками (такие возникают в куче примеров, наверное все помнят со школы задачи вида "докажите, что такая-то точка пересечения лежит на такой-то окружности").
А еще по сравнению с DDAR1 DDAR2 сильно ускорили с помощью C++ реализации и оптимизированного перебора вариантов решений. Раньше все работало на брутфорсе, а сейчас алгоритм переделали и сложность уменьшилась с 𝑂(𝑁⁸) до 𝑂(𝑁³), что увеличило скорость решения в 300 раз!
3. Ну и финальное: деревья поиска SKEST. Это как раз та самая оптимизация. Классические деревья предлагают как бы один шаг решения за раз. А в SKEST мы пробуем несколько вершин разом: это присходит за счет параллельного запуска нескольких деревьев, которые могут делиться между собой найденными стратегиями.
Плюсом ко всему, Alpha Geometry 2 даже умеет автоматически строить к своим решениям рисунки. К сожалению, демо пока не выложили, зато доступна статья.
Джон Шульман, который в августе ушел из OpenAI в Anthropic, теперь уходит из Anthropic в... компанию Миры Мурати
Джон Шульман – сооснователь OpenAI и в стартапе работал главой команды пост-обучения. Он мега выдающийся исследователь, автор метода PPO, который мы разбирали вчера и который лежит в основе RLHF, и большой любитель alignment’a.
В Anthropic он проработал чуть больше пяти месяцев и теперь ушел в компанию к Мурати, которая 9 лет была CTO OpenAI, покинула стартап в сентябре и объявила о создании собственной лаборатории.
Также сообщают, что вместе с Шульманом она захантила еще нескольких бывших сотрудников OpenAI, включая Кристиана Гибсона, который у Альтмана работал в команде суперкомпьюта.
Также напоминаем, что у Миры уже работает Миана Чен, Баррет Зоф и Люк Метц (они были ключевыми учеными команды элаймента в OpenAI), а в октябре она вела переговоры о о привлечении инвестиций в размере $100 миллионов.
Не хватает пива и чипсов
CEO Anthropic, Дарио Амодеи, говорит, что DeepSeek R1 худшая с точки зрения безопасности модель, которую они когда-либо тестировали
«Мы запускали оценку R1 на предмет того, насколько она способна выдавать опасную информацию (например о биооружии), которую обычно нелегко найти в интернете или в книгах. И это буквально худшая в этом смысле модель, которую мы тестировали, в ней абсолютно нет блоков. Так что на месте DeepSeek я бы обратил на это внимание»Читать полностью…
Google насыпал приятных обновлений:
➖ Наконец-то релизнули Gemini 2.0 Flash, и теперь она доступна всем через Gemini API, Google AI Studio и Vertex AI. Моделька быстрая, а еще самая качественная и дешевая в своем весе и категории. Контекст до 1 млн токенов.
➖ Вышла новая Gemini 2.0 Flash-Lite. Она еще дешевле и легче Gemini 2.0 Flash. По качеству превосходит предыдущую 1.5 Flash, при этом стоимость остается где-то на том же уровне.
➖ Появилась экспериментальная Gemini 2.0 Pro. Тут контекст до 2 млн токенов, и говорят, что это лучшая модель для кода и сложных промптов. Доступна в Gemini Advanced.
➖ В приложение бесплатно добавили 2.0 Flash Thinking Experimental. На LLMSYS это сейчас лучшая модель в мире (правда на лидерборд еще не завезли o3-mini).
Блогпост
Обновления пробуем здесь
Сегодня нас стало 50 тысяч! 🚀
Это большая и важная отметка для нашей команды. Спасибо нашим подписчикам за ваше внимание и поддержку, едем дальше
Hugging Face сегодня в ударе: помимо опенсорсного агента Deep Research они релизнули целый стор ИИ приложений
Он так и называется: AI App store. В нем уже 400к (!) аппсов и найти можно вообще все, что хочешь. Например, нужна вам для вашего проекта тулза, транскрибирующая или обобщающая видео:
1. Заходите на huggingface.co/spaces
2. Вводите запрос «summary of video» (в поисковой строке кстати тоже встроена моделька) или переходите в нужный раздел из предложенных
3. Из множества вариантов выбираете то, что подходит, пользуетесь прямо внутри Hugging Face или качаете себе проект: они все опенсорсные и бесплатные
Так что если вы под каждую задачу искали по сусекам отдельный сервис, то больше так делать не нужно: Hugging Face объединил их все в одном месте и тут буквально за минуту отыщется действительно все. А если вы разработчик, то можно и самому добавить Space
🍯
Лучше объяснения вы уже не найдете. Ну кроме, может быть, этого
Читать полностью…
Hugging Face релизнули собственный опенсорсный DeepResearch
Агента воссоздали всего за сутки после выхода DeepResearch от OpenAI.
"Такие системы состоят из LLM и внутренней агентной структуры. И в то время, пока сранимые с o1 LLM уже есть в опенсорсе, про агентную структуру OpenAI мало чего известно. Поэтому мы решили воспроизвести ее и выложить в открытый доступ"
Жаль, конечно, что при этом всем о3 все еще остается очень дорогой моделью, да еще и не слишком экологичной
Кто-то на форумах посчитал (расчеты кстати, интересные), что в high compute режиме на обслуживание одной таски о3 будет тратить около 684 кг углекислого газа, что примерно равняется выбросам от пяти полностью заправленных баков автомобилей.
Радует только то, что модели очень быстро дешевеют, отрицать это нельзя. Например, наверху еще один график, который показывает соотношение стоимости и перформанса на ARC AGI. Смотрите: o3-mini выбивает примерно также, как o1, но стоит при этом намноооого меньше. И тенденция (пока что) будет сохраняться.
Андрей Карпаты изобрел новый вид программирования
Он назвал его «vibe coding». Если кратко, это когда вы вообще не программируете сами, а просто полностью доверяетесь ИИ.
«Вы полностью отдаетесь вибрациям и забываете, что код вообще существует. Я пользуюсь голосовым вводом, поэтому практически не касаюсь клавиатуры.
Я всегда «Принимаю все», я больше не читаю дифы. Когда получаю сообщения об ошибках, просто копирую и вставляю их без комментариев, обычно это исправляет ситуацию. Если LLM не может исправить ошибку, я просто обхожу ее или прошу вносить случайные изменения, пока она не исчезнет. В итоге я просто вижу что-то, говорю что-то, запускаю что-то, копирую и вставляю что-то, и это в основном работает»
А вот это, знакомьтесь, новый робот-гуманоид ASAP от Nvidia и Carnegie Mellon University
Неплохо двигается, да? Это потому что его обучали в два этапа.
Вначале – в симуляции. Для этого брали видеозаписи движений человека, ретаргетировали на модель робота и обучали политики в смоделированной среде (у Nvidia есть такая собственная, NVIDIA Isaac).
Затем стояла задача перенести эти знания в реальный мир так, чтобы минимизировать динамическое несоответствие навыков. Все-таки симуляция и real world не идентичны с точки зрения физики процессов.
Поэтому ученые специально собирали данные о различиях между движениями в симуляции и в реальном мире, а затем использовали их в модели поправок. Это буквально модель, которая берет движения робота из симуляции и предсказывает их поправку (дельту в действиях) так, чтобы робот двигался в реальном мире точно так же, как в симуляции.
Затем на это навесили еще небольшой файнтюнинг политики и готово: получился вот такой прыгающий железный человек. Если хотите почитать подробнее – статью выложили вот сюда, а еще есть код и блогпост.
Роналду пора напрячься?
Устроиться аналитиком в Яндекс за выходные
1–2 марта проводим Weekend Offer Analytics. До 24 февраля оставьте заявку на участие, 1 марта пройдите технические собеседования, а 2 марта познакомьтесь с командами и получите офер.
В мероприятии участвует 11 команд: Большие данные, Алиса, Ecom-сценарии Поиска, Автономный транспорт, Поиск с Нейро, Карты, Рекламные технологии, Коммерческий департамент, Международные проекты Поиска в Турции и Казахстане, Crowd, Приложение «Яндекс с Алисой». Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.
Узнать подробности и зарегистрироваться можно здесь.
Реклама. ООО "Яндекс". ИНН 7736207543
Дилан Патель считает, что у Anthropic есть модели сильнее, чем o3, но они не релизят их из соображений безопасности
Патель – очень известный в сети ИИ-аналитик и ведущий эксперт SemiAnalysis, которые как раз специализируются на исследованиях и консалтинге в области железа и ИИ. Он знаменит своими обзорами и выступлениями на подкастах.
Вот и сейчас в гостях у redpointai?si=_7qR66DWdjmV6VYo">Redpoint’s AI Podcast (советуем, кстати) он вдруг заявил, что у Anthropic уже несколько месяцев есть модель умнее, чем o3, но к ней нет доступа из-за повышенной опасности использования.
Кстати, Дилан говорит об этом не первый. Помните цитату знаменитого Gwern? «Anthropic так и не показали Claude-3.6-opus не потому что модель провалилась, они просто решили сохранить ее в тайне и использовать для обучения других более умных и дешевых моделей».
Как бы там ни было, с последнего релиза Антропик прошло уже пол года. Интересно, что они нам готовят кроме интересных ресерчей про элаймент.
Интервью Пателя полностью