55445
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
И снова Черное Зеркало: OpenAI объединяется с производителем Барби, чтобы выпускать игрушки с ИИ
Стартап снова захватывает новую для себя область распространения своих моделей. На этот раз они подписали соглашение о сотрудничестве с Mattel. Это производители Барби, Hot Wheels, UNO, Polly Pocket и других бестселлеров в мире игрушек.
Первый совместный продукт компании планируют выпустить к концу года. Ставку обещают сделать на безопасность 😎
Купите такое своему ребенку?
А еще там 8 лет исполнилось легендарной статье, на которой строилась вся ИИ-индустрия
🍷
Директор национальной разведки США радостно заявила толпе, что скормила ChatGPT 80000 страниц секретных документов об убийстве Кеннеди
Талси Габбард на днях выступала на конференции Amazon Web Services и рассказывала про плюсы ИИ. В числе прочего она как бы между прочим рассказала, как советовалась с чат-ботом по поводу того, какие секретные материалы стоит опубликовать, а какие лучше оставить в тайне.
«Это значительно ускорило обработку этих документов» – добавила она.
После конференции она, правда, заявила, что это была система, развернутся внутри контура разведки (но это не точно)
Avito раскрыли много интересных деталей про свою AI-кухню
Совсем недавно компания открывала двери своего московского офиса в рамках Data Fest. Во время выстеплений инженеры Avito раскрыли много занятных тех.деталей об A-Vibe. Собрали основное:
➖ A-Vibe работает в два раза быстрее конкурентов на русском языке за счет кастомного токенизатора. Подменить токенизатор не так то просто: о том, как конкретно это делали можно почитать в нашей статье. Плюс, дообучение: 700 миллиардов токенов из открытых датасетов, обезличенные данные Авито и даже олимпиадные задачи.
➖ Модель также хорошо умеет работать с изобрежениями. Для обучения создали датасет из 200 тысяч изображений реальных объявлений и миллиона пар вопрос-ответ, используя большие VLM для генерации разметки. На проде модель уже генерирует описание к объявлениям и используется в рексис.
➖ В поддержке Авито агенты уже используют ИИ-инструменты. LLM научили переписывать ответы сотрудников поддержки, делая их более эмпатичными и грамотными. А когда диалог переходит от одного сотрудника к другому, модель делает саммари диалога, чтобы человек быстрее понял контекст.
➖ Оказывается, у Avito есть собственная единая платформа для всех ML-задач. Внутри – хранилище фичей, система разметки данных людьми и LM, а также решение для для оптимизации инференса (опенсорс!). Главная цель – чтобы каждый сотрудник мог создать и запустить модель без кода. Уже сейчас платформа экономит 30% железа и кучу рабочего времени.
➖ Над A-Vibe частично работали стажеры. Ребята работают над имплементацией свежих статей, пытаются решать проблемы типа взрыва градиентов и обучают модели с нуля. Один стажёрский проект даже сократил расходы на автоматическую проверку звонков в 10 раз.
Редкий случай, когда удается взглянуть на ИИ в бизнесе под таким углом. Авито – респект
CEO Nvidia Дженсен Хуанг рассказал, как он продал первую видеокарту OpenAI
«Это был 2016 год и мы создали суперкомпьютер для AI. 0 клиентов, 0 интереса, 0 хайпа. Только непонимание.
Но оказалось, что один молодой стартап был заинтересован. Я подумал, что сейчас наконец-то продам видеокарту, но потом узнал, что это был non-profit стартап.
Но я все равно взял видеокарту и повез им ее сам. Стартап назывался OpenAI»
Цукерберг планирует еще побороться: Meta пересобирает ИИ-отдел
Помните новость о том, что после неудачного выхода Llama 4 Цукер психанул и обещал провести "большие изменения в составе" команд?
Ну так вот, он действительно решил это сделать. Говорят, сейчас CEO лично отбирает 50 человек (в том числе нового руководителя ИИ-рисерча), которые будут работать над ASI. Даже столы в офисе передвинул, чтобы эта команда сидела рядом с ним. Отделение будет называться Meta’s Superintelligence Group.
Звучит дорого. Надеемся, принесет плоды
MWS AI (ex MTS AI) представили open-source версию ИИ-ассистента для программистов — Kodify Nano.
Что умеет: писать код по текстовому запросу, объяснять его, генерировать юнит-тесты и документацию. Модель поддерживает Python, Java, JavaScript, C# и ещё ряд языков, содержит 1,5 миллиарда параметров и поддерживает контекст 32 тыс. токенов (примерно 16–25 тыс. строк кода).
Под капотом – Qwen2.5-Coder, дообученная командой на собственном датасете. Можно использовать в закрытом контуре, дообучать под себя, подключать к любимым редакторам через плагин.
Попробовать уже можно на сайте MWS AI.
К слову, сегодня еще и мощно удешевили обычную o3 – она теперь стоит на 80% меньше
Теперь по ценам так:
🟦 o3 – $2.00 / 1M input, $8.00 / 1M output (было 10$ и 40$)
🟦 o3 pro – $20 / 1M input, $80 / 1M output (o1-pro 150$ и 600$)
Получается, цена o3 теперь на уровне с Gemini 2.5 Pro (1.25$ и 10$)
21 июня в штаб-квартире Яндекса в Москве снова пройдет Welcome Time. В этот раз ребята из команд R&D подробно расскажут об AI-продуктах компании
Программа будет интересна даже тем, кто далек от рисерча и аналитики. Смотрите сами:
➖ Ирина Барская – руководитель службы аналитики и исследований – расскажет про технологии R&D и чем такие исследования отличаются от обычной аналитики продукта
➖ Иван Дёгтев – руководитель аналитики генеративных моделей – точечно остановится на YandexGPT
➖ Елена Вольф – аналитик-разработчик YandexGPT – расскажет об использовании YandexGPT в качестве RAG-ассистента для техподдержки
➖ Артём Хуршудов – руководитель аналитики визуальных генеративных моделей – сфокусируется на картинках и покажет YandexART и YandexVLM
➖ Арсений Нестюк – руководитель аналитики распознавания речи – поговорит про звук и обсудит голосовые технологии Алисы
Ну а для тех, кто хочет проверить себя, проведут еще и диагностику навыков аналитики и математической статистики. Если пройдете успешно, то в течение двух лет это можно будет засчитать как техническую секцию при собеседовании в Яндекс.
Не забудьте зарегистрироваться до 19 июня
Apple даст разработчикам доступ к локальным ИИ-моделям компании
Об этом объявили на WWDC 2025. Apple запускают целый фреймворк Foundation Models, с помощью которого их модели можно будет встраивать в приложения.
При этом у пользователей при использовании приложений эти модели будут запускаться локально. Ну, например, вы создаете в FatSecret персональный план питания с помощью ИИ, но при этом ваши данные не улетают в облако, а остаются только на устройстве.
Говорят, что фреймворк достаточно интуитивный, с поддержкой Swift. Доступ к моделям или к tool calling можно будет получить всего в 3-5 строк кода.
machinelearning.apple.com/research/introducing-apple-foundation-models
Как обучать модели, если данных мало
Глубокое обучение показало SOTA-результаты во многих задачах, но есть нюанс: современные нейросети требуют огромного количества размеченных данных.
Разметка — это дорого, долго и нередко требует привлечения экспертов с доменными знаниями, что ещё больше усложняет процесс. Эта проблема возродила интерес к методам, которые позволяют работать с частично размеченными или даже неразмеченными данными.
PWS — это метод, который умно комбинирует разные источники слабых меток. Он агрегирует их, учитывает корреляции и противоречия между источниками, что минимизирует шум.
Среди популярных библиотек для weak supervision — Snorkel, которая реализует PWS и гибко комбинирует слабые источники разметки.
Тем временем в соцсетях люди массово обсмеивают Apple за их новую статью про способности ризонинг-моделей
Мы делали разбор этой статьи вчера – вот пост. Работа быстро набрала популярность, и сегодня о ней уже говорит весь Интернет.
Однако не все относятся к ней просто как к исследованию. Многие настаивают, что Apple ничего не смогли добиться в области ИИ сами, и поэтому теперь переключились на написание статей про то, что «все это не имеет смысла».
Звучат даже апелляции к авторитету и мысли о том, что ученым из Apple доверять нельзя, потому что они не выпустили ни одной передовой модели 🤷♂️
Справедливости ради, надо сказать, что Apple не заявляли что «ИИ не работает». Они просто поставили эксперимент и написали об этом статью.
Получилось обычное эмпирическое исследование, на которое очень необычно отреагировала общественность
А вы читали статью? Как вам?
Ян Лекун yannlecun/post/DKmejx6tFXd?xmt=AQF0Ee07X9vUoXayqXuQqlFXP7q6Q2CaO8OsCVSleBGhww">назвал CEO Anthropic Дарио Амодеи аморальным ИИ-думером с комплексом превосходства
Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-бумерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️
Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-бумером Дарио Амодеи. На что Лекун ответил:
«Да, он думер, но при этом продолжает заниматься AGI. Это может означать одно из двух:
1. Он интеллектуально нечестен или морально испорчен.
2. У него огромный комплекс превосходства — он считает, что только он достаточно просвещён, чтобы иметь доступ к ИИ, а «немытые массы» слишком глупы или аморальны, чтобы пользоваться таким мощным инструментом.
На деле он просто очень заблуждается относительно опасностей и возможностей современных ИИ-систем»
Reinforcement Pre-Training: новая трендовая статья от ученых из Microsoft и Пекинского университета
Стандартное предобучение LLM сводится к максимизации предсказанной вероятности истинного следующего токена по контексту. То есть модель просто предсказывает следующие токены и мы сверяем их с истинными.
В этой статье же предлагают иной подход – next-token reasoning (ака а давайте добавим обучение с подкреплением еще и сюда). Это значит, что мы не дожидаясь тюнинга, с самого первого этапа обучения – предобучения на текстах – учим модель рассуждать.
Здесь задача сети не просто предсказать следующий токен, а сначала сгенерировать chain-of-thought, а только затем – токен. Награда выдается за точное совпадение с истинным префиксом.
Такое RPT-обучение сопоставимо по эффективности с увеличением модели в 2 раза. То есть RPT-14B показывает заметный прирост по сравнению с ванильно обученной R1-Distill-Qwen-14B и по среднему показателю next-token accuracy достигает уровня R1-Distill-Qwen-32B.
Конечно, и компьюта на такой трейн требуется в разы больше. Но есть еще один плюс: RPT-модель, за счет того, что для нее CoT уже знаком с претрейна, дает гораздо более хорошую базу для дальнейшего RL, то есть в будущем с помощью RL RPT бустанется в разы лучше, чем обычная базовая модель.
Занятно, конечно arxiv.org/abs/2506.08007
Директором нового ASI-отдела в Meta станет Александр Ванг
На днях мы писали о том, что Meta пересобирает свой ИИ-отдел, и занимается этим лично Цукерберг. Сегодня стало известно, что главой нового подразделения станет молодой миллиардер Александр Ванг.
Ванг – создатель Scale AI. Он не классический представитель рисерча, зато он – супер талантливый предприниматель и стратег. Ему всего 28, но он уже построил многомиллиардную компанию, успешно ей управляет и привлекает лучших инженеров.
Для того, чтобы Александр работал на Meta, компания выкупает 49% акций Scale AI за 15 миллиардов долларов. Футболисты курят в сторонке 🚨
Научное сообщество подтвердило корректность работы Платформы A/B тестирования от X5
Собственная платформа А/В тестирования применяется в Х5 с 2022 года, за это время на ее базе провели более 500 экспериментов. И вот наконец сейчас она официально была верифицирована научным сообществом, а именно – экспертами Международной лаборатории стохастических алгоритмов и анализа многомерных данных факультета компьютерных наук НИУ ВШЭ. Верификация подразумевает и проверку соответствия современным научным практикам методологии, и корректность её реализации.
С помощью платформы Х5 имеет возможность анализировать влияние различных факторов на эффективность работы конкретных магазинов ее сетей и, соответственно, считать реальный экономический результат от тех или иных изменений. Причем изменения могут быть как позитивные, так и негативные.
Напомним, Х5 управляет сетями “Пятёрочка”, “Перекрёсток” и “Чижик”, так что масштаб для тестирования огромен, а значение такой разработки внутри компании сложно переоценить. Тем более, что теперь она официально верифицирована.
Sakana AI релизнули модель для генерации моделей
Она называется Text-to-LoRA. LoRA – это метод файнтюнинга, когда мы вместо полного дообучения всей сети настраиваем для нужных нам задач специальные низкоранговые адаптеры.
Это довольно эффективный метод, но и он требует сбора данных и какого-никакого обучения.
Sakana же предлагают модель, которая на лету генерирует сразу готовые LoRA адаптеры из обычного текстового промпта. Например, на вход: «хочу модель для анализа отзывов в картах». На выход: готовые веса адаптера, которые не надо обучать, а остается только запустить.
Под капотом у T2L лежит классический hypernetwork-подход. Гиперсеть получает на вход эмбеддинг описания задачи вместе с эмбеддингами для каждого слоя исходной модели, а потом через серию MLP-блоков генерирует нужные низкоранговые матрицы A и B, которые сразу прикладываются к базовым весам. Это и есть готовый LoRA-адаптер.
На тестах это работает хорошо: в среднем +8 % к точности над исходником. Это примерно на уровне или даже лучше, чем ручные LoRA и мульти-задачные LoRA.
Представьте, насколько это снижает порог входа в тюнинг моделей для не-инженеров
Статья | GitHub
Хорошие новости: OpenAI удвоили лимиты на o3 для Plus юзеров
Конечно, o3-pro все еще недоступна в подписке за 20 долларов, но зато, после падения цен, в ней удвоились лимиты на обычную o3. Раньше было 100 запросов в день, теперь будет 200. Хватит практически на все.
Кстати, вчера исполнилось ровно 5 лет API OpenAI. Его запустили 11 июня 2020 года, после выхода GPT-3.
Автоматизируйте ML-эксперименты с GitLab CI/CD и CML
📅 17 июня в 20:00 мск — бесплатный вебинар с Николаем Осиповым
Хотите, чтобы эксперименты запускались сами, метрики попадали в Merge Request, а модели легко воспроизводились?
На вебинаре:
— Интегрируем GitLab CI/CD в ML-процесс
— Используем CML для автоматической визуализации результатов
— Запускаем обучение моделей при каждом коммите
— Настраиваем работу в облаке и версионирование через Git
📌 Полезно для:
— Data Scientists, внедряющих MLOps
— ML-инженеров, автоматизирующих пайплайны
— Техлидов, выстраивающих эффективный ML-конвейер
🎯 Итог: настроите стабильную и воспроизводимую систему ML-разработки — без ручного запуска, с чистыми метриками и контролем версий.
Присоединяйтесь к бесплатному вебинару и получите скидку на большое обучение онлайн-курса «MLOps».
👉 Регистрируйтесь по ссылке и начните выводить ML на прод https://otus.pw/RZLI/?erid=2W5zFGwMVAg
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Fun fact: новая o3-pro все еще намного слабее модели o3 preview, которую OpenAI показывали в декабре
Когда o3 только анонсировали (пост от 20 декабря), на ARC-AGI она выбивала почти 80% при самом низком бюджете ризонинга.
Выпущенная недавно для всех o3 при самом высоком бюджете ризонинга выбивает всего 60 с хвостиком, и вышедшая вчера o3-pro – примерно столько же. Смотрите график.
Что это значит? Что ту самую o3, скорее всего, так и не выпустят (уж очень дорогая). Зато, возможно, будет оптимизированная o4, которая выйдет на тот же уровень и будет в разы дешевле.
Сэм Альтман в честь выхода o3-pro выпустил эссе под названием «Нежная сингулярность»
Снова пишет про будущее, но теперь среди прочего – конкретные предсказания (да). Итак, топ цитат:
Мы прошли горизонт событий; взлет начался. Человечество близко к созданию цифрового суперинтеллекта, и, по крайней мере, пока это гораздо менее странно, чем, как кажется, должно быть. Роботы пока не ходят по улицам, и большинство из нас не общаются с ИИ весь день.
В 2025 году появились агенты, способные выполнять настоящую когнитивную работу; написание кода уже никогда не будет прежним. В 2026 году, скорее всего, появятся системы, открывать новые идеи. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире.
В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи — будут в диком изобилии. Эти два фактора долгое время были фундаментальными ограничителями человеческого прогресса; при их (и хорошем управлении) мы теоретически можем иметь что угодно.
Мы очень быстро переходим от удиаления, что ИИ может написать абзац, к удивлению, когда он может создать прекрасно написанный роман. Или от удивления, что он может написать небольшую программу, к удивлению, когда он может создать целую новую компанию. Вот как проходит сингулярность: чудеса становятся рутиной, а затем базовым минимумом.
По мере автоматизации производства центров обработки данных стоимость интеллекта должна в конечном итоге приблизиться к стоимости электроэнергии.
Скорость создания новых чудес будет колоссальной. Сегодня даже трудно представить, что мы откроем к 2035 году; может быть, за один год мы перейдем от решения физики высоких энергий к началу колонизации космоса. Конечно, будут и сложные моменты: например, исчезнут целые классы профессий. Но люди по-прежнему будут способны адаптироваться практически ко всему.
⚡️ o3-pro – вышла
По бенчмаркам – заметный скачок производительности на математике и кодинге по сравнению с обычной o3. И при этом, что интересно, модель почти в 8 раз дешевле o1-pro.
Уже раскатили на всех Pro юзеров. У кого 200$ завалялись?
Mistral выпустили ризонинг-модель Magistral
Есть открытая версия Small на 24В и закрытая Medium – побольше. Medium работает на уровне R1 (непонятно, обновленной или нет).
Русский язык поддерживается, он в числе тех, на которых модель «думает лучше всего».
Еще хвастаются своей скоростью инференса: говорят, в режиме ризонинга с Flash Answers получать ответы можно в 10 раз быстрее, чем у конкурентов.
Попробовать превью бесплатно можно в Le Chat
Веса | Блогпост | Статья
OpenAI пробила 10 миллиардов годового дохода
Сюда включены подписки, бизнес-продукты и API. В прошлом году этот показатель составлял 5.5 миллиардов. Тем не менее, это не значит, что компания вышла на положительную прибыль.
Свои операционные расходы OpenAI не раскрывает, но известно, что в плюс они планируют выйти только к 2029. Ожидается, что к этому времени доход стартапа увеличится до 125 миллиардов в год.
Оказалось, что ИИ-компании тратят миллионы на лоббирование Вашингтона – и это уже работает
Издание Politico выпустило большую статью про то, как ИИ-гиганты лоббируют правильство США. Что происходит:
➖ OpenAI и Anthropic уже построили полноценные отделы по связям с правительством — только за последние месяцы они наняли десятки сотрудников, отвечающих за политику и лоббизм.
➖ Остальные компании в этом смысле менее активны, но уже включаются. Nvidia в марте зарегистрировала первых внутренних лоббистов.
➖ Цель компаний – участвовать в формировании законопроектов и добиваться ослабления регулирования.
➖ И это уже работает. Конгресс одобрил 10-летний мораторий на законы об ИИ на уровне штатов – ровно то, что просили компании.
➖ Основной инстумент лоббистов – Китай, потому что Белый дом поддерживает ИИ-индустрию в первую очередь как инструмент глобального соперничества.
И вот еще занятный факт: уже сейчас ИИ-компании лоббируют больше, чем табачная и нефтяная отрасли вместе взятые. Как итог: ИИ-компании регулируются минимально и получают госзаказы на миллиарды, а данные пользователей и социальные эффекты от ИИ все больше и больше остаются без присмотра.
www.politico.com/news/2025/06/06/the-ai-lobby-plants-its-flag-in-washington-00389549
Классный разбор того, как обучать ML-модели в условиях дефицита размеченных данных от ребят из финтеха Точка.
Ясно и по делу, ёмко собрано всё про действительно рабочие подходы, Weak Supervision и эвристики автоматизации разметки с помощью баз знаний, краудсорсинга и языковых моделей.
Советуем прочитать полностью. Особенно будет полезно тем, кто прямо сейчас работает над проектами с ограниченным бюджетом и временем на разметку. Обратите внимание на PWS: ребята рассказали о нём очень подробно и практично, и это правда то, что часто спасает на проде.
Кстати, на канале Точки .ml вообще много таких прикладных материалов, обзоров фреймворков и выжимок из статей, так что – подписывайтесь.
Илья Суцкевер получил степень почетного доктора наук и впервые за долгое время произнес речь на публике
Доктор наук honoris causa – это более высокая степень, чем PhD. Она присуждается не в результате обучения и не за защиту диссертации, а за значительный вклад в науку.
Суцкеверу премию присудил университет Торонто, в котором он раньше был аспирантом и занимался ИИ-исследованиями с Джеффри Хинтоном. Это четвертая степень Ильи от этого университета.
Полная речь ученого в честь получения премии – здесь. Мы выделили несколько значимых цитат:
Как я понимаю, в речи на выпускной церемонии принято давать мудрые советы. Я дам один — всего один. Есть состояние ума, которое, если его принять, делает вещи намного проще: принимать реальность такой, какая она есть, не жалеть о прошлом, а стараться улучшать ситуацию.
Наступит время, когда ИИ сможет делать все, что умеем мы. Я в этом уверен, потому что
наш мозг — это биологический компьютер
. А если биологический компьютер может это делать, то почему цифровой компьютер не сможет?
Есть цитата: «Вы можете не интересоваться политикой, но политика заинтересуется вами»
.
С ИИ это работает
ещё в большей степени
.
В конце концов, никакие статьи или объяснения не заменят того, что мы видим своими глазами. Главное – не отворачивайтесь от ИИ.
Смотрите внимательно, думайте, готовьтесь.
Когда придет время, именно это даст вам силы справиться с колоссальными изменениями.
Вызов ИИ –
величайший в истории человечества
. Но и награда за его преодоление может стать самой большой. Нравится вам это или нет — ИИ повлияет на вашу жизнь в огромной степени.Читать полностью…
Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей
Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга.
Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного.
Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными.
Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:
➖ На низкой сложности задач немыслящие LLM оказались лучше ризонинг-моделей. На средней сложности CoT действительно начинает давать преимущество, но на высокой и ризонеры, и обычные модели фейлятся полностью, вне зависимости от бюджета компьюта.
➖ При этом на несложных задачах часто происходит overthinking: модель почти сразу доходит до правильного ответа, но не фиксирует его, не останавливается и зачем-то продолжает "думать", просто чтобы потратить бюджет ризонинга.
➖ А на сложных задачах – наоборот. При приближении к критической сложности модели сокращают объём «think» токенов, хотя лимит не исчерпан – они просто устают думать раньше времени.
➖ Даже когда модельке дают готовый общий алгоритм решения, её точность не растёт, и коллапс происходит в тех же точках сложности.
➖ Ну и, плюс, рассуждения почему-то не генерализируются. На более известных головоломках модель еще как-то думает, а на менее известных, даже если они легче, рассуждения не помогают, и точность падает даже на низких уровнях.