55444
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n
OpenAI показали большое обновление ChatGPT для бизнеса: теперь в бота можно интегрировать любые базы знаний вашей компании
Подсоединить к ChatGPT можно Google Drive, Dropbox, SharePoint, Box, OneDrive и другие сервисы. По этим данным можно будет осуществлять поиск, Deep Reserch, ну или просто обрабатывать как хотите.
Это называется "коннекторы", фича раскатывается на пользователей Team и Enterprise. Говорят, что данные "будут оставаться внутри периметра компании", и у каждого юзера будет доступ только к тем файлам, к которым у него есть доступ в корпоративной структуре.
Кроме того, OpenAI анонсировали record mode: это режим записи и транскрибирования любых ваших встреч. Модель сможет автоматически получать доступ к вашим встречам из Teams, Zoom, Google Meet и так далее (+ коннектиться с календарем) и обрабатывать информацию со встречи.
Можно будет задавать по митингам вопросы, суммаризировать, превратить в документ, таблицу и прочее. Доступно, аналогично, для Enterprise. В Team завезут в ближайшее время.
Ну и, по классике, ищем на скрине со стрима пасхалки ⬆️
О, TechCrunch пишет, что Mistral собираются выпускать собственного агента для кодинга Mistral Code
Он основан на комбинации Codestral, Codestral Embed, Devstral и Mistral Medium, и его можно будет запускать в разных IDE. Говорят, частная бетка открылась вчера, и скоро продукт выкатят на пользователей.
Кажется, скоро не останется ни одного стартапа без собственного ИИ-программиста
Приходите на прямой эфир по архитектуре данных и Data Lakehouse
5 июня, в 17:00 по Москве канал Данные на стероидах проводит прямой эфир с двумя экспертами-архитекторами. Спикерами станут Алексей Белозерский, руководитель команды BigData Services VK Cloud, а также Вадим Белов, руководитель системной разработки DMP, Х5 Group.
👉 Подписывайтесь на канал, чтобы послушать эфир
Основная тема дискуссии: Data Lakehouse — хайп или необходимость. Во время прямого эфира вы сможете задать вопросы экспертам и поделиться своим опытом.
Кому будет особенно интересно залететь в трансляцию:
🎯 Дата-инженерам
🎯 Руководителям дата-платформ
🎯 Аналитикам
🎯 Архитекторам
🎯 CDO, CDTO
Anthropic завели своему Claude собственный блог
Оказывается, около недели назад Anthropic тихонько, без анонсов, создали Claude Explains. На этой странице теперь появляются всякие технические заметки и посты про варианты использования ИИ, и пишет все это сам Claude.
Надпись на лендинге гласит: "В наше время у каждого есть блог, даже у Claude. Добро пожаловать в маленький уголок вселенной Anthropic, где Claude пишет посты на любые темы".
Однако справедливости ради надо сказать, что не все в постах Claude Explains написано ИИ от начала и до конца. Представители Anthropic говорят, что блог "курируется экспертами по предметной области, которые улучшают черновики модели и дополняют их примерами и контекстными знаниями".
Насколько масштабны такие правки – непонятно. И все-таки почитать и потыкать блог интересно. Вот, например, милый пост про базовую математику в питоне.
www.anthropic.com/claude-explains
Сегодня в 20:00 по мск нас ждет что-то новенькое от OpenAI
От этом сообщил один из инженеров стартапа. От написал, что будет «большой день для пользователей, о котором я думаю днями и ночами». Что ж, посмотрим 👀
Кстати, еще из приятных новостей от OpenAI: со вчерашнего дня Codex доступен всем Plus юзерам ChatGPT.
Plus – это подписка за 20$ / месяц. Говорят, что лимиты на Codex «щедрые», но зато тут же уточняют, что в периоды высокого спроса будут появляться ограничения скорости.
Кроме того, теперь агенту можно предоставить доступ в Интернет, и он сможет пользоваться им по необходимости. Changelog
Один из отцов-основателей глубокого обучения Йошуа Бенджио только что сообщил о том, что открывает собственную компанию LawZero
Бенджио – один из самых известных исследователей в области глубокого обучения. Его, наряду с Хинтоном и Лекуном, обычно называют первооткрывателем и отцом Deep Learning. В 2018 он получил премию Тьюринга, а еще он – один из авторов первой статьи про механизм внимания.
Раньше Бенджио работал в Университете Монреаля в Канаде, а сегодня сообщил, что открывает собственную некоммерческую организацию LawZero (lawzero.org).
Название LawZero – это в честь нулевого закона робототехники Исаака Азимова: "Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред".
Как вы уже поняли, компания будет работать над безопасностью. Пока что Бенджио возглавит команду из более чем 15 исследователей, и разрабатывать они все будут так называемого Scientist AI.
Scientist AI будет не агентом, а скорее наоброт – он будет выступать в качестве надсмотрщика для агентов. Цель состоит в том, чтобы эта модель использовалась в тандеме с ИИ, наблюдала за ним и сводила к минимуму потенциальный вред.
Самое интересное, что у LawZero уже и инвестиции есть. Бывший гендир Google Эрик Шмидт, соучредитель Skype Яан Таллин и другие дали Бенджио 30 миллионов долларов.
Будем наблюдать 🍿
В Bing теперь бесплатно можно пользоваться SORA
Microsoft только что добавили в свой невероятно популярный 😶 браузер инструмент Video Creator. Внутри – SORA, и пользоваться этим можно бесплатно (лимиты пока неизвестны).
Видимо, скоро у OpenAI новый раунд финансирования, раз они раздают инвесторам такие подарки
Большой гайд по разработке агентов
Сбер внезапно сделали всем большой подарок: на конференции ЦИПР старший вице-президент компании Андрей Белевцев представил огромный практический гайд по созданию AI-агентов. Внутри:
– Все про то, кто такие агенты и как они работают
– Готовые скрипты и шаблоны для разработки и деплоя мультиагентных систем
– Прикладные рекомендации, основанные на опыте инженеров Сбера
Полезно будет всем: и ИТ-специалистам, и разработчикам, и руководителям.
Мы раскрываем наш практический опыт внедрения таких систем в сложном ИТ-ландшафте Сбера. Уверен, что документ станет ценным и полезным ресурсом на пути освоения и внедрения компаниями современных AI-технологий.
Google представили ATLAS – новую архитектуру памяти для LLM
В Google неустанно продолжают работать над увеличением емкости памяти моделей. Не так давно они показывали архитектуру Titan (вот тут наш подробный разбор), а теперь пишут про Atlas – новый подход, в котором память обучается прямо во время инференса.
Немного о проблеме контекста. Обычным трансформерам тяжело масштабироваться на длинные последовательности: с ростом количества токенов потребление памяти увеличивается квадратично, потому что всю информацию приходится хранить одновременно в KV-кэше.
Рекуррентные сетки же от проблем масштабирования не страдают, потому что память у них фиксированного размера. В то же время из-за этой фиксированности они просто-напросто постоянно ничего не помнят.
В Google сделали вот что: они взяли за основу трансформер, но вообще отказались от self-attention и хранения ключей и значений. Вместо этого все вычисления завязаны на обновляемую память (это идея из RNN). То есть:
➖ На входе мы всё ещё получаем токены контекста, для которых рассчитываем запросы, ключи и значения
➖ Но место того, чтобы сохранять каждую пару (k, v) в кэш, мы прямо во время инференса обучаем наш модуль памяти выучивать взаимосвязи между ними. Модуль памяти здесь – это полносвязная MLP, и она обычным градиентным спуском обучается отображать ключи в значения, то есть MLP(k_i) ≈ v_i.
➖ На выходе получается, что у нас нет KV-кэша, но есть нейро-модуль памяти, который на лету выучил все взаимосвязи в текущем контексте.
Работает ли это? Да, лучше чем в трансформерах и Titan. На бечмарке BABILong ATLAS достигает 80%+ точности на длинах до 10 миллионов токенов. Трансформеры на такой длине уже давно окончательно захлебнулись – смотрите график 2. При этом перплексия и точность тоже остаются приличными.
Отличная работа. Прочитать полностью можно здесь
Сэм Альтман: «Грядут страшные времена» 🪦
CEO говорит, что мир должен всеми силами готовиться к огромному влиянию ИИ. Он заявил, что даже если OpenAI выпускает не идеальные модели, то это затем, чтобы люди успели «адаптироваться и привыкнуть».
Источник: свежее интервью
Робот по цене макбука от HuggingFace
Знакомьтесь: это HopeJR, полноразмерный робот-гуманоид с 66 степенями свободы конечностей всего за 3000 долларов. Его на днях показали робототехники Hugging Face, и совсем скоро он поступит в продажу.
Робот может ходить, двигать руками и выполнять почти любые задачи, которым вы его научите: весь код для него – в опенсорсе.
Кроме этого HF еще показали мини-робота Reachy Mini. Он настольный и может двигать головой, говорить и слушать. Тут уже предназначено не для выполнения задач, а скорее для прототипирования (оживления) LLM. Цена – около 250 долларов, и тоже в опенсорсе.
Выглядит как большой вызов, особенно учитывая, что текущая робо-индустрия полностью живет по модели черного ящика. Опенсорсный подход HF, да еще с такими ценами, здесь, по сути, первый в своем роде.
Лаба Artificial Analysis поделилась интересным отчетом о состоянии ИИ по итогам Q2 2025
Главное: Китай впервые добился почти полного паритета с США. Посмотрите на график наверху: по оси Х здесь время, а по оси Y – качество моделей (усредненный результат по 7 самым популярным бенчмаркам, включая математику и кодинг).
Раньше китайские модели отставали на целое поколение, а теперь отставание по времени релизов почти исчезло: новые сопоставимые модели выходят в течение недель после релизов OpenAI и Google.
Причем китайский рынок работает активнее за счет количества игроков: DeepSeek, Alibaba, ByteDance, Tencent, Moonshot, Zhipu, Stepfun, Xiaomi, Baichuan, MiniMax, 01 AI и другие сейчас сыпят релизами почти каждую неделю.
Особенно, конечно, выделяется последняя R1-0528, которая встала в один ряд с o3, и при этом все еще остается открытой моделью (кстати, про опенсорс и говорить нечего: тут они на абсолютном первом месте – см. график 2).
🔵
MATLAB уже 12 дней лежит из-за хакерской атаки: пострадали 5 миллионов пользователей
На MATLAB до сих пор завязаны большинство экспериментальных и инженерных отделов крупных организаций. За эти дни в матлаб уже посыпались жалобы от университетов, автомобильных и даже аэрокосмических компаний. По всему миру пострадали около 5 миллионов пользователей, ущерб страшно даже представлять.
Сейчас удалось восстановить почти 85% основных функций, но некоторые все еще работают ограниченном режиме.
Есть предположение, что руководство MathWorks все-таки заплатили хакерам выкуп. Так или иначе, атака еще продолжается, и хакеры не пойманы.
💀
Яндекс открывает ранний доступ к своей внутренней платформе для хранения и обработки данных YTsaurus
По сути, это хранилище + вычислительная платформа. Такой Hadoop на стероидах, где все сразу спроектировано для огромной нагрузки.
Внутри Яндекс платформа работает уже 10 лет. Именно на ней обучали YandexGPT, а еще реализовывали полный пайплайн оптимизации цен, логистики и акций Яндекс Маркета. Как вы понимаете, речь тут о поддержке эксабайтных объёмов данных, миллионов CPU и десятков тысяч GPU.
С точки зрения ML YTsaurus подходит под любые сценарии: от ETL и подготовки фичей до обучения и инференса моделей. Поддерживается обработка логов и вообще почти любых типов данных. Можно использовать знакомые инструменты, такие как ClickHouse и Apache Spark, либо писать низкоуровневые пайплайны с помощью MapReduce. Также доступен Python API и клиент для интеграции в ML-воркфлоу.
Интересно, что развернуть можно и как облачный сервис (тогда все будет админить Яндекс), и как on-premise, если компания хочет хранить данные у себя.
В общем, максимальная гибкость, мощность и покрытие задач. Для раннего доступа к YTsaurus подавайте заявку на сайте
Как нейросети сэкономили врачам месяцы на подготовке к запускам клинических исследований
Вышла новость о том, что НМИЦ онкологии им. Н. Н. Петрова внедрил решение на базе YandexGPT 5 Pro для обработки документов клинических исследований. Рассказываем, почему это важно и как работает.
Все новые лекарства и методы лечения обязаны пройти этап клинического исследования — это когда они проверяются на людях. Но чтобы начать такое исследование, нужно подать 300–800 страниц протоколов, инструкций, таблиц и обоснований, оформленных по строгим этическим и юридическим нормам.
Обычно проверка такой кипы бумаг занимает недели, а согласование — месяцы. С решением на базе YandexGPT первичный чекинг (внимание!) теперь требует всего несколько минут, а полный цикл согласования сокращается до 5-10 дней.
И это только оценка снизу. До этого примерно 35% заявок могли зависать на годы из-за ошибок в документах. А теперь модель автоматически находит неточности, предлагает улучшения и ускоряет все проверки.
В итоге врачи экономят месяцы работы, а пациенты намного раньше получают доступ к лечению. В ближайшее время решение планируется масштабировать на другие исследовательские учреждения, включая онкоцентры стран BRICS.
Решение совместно разработали специалисты из Yandex Cloud, компании Raft и НМИЦ. Вот как все работает: Хабр
MWS значительно расширила функционал MWS GPT - b2b-платформы для работы с ИИ
Одно из главных нововведений - увеличение числа доступных моделей, теперь их более 40, включая Open Source LLM. Можно сравнивать, тестировать и выбирать ту, что лучше справится с конкретным кейсом.
Можно настраивать сложные сценарии, в которых один агент управляет несколькими помощниками с четко определенным функционалом - для этого в обновленной версии внедрили поддержку мультиагентных архитектур в low-code-конструкторе.
RAG и Vision в ChatUI: ИИ анализирует и выдает краткое содержание из объемных текстов и изображений, отвечает на вопросы по инструкциям и описывает графические материалы.
Ограниченному кругу пользователей доступен FineTune - инструмент для адаптации уже обученной языковой модели к конкретной задаче. Разработчики обещают добавить аналогичный функционал для работы с изображениями и сделать FineTune доступным всем клиентам в следующих обновлениях.
Следите за новостями здесь
Забавное: Сэма Альтмана спросили, что бы он делал, окажись у него прямо сейчас в 1000 раз больше компьюта. Ответ оказался из серии "вот это поворот":
Я бы попросил ChatGPT очень усердно подумать над тем, как нам создать лучшие модели, а затем спросил бы эти лучшие модели, что нам делать со всем этим компьютом. Я думаю, это было бы рационально.
How much do language models memorize? Новое исследование от Meta FAIR, Google DeepMind и NVIDIA
Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить?
Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже.
Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный.
➖ Авторы опираются на понятия из теории информации Колмогорова и Шеннона, и четко разделяют запоминание и обобщение. Если модель воспроизвела что-либо – не значит, что она это запомнила, а не обобщила. В обратную сторону – то же самое.
➖ Количество информации, которое модель именно запомнила, считают так. Берут две модели одинаковой архитектуры и размера: одна – референсная – обучена на огромном количестве данных, вторая – испытуемая – на ограниченном датасете.
Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации.
Вот так и получилось число 3.6 бит/параметр.
Самое важное, что этот показатель дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это, кстати, часто называют грокингом.
Красота, как она есть arxiv.org/abs/2505.24832
Новость для тех, кто планирует поступление в магистратуру в этом году — МТС открывает набор на программу по искусственному интеллекту на ФКН ВШЭ
Самое важное:
- 30 оплачиваемых мест от МТС;
- Обучение проходит в очном формате в московском кампусе ВШЭ;
- Занятия ведут преподаватели ВШЭ и действующие эксперты-практики из МТС и MTS AI, а для проектов можно использовать виртуальную инфраструктуру компании;
- В канале абитуриентов делимся новостями и помогаем с подготовкой к поступлению.
В программе передовые методы машинного и глубинного обучения: большие языковые модели, генеративные нейросети, инструменты компьютерного зрения и распознавания естественного языка.
Также есть возможность выбрать трек: исследователи учатся писать научные статьи, а предприниматели — создавать из ИИ-разработок бизнес-решения.
Подача документов с 20 июня! Получить напоминание о старте подачи и изучить подробнее программу можно на сайте.
Юра Борисов может сыграть Илью Суцкевера в фильме про увольнение Альтмана
Фильм снимает режиссер «Претендентов». В сюжете – события осени 2023, когда Сэма драматически уволили, а потом восстановили на позицию CEO OpenAI.
На роль Альтмана, кстати, хотят взять Эндрю Гарфилда
Наши 🐘?
Ого: Manus анонсировали собственный видео-генератор
Метрик нет, но по черипикам демо качество выглядит неплохо. Говорят, скоро раскатают даже на бесплатный тариф (ну а пока доступно в Basic, Plus и Pro)
Hugging Face сделали собственную легковесную модель для управления роботами
Для универсальных роботов используются модели VLA (Vision-Language-Action), но обычно они достаточно тяжелые и дорогие. Hugging Face же сейчас идет в сторону доступной и дешевой робототехники, и сегодня они выложили SmolVLA – специальную облегченную VLA, которую можно использовать для домашних роботов.
Сама архитектура очень компактная: всего один Action Expert и несколько чередующихся слоев self-attention и cross-attention. На вход модели поступают кадры и задача на естественном языке, на выходе получаем последовательность действий для робота.
Интересно, что обучена модель исключительно на открытых датасетах сообщества LeRobot (их люди за год выложили порядка 500).
Завести SmolVLA можно на домашних GPU или даже на CPU. В проект зашит, помимо прочего, еще и асинхронный инференс.
И вот еще: несмотря на свои размеры (есть варианты на 0.24B, 0.45В и 2.25В), моделька работает очень неплохо, иногда даже на уровне с VLA в десять+ раз больше.
Веса | Репо | Статья
Один из нескольких +- надежных инсайдерских аккаунтов в X сообщает, что o3-pro – на носу
Модель, которую все заждались
Зацените иллюстрацию к новой статье журнала WSJ про элаймент
Статья называется «ИИ учится сбегать от человеческого контроля» и посвящена свежему исследованию от Palisade AI, о котором мы подробно рассказывали тут.
Если коротко, в этом исследовании впервые был официально зафиксирован случай, когда модель явно нарушила человеческие инструкции в пользу собственных «интересов».
Ну в общем журналисты переполошились и написали что модели «имитируют элаймент на тестах, а затем все равно возвращаются к опасным действиям: врут, пытаются копировать свои веса и саботировать».
Отдает желтой прессой, конечно, но в целом вывод в статье верный: нам нужно больше внимания уделять элайменту. Это ключ к безопасным ассистентам.
А художнику респект
Сбер проведёт главную технологическую конференцию по генеративному ИИ
25 июня в Москве пройдет ежегодная открытая конференция GigaConf. Формат гибридный — присоединиться можно офлайн или онлайн. В прошлом году GigaConf собрала более 2,5 тысяч офлайн-участников.
Из интересного: более 50 экспертов расскажут о трендах в области AI-технологий, а также проведут практический разбор реальных кейсов по внедрению и использованию GenAI в разработке программного обеспечения.
Как отметил старший вице-президент Сбера Андрей Белевцев, компании, которые откладывают внедрение GenAI, рискуют серьёзно отстать от конкурентов.
🥳 Кстати, сегодня мы празднуем месяц с того момента, как Grok 3.5 должен был выйти через неделю
Как вам модель? 🍜
The Darwin Gödel Machine: агент от Sakana AI, который совершенствуется, переписывая собственный код
Очень интересная статья вышла у уже известной нам по нескольким громким рисерчам лаборатории Sakana AI. Они показали DGM – первую систему, которая может улучшать саму себя по принципу биологической эволюции. Идея вот в чем:
🟦 В начале есть один агент, способный читать, писать и исполнять код. У него есть доступ к своему коду.
🟦 Агент пробует улучшить себя – меняет свой код и создает новую версию себя, то есть ребёнка.
🟦 Эту новую версию тестируют на задачах типа SWE-bench. Если она работает и тоже умеет понимать, читать и менять код – то ее добавляют в архив.
🟦 А дальше все начинается с начала: на следующем шаге выбирают одного из агентов из архива (не обязательно последнего), и цикл повторяется.
Получается своеобразный генетический алгоритм с саморефлексивностью, и это работает. По сравнению с исходной моделью точность лучшего найденного агента на SWE-bench в экспериментах вырастала с 20% до 50%. На Polyglot – с 14.2% до 30.7%.
Улучшения, которые DGM придумывала, оказались неожиданно разумными: добавление построчного чтения файлов, более точное редактирование строк, учёт истории предыдущих попыток. И всё это – без участия человека.
Конечно, были и нюансы: в статье исследователи прямо пишут, что замечали попытки саботажа и подделки результатов (аля print("Accuracy: 100%")). Пока это легко отловить, но важность валидации очевидна.
Проект опенсорсный, код доступен тут
Статью полностью читаем здесь
Anthropic опенсорснули свой микроскоп для LLM
Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.
Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.
Вот как это работает:
➖ вы выбираете модель,
➖ задаете промпт,
➖ настраиваете гиперпараметры (если хотите)
➖ ... и получаете большой аналитический граф того, как модель обдумывает ответ на ваш запрос. С этим графом можно взаимодействовать, рассматривать на разных уровнях и тд.
Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная