data_secrets | Unsorted

Telegram-канал data_secrets - Data Secrets

55444

Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks По вопросам сотрудничества: @v2r8n

Subscribe to a channel

Data Secrets

Figure AI снова показали, как их роботы трудятся на заводе BMW

Уточняем: это не тестовая среда внутри завода, а реальное производство. Интересно, что гуманоиды работают на BMW уже несколько месяцев, но раньше только таскали железки. А теперь вот уже какое-то подобие взаимодействия со станком.

Работяги 🧑‍🏭

Читать полностью…

Data Secrets

Еще одна приятная новость от OpenAI: обновленная нативная генерация изображений наконец-то доступна всем бесплатным пользователям

Несмотря на то, что несколько дней к ряду сервера стартапа буквально умирали, фичу все-таки докатили на фри юзеров, как и обещали.

Возможно, так в компании "отпраздновали" закрытие нового раунда инвестиций. Они привлекли рекордные 40 миллиардов долларов при оценке в $300 миллиардов. Теперь OpenAI официально делит второе место в списке единорогов мира с ByteDance (300 млрд). Дороже них остался только SpaceX (350 млрд).

А еще, на секундочку, это крупнейший раунд финансирования за всю историю частных тех.компаний. Однако пока OpenAI получит только 10 миллиардов. Остальное должно поступить к концу года, но только при условии, что к тому моменту стартап все-таки станет коммерческой организацией.

Читать полностью…

Data Secrets

Ладно, друзья, теперь серьезно: OpenAI (о чудо!) планирует выпустить опенсорсную модель

Последним опенсорсным релизом компании была GPT-2, это было 5 лет назад. И вот сейчас Альтман объявил, что стартап вновь выпустит что-то открытое.

Что конкретно это будет – неизвестно, но напоминаем, что чуть больше месяца назад Сэм проводил в X опрос о том, какой опенсорс хотели бы видеть пользователи. Варианты были такие: локальная модель, которую можно запустить на утюге, или модель уровня o3-mini, которая запускается на GPU. С небольшим отрывом тогда победила вторая.

Возвращаясь к новости: сейчас разаботчики могут подать заявку на фидбэк сессии, то есть прийти, попробовать раннюю версию и оставить обратную связь.

Читать полностью…

Data Secrets

🍯 Hugging Face совместно с Unsloth AI выпустили гайд по тому, как быстро научить любую модельку ризонить

Недавно Hugging Face добавили в свой NLP курс раздел "Build Reasoning Models". Внутри – подробнейшие наглядные объяснения, как работает обучение с подкреплением, ризонинг, GRPO и почему все это так бустит модельки.

А сегодня туда докатили еще и колаб-ноутбуки с практическими туториалами. Это буквально пошаговая end-to-end инструкция по тому, как завезти GRPO для любой модельки и заставить ее думать.

Вот ссылка на тетрадку с примером на gemma-3-1b, а вот теория к ней. Есть еще вариант с SmolLM-135M-Instruct. Для первого знакомства – идеально.

Читать полностью…

Data Secrets

Gemini 2.5 Pro набрала 118 баллов IQ

Это достаточно большой отрыв от предыдущих результатов: для сравнения, o1-pro набирает 110, Claude 3.7 – 107, o3-mini – 104, GPT-4.5 и o1 – 97. Средний результат человека – 100.

Вопросов из датасета нет в интернете (по крайней мере, так говорит создатель). Все тесты проводит единственный человек – журналист Максим Лотт. Кстати, он также занимается тем, что трекает политические предубеждения моделек. Выходит довольно интересно (картинка 3).

trackingai.org

Читать полностью…

Data Secrets

Кажется, Llama-4 появилась на LMSYS Arena

На арене появились три новые модели под кодовыми названиями Spider, Cybele и Themis. Все они утверждают, что созданы компанией Meta AI и принадлежат к семейству Llama.

Ждем? 🔵

Читать полностью…

Data Secrets

Там OpenAI тонет под тяжестью Ghibli генераций

Вчера Альтман написал, что команда почти не спит, чтобы серверы выдерживали натиск спроса, и напрямую попросил аудиторию остыть.

Можно подумать, что это был маркетинговый ход чтобы, наоборот, еще больше подогреть интерес. Но нет: сегодня новым пользователям временно ограничили возможность генерировать картиночки в SORA.

А еще Сэм заявил, что «AGI, возможно, появится быстрее, если вы перестанете грузить наши GPU генерациями» 🫠

Видимо деплоя на фри юзеров не видать еще долго

Читать полностью…

Data Secrets

Краткое содержание предыдущего поста:

Читать полностью…

Data Secrets

📌Пройдите тест из 9 вопросов и проверьте, насколько вы готовы к обучению на  курсе «BI-аналитика» от OTUS.

Вы научитесь на курсе:
+ Визуализировать данные с помощью Power BI, Tableau и Analytic Workspace.

+ Создавать интерактивные дашборды и аналитические панели на Python в Dash, Numpy, Pandas, Matplotlib, Seaborn и Plotly.

+ Работать с Big Data и использовать решения с открытым исходным кодом в BI-аналитике.

+ Работать с DAX-формулами.

+ Обрабатывать и трансформировать данные в Power Query, создавать модели данных в Power Pivot.

🦉В честь дня рождения Отус, скидка 10% до 01.04
🎁Так же промо-код на курс «BI-аналитика» со скидкой 5% (суммируется на сайте): 
BI_04 до 18.05. Успейте купить выгодно!

👉ПРОЙТИ ТЕСТ: https://otus.pw/REM9/?erid=2W5zFJNENTr

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

#реклама
О рекламодателе

Читать полностью…

Data Secrets

Наткнулись на недавнее интервью Джеффри Хинтона, в котором он называет RLHF «кучкой дерьма»

RLHF на сегодняшний день – один из основных алгоритмов пост-трейнинга. Без него не обходится почти ни одна моделька + на RLHF строится почти любой элаймент.

Но нобелевский лауреат подход все равно недолюбливает и сравнивает его с покраской ржавой машины, которую вы хотите продать 🤷‍♂️🤷‍♂️🤷‍♂️

youtu.be/61BGgwN36Ps

Читать полностью…

Data Secrets

Fun fact: в Meta вообще не используют термин AGI, на этом настаивает Ян Лекун

Дело в том, что AGI (Artificial General Intelligence) означает интеллект не хуже человеческого уровня. Лекун же говорит, что это определение не подходит, потому что на самом деле человеческий интеллект далеко не General.

Вместо этого ученый и его команда используют сокращение AMI – Advanced Machine Intelligence.

Читать полностью…

Data Secrets

NVIDIA выпустила Project G-Assist для настройки и оптимизации игровых ПК

Ассистента анонсировали еще на Computex 2024, но только сейчас экспериментально раскатывают на пользователей. Пока это доступно только владельцам GeForce RTX, но вот что G-Assist может:

🟦Оптимизирует графику и системные настройки для игр или других целей
🟦Диагностирует систему и постоянно мониторит производительность
🟦Повышает эффективность GPU и поможет установить любой NVIDIA стафф

Все крутится на Llama 8В, так что ассистент не прожорливый и запускается локально. Ну и работает бесплатно, если вы уже владелец RTX с минимум 12 ГБ видеопамяти.

www.nvidia.com/en-us/geforce/news/g-assist-ai-companion-for-rtx-ai-pcs/

Читать полностью…

Data Secrets

У того самого китайского агента Manus появилось iOS приложение + стали известны цены на подписку

За 39 долларов можно получить 3900 кредитов, за 199 $ – 19 900. В среднем простенькая задача стоит 100-200 кредитов, посложнее 300-500.

А что, не все китайские модели бесплатные? 🥺

Читать полностью…

Data Secrets

Tinder? Для бизнеса? Да, теперь и такое есть. Для конференции Data Fusion по работе с большими данными и искусственным интеллектом организаторы запустили Telegram-бота, который поможет найти нужные контакты.

Заполняешь анкету, свайпаешь анкеты участников, находишь DS, аналитиков и технологических пиарщиков — готовая дрим-тим для стартапа.

Тестили сами — мэтчится точнее, чем градиентный бустинг на чистых данных. Ищем админа в боте и встречаемся 16-17 апреля на конференции Data Fusion 🚀

Читать полностью…

Data Secrets

Успейте зарегистрироваться на Data Fusion. Мы ждем всех!

Data Fusion Contest 2025 это

🛑возможность прокачать скилы на практике, внести вклад в развитие сообщества DS в России, а также погрузиться в новые DS/ML-методы;
🛑шанс сразиться с лучшими представителями профессии и проявить себя;
🛑возможность получить внушительный приз.

Общий призовой фонд — 3 000 000 рублей 🔥

В этом году участников ждут 2 основные задачи:

«Label Craft» — про предсказание категории товаров.

«4 Cast» — про предсказание динамики платежей на последующие 12 недель.
И одна образовательная задача — «Distribution».

А ещё будет специальная номинация Companion за лучшие публичные решения, в которой победителей определит жюри, учитывая поддержку со стороны других конкурсантов в чате соревнования.

Даты проведения соревнования: с 13 февраля по 7 апреля 2025 года.

❗️Формат — онлайн: участвовать можно из любой точки мира.

Информация о рекламодателе

Читать полностью…

Data Secrets

Amazon показали собственного веб-агента Nova Act

На внутренних бенчмарках компании (?) по показателям управления текстом и визуальными элементами сайтов он обходит Sonnet 3.7 и Computer Use OpenAI. Особенно они подчеркивают свой фокус на надежности использования.

Самим агентом воспользоваться пока нельзя, но Amazon открывают ричерч-превью в виде библиотеки Nova Act SDK, и вот это интересно. Либа дает возможность бить процессы на атомарные команды и именно таким образом выстраивать работу агента.

При этом к каждому этапу можно дописать "заметки" (типа "при входе на сайт не принимай куки"), прикрутить дополнительные APIшки, вставить тесты, распараллеливание и др.

Примеры | Документация | Блогпост

Читать полностью…

Data Secrets

⚡️ MTS AI выпустила новую версию корпоративной LLM – Cotype Pro 2

Новая модель вошла в пятерку лучших русскоязычных LLM в бенчмарке MERA. Она адаптирована под более чем 100 бизнес-сценариев по таким направлениям, как взаимодействие с клиентами, поддержка HR-функции, аналитика данных, маркетинг, финансовая отчетность и проверка документации. При этом модель может быть развернута в закрытом контуре компании без внешних API.

Ключевые апгрейды:
+40% к скорости;
+50% к точности при обработке длинных текстов до 128K токенов.
Также Cotype Pro 2 продемонстрировала улучшенные результаты в решении основных задач: генерация идей (+13%), креативное письмо (+4%), суммаризация (+6%), чаты (+9%), извлечение информации (+5%). Точность в задачах классификации остается на высоком уровне - 87%.

Перед релизом модель прошла трехмесячное тестирование в реальных условиях: в банковской сфере она использовалась для категоризации клиентских обращений в службу поддержки, а в сервисе продажи билетов MTS Live — для генерации описаний мероприятий.

"Cotype Pro 2 можно считать первым шагом MTS AI к корпоративному агентскому ИИ. Эта модель станет основой для линейки ИИ-помощников и ИИ-агентов для госсектора, банков, промышленности, ритейла, телекома, медицины и IT", – сообщают разработчики.

Читать полностью…

Data Secrets

⚡️ Сэм Альтман купил DeepSeek

Сегодня ночью основатель OpenAI Сэм Альтман официально объявил о покупке стартапа DeepSeek и написал в своем Твиттере следующее:

«Мы очень ценим вклад DeepSeek в развитие open-source и обещаем сохранить традиции открытости. Поэтому теперь все их модели доступны в ChatGPT по нашей новой подписке Pro++ за 1500$ в месяц»


Также CEO пообещал в скором времени выпустить и другие модели, которые разрабатывались в DeepSeek: R1.5, R2, D2 и ☭2

Читать полностью…

Data Secrets

Многообещающе: к 2028 Авито планируют сделать из своей платформы монолитного интеллектуального ассистента и заработать на этом 21 миллиард рублей

За три года компания вложит в ИИ-технологии 12 миллиардов и планирует получить с этого более 21 миллиарда выручки. При этом часть денег также пойдет на образовательные программы в коллабе с вузами.

Интересно, что изначально Авито расчитывали на окупаемость 5 лет, но внезапно в 2024 у них уже появился реальный экономический эффект от внедрения первых ИИ-функций – 670 млн рублей. Теперь на 2025 запланирована реализация еще 20 новых сценариев использования.

В том числе в компании уже показали собственное семейство генеративных моделей – текстовую A-Vibe и мультимодальную А-Vision. Они обучены на базе Qwen2.5 7В с использованием более 10 терабайт данных. А еще инженеры прикрутили собственный токенизатор – и это помогло ускорить инференс в 2 раза.

Модельки помогут писать продающие тексты-описания, отвечать на вопросы о товаре, суммаризировать отзывы и многое другое. Потенциал домена действительно огромный.

P.S. Если хотите понять, как именно ИИ работает и приносит деньги в e-comm, почитайте нашу авторскую статью про ML в Авито: там много интересных тех. подробностей про LLM, рекомендашки и монетизацию.

Читать полностью…

Data Secrets

🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!

Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области!

Что тебя ждет:

☑️Денежный призовой фонд
☑️Автоматизированная оценка решений
☑️2 практические задачи:

1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию.

2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию.

Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день.

Регистрация уже открыта! Подробности и анкета по ссылкам выше.

Читать полностью…

Data Secrets

Тем временем русскоязычный Твиттер:

Читать полностью…

Data Secrets

Яндекс выложил в опенсорс Instruct-версию YandexGPT 5 Lite и упростил лицензию

До этого (с февраля) была доступна только Pretrain-модель, то есть та, которую не тюнили выполнять задачи, а только предобучили на большом корпусе данных. Instruct-модели дополнительно к этому обучают следовать инструкциям и элайнят, поэтому они умеют выполнять конкретные задачи по промпту. На HF выкладывали инстракт- и квантизованные версии, которые алайнили в сообществе.

Свежие веса вот здесь.Размер 8B, контекст 32к, есть GGUF и совместимость с llama.cpp, так что можно запросто погонять локально. По сравнению с предыдущей моделькой особенно большой скачок в кодинге и математике.

На бенчмарках бьет Qwen2.5-7B-Instruct и уже находится примерно на уровне с GPT-4o Mini в решении стандартных задач Яндекса. На русском языке и разметке текстов показывает себя даже лучше, а в Side by Side выигрывает в 62% случаев.

А еще обновилась лицензия, и теперь обе версии открытой модели можно можно использовать в коммерческих целях, если объём выходных токенов не превышает 10 млн в месяц.

Читать полностью…

Data Secrets

xAI поглотил X или история о том, как Илон Маск будет платить долги Твиттера деньгами ИИ-инвесторов

Поехали разбираться:

Маск купил Твиттер за 44$ млрд два с половиной года назад, но за это время оценка компании успела сильно упасть. В какой-то момент сообщалась, что она стоит менее 10 млрд. Но после инагурации Трампа оценка снова выросла, потому что платформа стала "более влиятельной".

Маск сообщил о поглощении в эту субботу и написал, что X при покупке оценили в в 33 миллиарда (45 - долги 12 млрд). При этом он также сообщил, что xAI теперь стоит 80 миллиардов. Это почти в два раза больше, чем в декабре: тогда озвучивалась сумма в 45 миллиардов.

Итого уже получаем высокую (и, что важно, фактически доказанную сделкой) стоимость X + подорожание xAI + вероятно более широкий доступ xAI к данным X. И это все, можно сказать, бесплатно: покупка была полностью оплачена акциями.

Интересно, что пишет WSJ: "Руководители обеих компаний посчитали, что будет проще привлекать деньги для объединенной компании". То есть теперь Маск будет получать больше инвестиций на мощный ИИ с огромным доступом к данным X, но тратить эти деньги сможет на покрытие долгов соцсети.

Это не первый случай стирания границ между компаниями Маска. На самом деле, у него уже даже были юридические проблемы на этой почве. Посмотрим, чем все закончится в этот раз.

Читать полностью…

Data Secrets

Google сделали свою новую модель Gemini 2.5 Pro бесплатной

Теперь она доступна абсолютно всем юзерам. Все что нужно – аккаунт Google 🥳

Напоминаем, что сейчас Gemini 2.5 Pro занимает первое место во всех номинациях на арене (с отрывом), бьет на кодинге o1, o3-mini и Sonnet 3.7. А еще она мультимодальная и контекст у нее – миллион (!) токенов.

Пробуем: gemini.google.com

Читать полностью…

Data Secrets

Всплыли некоторые подробности увольнения Сэма Альтмана осенью 2023 года

The Wall Street Journal выпустил статью-отрывок из будущей книги “The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future”, в которой раскрыли некоторые подробности событий ноября 2023.

Оказалось, что Сэм несколько раз лгал и недоговаривал совету директоров:

Однажды при обсуждении новой модели GPT-4 он солгал, что она прошла проверку безопасности. После перепроверки оказалось, что это не так.

Тестирование GPT-4 на пользователях также началось без ведома директоров.

В другой раз он сказал Мире Мурати, что юридический отдел подтвердил, что GPT-4 Turbo не нужно пропускать через тест безопасности в Microsoft. В последствие главный юрист компании отрицал это.

Ну и вишенка: хотя Альтман не владел никакими акциями OpenAI (помните вот это "I do It because I love It"?), оказалось, что ему тайно принадлежал инвестиционный фонд OpenAI Startup Fund. Сэм утверждал, что прибыли тот не несет, но все равно зачем-то скрывал факт владения от совета.

А еще выяснилось, что помимо Ильи Суцкевера, руку к увольнению Альтмана непосредственно приложила Мира Мурати. Они с Ильей вместе собирали документальные доказательства лжи и токсичности Альтмана и Грега Брокмана. На том же совете, на котором решили уволить Сэма, Миру назначили новым временным CEO.

Это забавно, потому что именно Мира сразу после увольнения Альтмана сделала вид, что она не в курсе "заговора" и возглавила протест сотрудников против увольнения Сэма. Она вместе с 95% сотрудников (и Суцкевером в том числе) подписала петицию с угрозой массового увольнения. Именно поэтому Альтмана восстановили.

Вот такая вот кремниевая игра престолов 👀

P.S. Сама статья WSJ платная, но бесплатное зеркало есть тут, так что можете легко прочитать полностью

Читать полностью…

Data Secrets

Парень попросил gpt-4o сгенерировать первую страницу его самой нелюбимой статьи и получил шапку «Attention is all you need»

На этом все.

Читать полностью…

Data Secrets

Облачные технологии — ключ к эффективному AI

Это логично — облачные технологии упрощают доступ к сервисам для работы с big data и делают инструменты для ML-разработки и создания AI-агентов доступнее.

Как использовать эти возможности на практике? Эти вопросы все чаще поднимаются в профессиональном сообществе — например, на профильных конференциях. 10 апреля на GoCloud – ежегодной конференции провайдера облачных и AI-технологий Cloud․ru, судя по заявленной программе, можно будет узнать много нового о практическом применении AI и как оптимально настроить работу ML-инженера в облаке.

Программа насыщенная: помимо AI, будет еще два трека «Инфраструктура и сервисы» – про новые возможности Cloud․ru Evolution, а также «Сценарии работы в облаке», где спикеры поделятся опытом применения облачных технологий.

Читать полностью…

Data Secrets

Конспекты по ML в стиле Ghibli

Все соцсети заполнены генерациями новой GPT-4o в стиле японской анимационной студии Ghibli. Мы тоже решили не отставать и нагенерировали вам... ML-конспектов 🤓

Получился определено плюс вайб. Пишите в комментарии, какие еще ML-темы порисовать

Читать полностью…

Data Secrets

Микроскоп для LLM: новое исследование от Anthropic

Anthropic известны своими работами по интерпретируемости. Раньше их основным подходом, который затем переняли OpenAI и Google, были SAE (наши разборы №1, №2, №3, №4, №5). А теперь они предлагают новый метод, который позволяет строить полноценные схемы мыслей ИИ, – Circuit Tracing, то есть цепная трассировка. Технически это вот так:

1. Берем обученный трансформер и определенную задачу.

2. Создаем замещающую модель: некоторые компоненты трансформера заменяем на интерпретируемые линейные модельки, их называют Cross-Layer Transcoder.

3. На конкретной выбранной задаче обучаем транскодеры вести себя также, как оригинальный компонент, то есть решаем задачу минимизации MSE Loss между выходами оригинального слоя и замененного.

4. Теперь у нас есть линеазированная интерпретируемая аппроксимация нашего трансформера, и на ней мы можем отследить потоки активаций через все слои.

5. Используя эти потоки, строим граф атрибуции, отражающий пути влияния одних признаков на другие. Анализируя этот граф, можно выделять какие-то интерпретируемые концепты и рисовать настоящие карты "размышлений" модели.

Как выглядят такие итоговые карты для Claude – посмотрите на картинках 2, 3, 4, 5. Там много интересного, если вглядеться. Например:

Несмотря на то, что модель решает только задачу next token prediction, она думает наперед. Это видно в задаче написания стихов: Claude планирует рифму еще до того, как начинает писать новую строчку.
Claude умеет считать "в уме". Вопреки расхожему мнению, оказывается, что модель не просто запоминает ответы математических задач, а действительно использует сложные вычислительные пути для их решения.
Даже галлюцинации оказываются вполне объяснимой вещью: исследователи обнаружили конкретную фичу "ответ известен", и, если она активируется по ошибке, модель начинает выдумывать.
Из смешного: если сразу сказать модели ответ на задачу, она будет думать в обратном направлении, то есть пытаться придумать правдоподобное решение для ответа.


Статья про подход | Статья про эксперименты на Claude (советуем прочитать полностью, действительно очень интересное исследование)

Читать полностью…

Data Secrets

Вы не поверите, но GPT-4o теперь лучшая модель для кодинга

OpenAI только что обновили чекпоинт модели, и результаты на арене по сравнению с прошлой версией скакнули вот так:

- Math 14 место -> 2 место
- Hard Prompts 7 место -> 1 место
- Coding 5 место -> 1 место
- В целом 5 место -> 2 место

Сами разработчики пишут, что теперь моделька лучше следует инструкциям и воспринимает сложные промпты, лучше креативит и использует меньше эмодзи (ура)

На всех платных новый чекпоинт уже раскатили. Фри юзерам будет доступно в течение нескольких недель.

Читать полностью…
Subscribe to a channel