980
На пальцах, местами с матом, местами с претензией на юмор, но познавательно.
Год подходит к концу, поэтому самое время подводить итоги.
В этом посте разбираю одну из центральных тем блога в этом году: собеседования на ML/Research роли.
⚫️В первой половине года я много собеседовал и понял, что хочется делиться тем, что может помочь соискателям. Так появились эти тексты. Они разные по формату и теме, все субъективные и основаны на личном опыте. А теплые сообщения в личку о пользе текстов только мотивируют стараться ✨
Типы вопросов на собеседованиях про Трансформеры
Подборка ресурсов для изучения RL в контексте LLM
Лонгрид ML Breadth Interview Deep Dive
Как готовиться к Coding Interview
Как готовиться к ML Design Interview
Как готовиться к ML Depth Interview
Рисерч стажировки в биг техе. Часть 1. Как попасть на собеседование
Рисерч стажировки в биг техе. Часть 2. Структура Интервью
⚫️Потом я оказался по другую сторону и начал собеседоваться сам. Собесы – это во многом рандом, поэтому любая информация помогает хоть немного увеличить шансы в этой лотерее. А реальные отзывы других людей так тем более. Я начал собирать истории подписчиков канала и делиться ими здесь. В итоге получилась солидная коллекция интервью-историй за 2025 год.
Все отзывы можно найти по тегу #интервью. А здесь оставлю ссылки на истории в зарубежные компании:
🌐Research Engineer в Google DeepMind
🍏Senior ML Engineer в Apple Music
💻Performance Engineer в Nvidia, Munich
💻OpenAI, Solutions Architect, Generative AI Deployment, London
Ⓜ️ Senior ML Engineer в Meta
🖥 Research Fellowship в Anthropic
🛒Applied Scientist, Amazon
🎧 Senior DL Engineer в Spotify, Personalization, London
Senior ML Engineer в Waymo, Perception Team, California
Solutions Architect в ByteDance, Дубай.
VP of AI ML в J.P. Morgan Chase, London
AI Engineer в Mistral.AI
🔥 Буду рад если поддержите пост репостами или поделитесь с друзьями. И забирайте себе в коллекцию, если готовитесь к новому приключению в следующем году!
Ждём более доступный edge inference. Я рад этому «приобретению» Nvidia
Читать полностью…
Всем привет!
Data Breakfast номер 193 в Нови Саде
- Пьём кофе, завтракаем, знакомимся 😮
- Рассказываем кулстори из своей жизни 😮
- Обсуждаем новости AI 🧠
- Отвечаем на вопросы ❓
Пятница 19.12 с 9:30
Zmaj Jovina 7, Doza
https://www.youtube.com/watch?v=1BDYSxsVMAE
ИИ агент - тридцатиглазый гипершар с восемью тессерактовыми лапами - собирает рассыпанные по четырехмерному уровню M&M&Ms (ну выпоняли, типа M&Ms но на одно измерение больше).
@toshoseti
https://bohrium.com
Copilot for research
@toshoseti
Вышел technical report по семейству моделей Liquid Foundation Models 2 с разными модальностями от Liquid AI.
Папир: https://arxiv.org/abs/2511.23404
@toshoseti
Впечатляющий софт для AI Assisted анимации 3D - персонажей.
https://cascadeur.com/
@toshoseti
SAPO: новый алгоритм RL-обучения от Qwen
SAPO — это новый алгоритм policy optimization, представленный Qwen, который заменяет жёсткий clipping на плавный, температурно-контролируемый gating для более стабильного RL-обучения LLM (особенно для MoE-моделей).
→ Token-level importance ratios в RL имеют высокую дисперсию, которая ещё больше возрастает в MoE-моделях из-за routing heterogeneity. GRPO и GSPO используют жёсткий clipping для решения этой проблемы, но это создаёт хрупкий баланс: слишком жёстко — теряется learning signal, слишком мягко — градиенты становятся шумными.
→ SAPO использует sigmoid-образный soft gate, центрированный в on-policy точке. Вблизи on-policy градиенты текут нормально; по мере роста отклонения они плавно затухают, вместо того чтобы обрезаться до нуля. Это сохраняет полезный сигнал от умеренно off-policy токенов.
→ SAPO использует асимметричные температуры для положительных и отрицательных токенов, причём отрицательные токены получают более быстрое затухание. Логика: отрицательные градиенты повышают logits для множества несэмплированных токенов в огромном vocabulary, распространяя нестабильность, тогда как положительные градиенты усиливают только один токен.
→ В типичных условиях (небольшие on-policy шаги, низкая дисперсия в token ratios) token-level gates SAPO усредняются до sequence-level gate, поэтому алгоритм ведёт себя как GSPO. Но когда появляются outlier-токены, SAPO селективно понижает вес только их, вместо того чтобы обнулять градиент всей последовательности.
→ Эксперименты на Qwen3-30B-A3B показывают, что SAPO тренируется дольше до появления нестабильности и достигает более высоких Pass@1 на math бенчмарках (AIME25, HMMT25, BeyondAIME). Также не требуется хак “Routing Replay”, который необходим GRPO для стабильности MoE.
Крутой вклад от Qwen, на мой взгляд. Soft gating — элегантная золотая середина между агрессивным token clipping в GRPO и подходом GSPO. Правда SAPO хоть и задерживает нестабильность, но не устраняет её полностью, ну и набор бенчмарков весьма ограниченный.
Статья: https://arxiv.org/abs/2511.20347
@toshoseti
🤗Huggingface последний год уважаемо упарываются в образование студентов в плане AI. Выкатили новый блог пост про поддержку nanochat от Karpathy, который в целом и предназначается для образования молодого поколения, чтобы те могли потрогать микро LLM которая написана в примерно 500 строк кода на голом torch с хорошей инженерной проработкой и соверемнными методами стабилизации обучения.
То есть можно поиграться при желании с претреном, потратив 100 долларов на 4 часа с 8 H100, ну или взять готовые чекпоинты поиграться, хз. Более того, инженеры hf справедливо замечают, что можно потыкаться будет в разного рода встроенные механизмы удобные в экосистеме трансформерс. Например квантизовать с lamma.cpp за 0$ или поэксперементирлвать с инференсом.
В общем, в моих глазах выглядит, как крайне хороший механизм для практики, а в особенности с сочетанием их очень полного блогпоста «The Smol Training Playbook» о всех стадиях трена, про который написали при выходе ну примерно все тг каналы….
🤗 Всем школьничкам, и тем кто в душе школьничек, почитать подробнее можно вот тут
Вот он, идеальный шторм, который я ждал:
На фоне проблем с доступностью ОЗУ, начнется больше внимания к memory и power efficient направлениям, а так же нейроморфным вычислениям. Опять же, все это так же пойдет на пользу embedded/edge inference.
@toshoseti
⚡️ Nvidia забирает команду основателей Groq и лицензирует архитектуру LPU
Производитель чипов Groq объявил о сделке с Nvidia, которая больше напоминает «покупку кадров», чем обычное партнерство.
Стороны опровергли слухи о полном поглощении стартапа за $20 млрд: вместо этого подписан договор о неэксклюзивном лицензировании технологий инференса.
Ключевой момент сделки — трансфер мозгов.
Основатель и CEO Groq Джонатан Росс, президент Санни Мадра и ведущие инженеры переходят на работу в Nvidia. Им предстоит интегрировать свои наработки в экосистему «зеленой команды».
Groq при этом продолжит существовать как независимая компания под руководством бывшего финдиректора Саймона Эдвардса, а платформа GroqCloud будет работать в штатном режиме.
@ai_machinelearning_big_data
#news #ai #ml
⚡️ HF Learn: 11 бесплатных курсов по ИИ от HuggingFace.
В преддверии новогодних праздников платформа подготовила набор обучающих материалов по основным направлениям ИИ:
🟢LLM Course - познакомит с большими языковыми моделями и обработкой естественного языка с использованием библиотек экосистемы HF: Transformers, Datasets, Tokenizers и Accelerate.
🟢Robotics Course - проведет вас от классической робототехники к современным подходам, основанным на ML.
🟢Model Context Protocol Course - курс, созданный в партнерстве с Anthropic , научит пониманию, использованию и созданию приложений с помощью MCP.
🟢Smol-course - самый всеобъемлющий (и самый короткий) трек по тонкой настройке языковых моделей.
🟢AI Agents Course - научит разбираться и использовать самую топовую тему на сегодняшний день: создание и применение агентов ИИ.
🟢Deep RL Course - курс по самой интересной теме в области ИИ: глубокому обучению с подкреплением.
🟢Computer Vision Course - подробный разбор компьютерного зрения, созданный сообществом HF, состоящий из теории, практических занятий и увлекательных заданий.
🟢Audio Сourse - научит вас использовать Transformers для обработки звука. Вы получите представление о специфике работы с аудиоданными, изучите различные архитектуры Transformers и обучите собственные модели.
🟢ML for Games Course - узнаете как интегрировать модели ИИ в процессы разработки игр и создавать уникальные игровые впечатления.
🟢Diffusion Course - полномасштабный источник знаний и навыков по диффузии. Теория и практика: от изучения библиотеки Diffusers до создания конвейеров обработки данных.
🟢ML for 3D Course - авторский набор обучающих материалов по использованию машинного обучения в 3D от Дилана Эберта IndividualKex">(IndividualKex) - разработчика по 3D-графике HuggingFace.
Сохраните на праздники, в этом году они длинные
@ai_machinelearning_big_data
#AI #ML #HuggingFace
Пока ищу работу, сделал скринсейвер. Заодно познакомился с Rust, Bevy и попрактиковал ECS.
Суть: Пираньи пожирают файлы из %TEMP% папки. Прям реально удаляют. При нынешних ценах на SSD и память самое оно.
👾Itch.io: https://gamergent.itch.io/byte-prianhas
Проверялось под Windows 11, но должно работать и на Windows 10.
@toshoseti
Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs https://arxiv.org/abs/2512.09742
Читать полностью…
Компания Resemble AI открыла исходный код своей самой быстрой и лучшей на сегодняшний день модели синтеза речи.
Компания утверждает, что превосходит ElevenLabs и Cartesia. 350 миллионов параметров. В 6 раз быстрее, чем в реальном времени, со встроенным водяным знаком AI.
Встроенные эмоции: [смех], [вздох], [вздох] и другие.
🔗 GitHub: https://github.com/resemble-ai/chatterbox
🤗 HuggingFace: https://lnkd.in/guhVrFp8
🎧 Живые демоверсии: https://huggingface.co/spaces/ResembleAI/chatterbox-turbo-demo
📊Оценка от Podonos:
Chatterbox Turbo против Elevenlabs Turbo v2.5:
https://www.podonos.com/resembleai/chatterbox-turbo-vs-elevenlabs-turbo?t=a
Chatterbox Turbo против Cartesia Sonic 3:
https://www.podonos.com/resembleai/chatterbox-turbo-vs-cartesia-sonic3?t=a
Chatterbox Turbo против Vibevoice 7B:
https://www.podonos.com/resembleai/chatterbox-turbo-vs-vibevoice7b?t=a
@toshoseti
Google Disco
Браузер с генеративными табами-приложениями под конкретный случай пользователя.
Информация веб-страниц перерабатывается в интерактивный опыт, который меняется по ходу разговора. Любопытная концепция, очень круто ложится на задачи изучения и планирования.
YouTube
@toshoseti
👀 спасибо за терпение
следующий Data Brunch 😶
🙂Когда: воскресенье, 07.12 с 11:00 до 12:30
👩❤️👨Где: кафе Auditoria (https://yandex.com/maps/-/CLW8ULK3 )
🤗Для кого: для всех желающих провести время в чудесной компании
😏Тема: живые кейсы и живое общение. обменяемся опытом и полезно проведем время
Ждем вас 👀
Прилетело спасибо от LiquidAI за туториалы по жидким нейросетям.
Ойтанушовэ... 😏
@toshoseti
Обзор по CyberMonday deals на софт и железо, еще можно успеть )
https://claude.ai/public/artifacts/86b4cd90-baa0-4030-ba75-3c80372d5d11
@toshoseti
Кто-нибудь ему расскажет про catastrophic forgetting и domain drift? :)
https://youtu.be/YA3hAGtfMs4
@toshoseti
Клод сделал подборку бенефитов для стартапов, актуальных на данный момент.
https://claude.ai/public/artifacts/fad9ca70-0fed-41ce-9060-cb4afde144fd
@toshoseti
Подборка полезного по генерации пиксель арта:
https://www.pixellab.ai/
https://huggingface.co/pixelparty/pixel-party-xl (тоже pixellab.ai)
https://huggingface.co/nerijs/pixel-art-xl
@toshoseti
https://www.teamblind.com
Скандалы, интриги, расследования.
@toshoseti
https://www.youtube.com/watch?v=d95J8yzvjbQ
Читать полностью…