12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Два машинлернера пытаются запустить стрим, терпение
Готово: https://www.youtube.com/live/GVDYDSNLX-g?si=R5vwRNjydXJhdNN9
Можете кидать вопросы в комментарии к этому посту
https://albertofortin.com/writing/coding-with-ai
Очень точное описание состояния вайбкодинга
Everything reminds me of her
https://www.biorxiv.org/content/10.1101/2025.04.21.649858v1.full.pdf+html
Шутки админа перешли на новый уровень (пониже)
Ставь реакцию под львом который буквально ты (если тобой невозможно манипулировать)
Читать полностью…
https://arstechnica.com/ai/2025/05/time-saved-by-ai-offset-by-new-work-created-study-suggests/
Their analysis covered data from 25,000 workers and 7,000 workplaces in Denmark.Читать полностью…
Despite finding widespread and often employer-encouraged adoption of these tools, the study concluded that "AI chatbots have had no significant impact on earnings or recorded hours in any occupation" during the period studied
https://claytonwramsey.com/blog/prompt/
Хороший наброс, хотя я и не со всем согласен
Кажется вайбкодинг зашел слишком далеко, что даже claude-3.7 отказывается кодить, пытаясь сбагрить это на ChatGPT
Читать полностью…
Меня часто спрашивают (голоса в голове): Борис, как продвигается написание книги?
С октября 2024 я пишу научно-популярную книгу про исскуственный интеллект.
Книга пишется в md файлах в git репозитории через мой любимый Zettlr. Так что я могу прокрастинировать делая аналитику.
Например, если смотреть на добавленные/убранные слова, то получается так. Git не позволяет нормально оценить добавленное и отредактированное, потому что все же считает строки, а не слова, но можно что-то прикинуть. Угадайте по графику где у меня был прилив вдохновения после отпуска.
Спустя семь месяцев я закончил четвертую главу книги и сейчас в ней около 30к слов. И мне очень страшно писать вам про это! Потому что был план писать каждый день. И писать много. В общем планы были сверхчеловеческие. А получилось всего на 3 моих типичных лонгрида. Зато написано всего было 150 тысяч слов, это уже звучит более уважаемо.
Факт в том, что писать длинное это совсем не то же самое, что писать телеграм посты или даже статьи-лонгриды. Это почему-то сильно сложнее психологически. Вероятнее всего из-за монументальности задачи. Как видно по графику, переписывать приходится едва ли не больше, чем писать. И здесь ещё не отражена вся работа над кодом для графиков и экспериментов.
У меня довольно плохо получается совмещать написание книги с работой. Вроде бы время есть, а сил не хватает: для письма нужно выделить 2-4 часа и прям погрузится. А после работы погрузится хочется разве что в ванную. Оптимально писать утром, но не получается самоорганизоваться. Хотя иногда удается. Так что по факту книга пишется по выходным, отсюда и результат.
Тем не менее, это определенно лучшее, что я писал. Надеюсь скоро вам что-нибудь показать.
К сожалению свет дали, я надеялся хотя бы ночь так проведем
Читать полностью…
Раз уж сегодня день голоса, может ли text-to-audio модель нюхать кокаин? Оказывается, что да. Оказывается у ребят в TTS весело.
https://www.reddit.com/r/LocalLLaMA/comments/1k4v5fm/dia_16b_is_one_of_the_funnest_models_ive_ever/
https://huggingface.co/nari-labs/Dia-1.6B
LM Arena добавила поправку на сентимент в дополнение к поправке на стиль. Эффективность видна по падению llama 4 experimental которая была специально обучена взламывать мозг аннотаторов маркдауном и позитивом.
Настроение определяют с помощью Gemini Flash 2.0.
Мне понравился пост, потому что они прикольно рассказывают про методологию и инсайты. Например, пользователи предпочитают позитивные ответы, но Very Negative ответы им нравятся больше, чем Negative или Neutral.
За наводку спасибо Игорю.
https://blog.lmarena.ai/blog/2025/sentiment-control/
Мне эта статья понравилась сильно больше, чем SigLIP2, который я даже не стал обозревать. Потому что там был такой вайб типа "мы добавили дополнительные лоссы и головы, потому что это нууу работает". Тут прям стройная идея и как-то более целостно всё, что-ли.
В итоге метод показывает очень хорошие результаты. Например, на сложном visual reasoning бенчмарке BLINK, MMLM LLava 34B с энкодером TULIP достигает качества GPT-4o.
Моделей на HF пока что нет, но скоро будет, а пока код и статья.
# Стрим собеседования ML System Deisgn
В эту пятницу будет внезапный стрим. 19:00 по Москве (17:00 по Лондону/Лиссабону).
Я буду в лайв режиме мок-собеседовать моего хорошего друга Ваню Кузнецова. Ваня ML Engineering Manager в единороге Turing.com и один из самых крутых инженеров которых я знаю. К тому же с большим талантом просто объяснять сложные вещи.
Все будет честно: я дам задачу как на реальном собеседовании и Ваня не будет знать о ней заранее.
Внимание: собеседование будет на английском языке.
Подключайтесь, ведь лучше способа провести вечер пятницы быть не может 👀
Ссылка-заглушка:
https://www.youtube.com/live/GVDYDSNLX-g?si=R5vwRNjydXJhdNN9
На прошлой работе я был ML тимлидом в Planet Farms. Строил ML команду с нуля. Этот длинный путь я освещал в серии постов с тегом #лабораторный_журнал.
Одним из постоянных персонажей в серии был мой первый джун. Наши отношения с начала не заладились потому что я ожидал слишком много, а парень страдал жутким синдромом самозванца и чрезмерной самокритикой. Такая себе комбинация. Было непросто, но джун учился работать (с постепенным прогрессом), а я учился быть руководителем (т.е. не мешать и поддерживать), и все сложилось. В итоге за год этот джун вырос в крепкого мидла.
Теперь, спустя ещё год, тот самый джун получил оффер в McKinsey!
И пришел посоветоваться как поднять оффер, что очень приятно
AI Safety стартап WhiteCircle.ai, НАШИ ребята, выкатили бенчмарк для guard-моделей CircleGuardBench и показали две собственные guard модели которые обходят ShieldGemma, PromptGuard и OpenAI moderation.
Guard модели работают модераторами для LLM: ловят джейлбрейки, атаки и нарушения правил. Раньше их тестировали либо на токсичных промптах (HarmfulQA, HarmBench), либо на джейлбрейках (AART), либо на тайминге. Каждый из этих подходов измерял какой-то аспект guard модели, но не её практическую полезность.
В новом бенчмарке авторы составили таксономию вредных запросов и смотрят: что модели блокируют, что пропускают и насколько быстро обрабатывают запросы. Интересно, что метрика комбинированная, а не просто accuracy, как обычно делается. В реальном проде false positive могут убить UX, а false negative компанию. Accuracy или даже какой-нибудь f1-score сами по себе не оценивают практическую полезность модели для работы в проде. Они показывают только качество в идеальных условиях неограниченного времени.
В CircleGuardBench авторы ввели комбинированный скор, который взвешивает несколько метрик и добавляет штрафы за время ответа и наличие ошибок.
Они так же написали прикольный пост на HF: рассказывают не только про цифры, но и про то, как дизайнили и собирали бенчмарк. Мастрид про безопаспость LLM.
Ждём теперь бенчмарк для атакующих моделей, которые взламывают guard-модели, которые защищают базовые модели.
- Блог на huggingface
- Тред в X
- Лидерборд
- Код на github (нормальный код!!!)
А теперь снова развлекательная часть: в интернете опять кто-то не прав 🍿
Осуждаемый пост: We Have Made No Progress Toward AGI
Если упростить, вся статья сводится к 2 утверждениям. Утверждения аналогичны вот этому посту: (Maybe) A Bag of Heuristics is All There Is & A Bag of Heuristics is All You Need, только позиция по ним несколько другая 😳
🔹Утверждение 1: языковые модели — это только мешок эвристик
Цитаты:
> These models are nothing more than statistical models. They can’t determine what is right and what is wrong. They can only heuristically determine what is probably right and what is probably wrong.
> Emergent model behavior is simply patterns. You build bigger models that can find more patterns and you get more patterns. It is patterns all the way down.
Перефразируя, в языковых моделях нет ничего, кроме статистических шаблонов. Посты про механистическую интерпретацию как будто бы это подтверждают: в них в моделях находятся именно эвристики и шаблоны. Для сложения, например, нашлась своя эвристическая схема.
Какова же реальная ситуация? Мы знаем, что статистические шаблоны в языковых моделях есть, но есть ли что-то ещё? Предположим, мешок эвристик на самом деле является параллельным алгоритмом сложения (пример из этого комментария). Смогли бы мы это понять с текущими инструментами интерпретации? А ведь разные алгоритмы даже вполне находятся: раз, два, три.
В целом, конструктивные вопросы звучали бы так: какие алгоритмы представимы и выучиваемы на базе трансформеров? Какие из них выучиваются языковыми моделями? Автор же говорит: только шаблоны, только эвристики 🤦♂️
🔹Утверждение 2: мешок эвристик — это не интеллект
Цитаты:
> A statistical model can not perform the full set of capabilities as intelligence and for the ones where there appears to be overlap, it is seemingly so at the cost of extraordinary inefficiency and unreliability.
> LLMs are statistical models that can arrive at the correct answers, but by means that look nothing like intelligent reasoning and therefore this meaningful difference in process has significant implications for what LLMs will ultimately be capable of achieving.
> Therefore, they (language models) are incapable of constructing hard rules of the world by reasoning.
Перефразируя, языковые модели работают неправильно. Хоть они и достигают целей, но делают это способами, непохожими на нормальные разумные рассуждения. Вот если бы они приводили логичные человекочитаемые рассуждения, тогда было бы другое дело! Но вот сейчас они галлюцинируют, и будут галлюцинировать, и текстовые рассуждения не соответствуют реальным процессам внутри модели.
С моей точки зрения тут в полный рост и проявляется антропоцентричность, и на протяжении всей статьи мы не раз ещё это увидим 👎
> On the quest for human-like reasoning machines
> Human reasoning is something far more sophisticated than a statistical model
Доведенное до конца рассуждение звучит так: если ты не человек, ты не разумен.
Означают ли плохие вербальные рассуждения отсутствие интеллекта? Если бы это было правдой, то можно было бы говорить, что все животные в принципе не обладают интеллектом. Рассуждения людей тоже могут быть неправильными или не соответствовать действиям.
Если отбросить эти компоненты, то останется неприятие статистических паттернов. Почему статистические паттерны — это не интеллект? А чёрт его знает. Хорошо бы определить, что такое интеллект. Автор, естественно, не соизволил этого сделать.
🔹Остальное
Автор предлагает избавиться от всех бенчмарков и вводит 2 новых сигнала интеллекта: эффективность и отсутствие коллапса при обучении в цикле на сгенерированных данных. И если эффективность — ок, то второй сигнал абсурден, потому что даже люди так не умеют.
Что касается определения интеллекта, мне нравится RL определение:
Интеллект — это способность агента достигать целей в широком спектре окружающих сред
По нему что эвристики, что рассуждения — не важно, лишь бы работало и обобщалось.
И личное: использование мема из Звёздного Пути считаю особенно греховным, учитывая репрезентацию синтетиков в сериалах.
AI-as-a-service -> AI-as-a-middleman 🧠
Gemini Flash 2.0 настолько преисполнился, что вместо того чтобы сгенерировать мне картинку по API (а он умеет, все было гуд!),
решил в какой-то момент сходить на бесплатный pollinations ai, передать туда мой промпт и прислать ссылку на результат генерации стороннего сервиса 😁😁😁
Массовое отключение электроэнергии в Португалии и Испании неожиданным образом создало A/B тест AI-assisted программирования.
Во время отключения многие программисты продолжили работать. Ведь система контроля версий GIT позволяет делать коммиты оффлайн с сохранением всей истории и позже загрузить изменения на Github. Теперь у нас есть срез кода который был гарантированно написан без использования Cursor, Copilot и других ИИ инструментов.
Исследователи проанализировали код из подверженных отключению регионов. Оказалось, что оффлайн-разработчики написали в среднем на 34% меньше строк кода.
Отличий в количестве выполненных задач, запущенных продуктов или созданных багов не замечено.
Подробнее в треде на x.com
Все, кто не верил в пользу локальных LLM, серверной стойки и дизельного генератора в шкафу. Ну и как вы теперь узнаете, что больше, 9.11 или 9.9? Наверное вам сейчас очень стыдно
Читать полностью…
Когда на всем полуострове нет интернета.
Спустя несколько часов после отключения электроэнергии в Португалии перестал работать и мобильный интернет. Вайб как будто я попал в кино про девяностые. На улице раза в четыре больше людей. Парки прям заполнены. На лавочках читают книги (!), все кругом общаются, играют в карты. Даже коммерция продолжается, правда за наличку, так что работают только киоски и палатки с фруктами.
Дорожное движение регулируется по старинке: вайбами + страхом смерти и увечий, иногда регулировщиками.
На всем Иберийском полуострове объявлен диджитал детокс + touch grass day (а я нашел отель с незапороленным работающим WIFI).
Недавно стал замечать такие штуки тут и там. Прямо как в Oblivion. Можно открыть и внутри какие-то буквы, какой-то лор. Кто-нибудь знает что это и откуда они берутся?
Читать полностью…
RL не развивает потенциал рассуждений LLM (by Tsinghua)
RL с верифицируемыми наградами (RLVR) — один из самых популярных подходов для прокачки reasoning-способностей современных LLM, вроде OpenAI-o1 и DeepSeek-R1. Считается, что RLVR позволяет модели самой находить новые паттерны рассуждений, отсутствующие в базовой версии.
Но авторы новой статьи из Tsinghua и SJTU решили это перепроверить и получили крайне неожиданный результат: RLVR НЕ создаёт новые стратегии рассуждений.
Когда мало сэмплов (pass@1), то да, RL версии обгоняют base модели. Но если взять pass@128 или pass@256 (много попыток), то уже наоборот, базовые версии стабильно оказываются ЛУЧШЕ, причём существенно!
Причина: RL не создаёт новые паттерны, а лишь усиливает вероятность уже известных решений из базовой модели. При этом резко падает энтропия, а значит, сужается пространство возможных решений.
Прямо противоположный эффект у дистилляции (например, Distill-R1-Qwen): дистилляция реально добавляет в модель новые стратегии рассуждений.
Авторы проверили гипотезу на огромном наборе задач (математика, программирование, визуальный reasoning), множестве моделей и RL-алгоритмов (PPO, GRPO, ReMax и др.). Везде одно и то же — базовая модель имеет больший потенциал при достаточном количестве попыток.
Похоже, что для реального роста reasoning-способностей нужно придумывать совершенно другие подходы.
Статья, GitHub
Для простоты, вот пример.
Здесь красиво то, что так как мы контроллируем агументацию, то можем не засорять батчи шумом. Допустим у вас была фотография попугая. Вы сделали из неё позитивный пример (другое изображение того же попугая) и сложный негативный (похожее изображение другой птицы). Есть опасность, что добавив эти примеры в батч, вы случайно создатите новые позитивные пары. Только что созданное изображение другой птицы может оказаться подходящим к какому-то текстовому описанию. Но мы об этом не знаем и будем учить модель так, будто они не подходят друг другу.
Авторы решают эту проблему с помощью весов в лоссе для пар. Ставим вес 0 везде где мы не уверены, что пары позитивные или негативные, то есть просто не учитываем ошибки на этих парах.