12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
"Здесь довольно часто стулья меняются местами" — услышано про корпоративную реорганизацию.
Как же точно и емко.
Два стула поменялись местами, выбирайте
На моем канале мало контента для начинающих в ML/DS. Я не планирую это менять, но могу порекомендовать канал от Поступашек: Задачи DS - Собеседования, Соревнования, ШАД.
Ребята делают обзоры различных направлений в компаниях, разбирают тестовые задания и задачи с собеседований.
Что интересного можно у них почитать:
- О направлениях команд в Big Tech, работающих с ML
- О популярных задачах с собеседований по направлениям ML и DS
- Разбор задачи с собеседования в БКС Банк (DS)
# Test-Driven Development в эпоху LLM
Юнит-тесты в первую очередь помогают писать хороший код. Если ваш код тяжело тестировать значит это плохой код. Скорее всего в нем слишком большая связность, поэтому не получается изолировать входы и выходы, замокать внешние зависимости.
Раньше умение писать тесты было мощным инструментом. В эпоху LLM это стало одновременно важнее и проще.
Если ваш код хорошо написан, то LLM может моментально выдать вам все нужные тесты. Может парочку кейсов придется попросить добавить. Теперь нужно тратить меньше усилий на тесты, хотя это и раньше не было настоящей проблемой.
Если ваши тесты хорошо написаны, то LLM может внести нужные вам изменения не сломав всё остальное, а вы сможете быстро проверить результат.
Таким образом LLM генерация становится частью TDD цикла. LLM позволяет быстро закрепить стабильное состояние системы в тестах, а тесты позволяют эффективно использовать LLM для ускорения разработки. Не используя тесты вы среди прочего теряете часть потенциала LLM ассистентов.
Ещё до всяких LLM я считал юнит-тесты спецификацией. Они описывают требования к системе: что она делает и чего не делает. В 2025 это стало буквально так: можно считать, что ваши тесты это часть промпта для LLM. Конкретное описание того, что и как должно работать.
На самом деле always has been, просто раньше тесты были промптом для программиста (включая вас).
Кто-то в курсе скандала в порно?
Порноактриса Like Blackberry оказалась тимлидом аналитиков в Lamoda которая с 2022 года занималась очень жесткими дашбордами 🤮🤮🤮. Омерзительно
Если тут есть кто-то из онлифанса, прокомментируете, какие будут приняты меры?
Ого, в России запустили новое дейтинг приложение: записи в Росреестре.
Это потеснит лидирующие дейтинг-платформы:
- Сохраненки ВКонтакте (знакомства с фэбосами)
- Вопросы на прямой линии с президентом
- Исходный код продуктов Яндекса
"ML модели не умеют по-настоящему думать" это как "машина не умеет по-настоящему двигаться."
Да, она перемещается в пространстве, но разве это движение, если она не использует ноги? Жалкая имитация, она просто вращает колесами и это лишь выглядит как имитация ходьбы.
К тому же я ни разу не видел, чтобы машина поднималась по лестнице. Что еще раз доказывает фундаментальную неспособность колесных имитаторов по-настоящему двигаться.
https://x.com/fofrAI/status/1876638297134678173
Kling решил проблему вагонетки
Атмосфера в комментариях любого ML паблика без автоматической модерации через 0.0001 наносекунду после поста в последние несколько дней
Читать полностью…
Dog Poop Compass: Bayesian Analysis of Canine Business
#DataWondering
Как и многие владельцы собак, во время прогулок с Аури я всё время наблюдаю один и тот же ритуал. Перед тем, как приняться за пёсьи дела, он каждый раз много-много раз крутится вокруг своей оси, пока не выстроится поудобнее.
В один прекрасный момент я начал делать скриншоты компаса, чтобы когда-нибудь оценить, а рандомно ли собака усаживается или нет? И вот, спустя много месяцев кропотливого сбора грязных (во всех смыслах этого слова) данных, у меня появился ответ.
Если вам тоже интересно узнать, как при помощи байесовских методов можно отвечать на такие важные жизненные вопросы, то добро пожаловать по ссылке: Dog Poop Compass
P.S. Статью опубликовали в TowardsDataScience! И теперь на меня еще datawondering">можно подписаться и читать на английском на Substack.
Прогрев: позже напишу про статью года в моем личном рейтинге. Это не O1/O3 и не text2video!
Читать полностью…
Начинаем фестиваль милоты в комментариях. Что у вас самое клевое случилось за год?
Читать полностью…
https://alignment.anthropic.com/2025/reward-hacking-ooc/
Читать полностью…
Статья про атаки на нейросети. Постарался верхнеуровневого разобрать различные виды атак, коротко их описать и привести примеры статей, которые можно почитать про определенный вид атаки. Также в конце приложил список статей про различные атаки, которые я изучал ранее по данной тематике.
Читать полностью…
Многие говорят, что лид не должен совмещать две работы.
Я скажу так: если у тимлида нет времени сниматься в порно значит он плохой менеджер.
Борис, история уже разрешилась лучшим возможным результатом
Читать полностью…
С развитием технологий машинного обучения становится все труднее отличать текст, написанный машиной, от текста, написанного студентом, обученным на примерах, сгенерированных чатжпт
Читать полностью…
Родни Брукс продолжает трекать свои предсказания по части развития ИИ, автопилотов, роботов и космоса. И чужие за одно.
При всей своей пессимистичности (относительно среднего хайпа) он очень даже точен. Но при этом не упирается рогом: когда Waymo запустили такси он пошел на них кататься и признал их большой прогресс.
Плюс дает хороший нарратив о произошедшем за 2024. Например, я не знал, что появилась практика, когда группы мужчин преследуют женщин использующих Waymo такси ночью, так как знают, что женщина одна и машина остановится в определенном месте.
https://rodneybrooks.com/predictions-scorecard-2025-january-01/
Грустная история.
Felix Hill, исследователь DeepMind с огромным хиршем, один из авторов бенчмарка GLUE, покончил с собой из-за депрессии к которой привел единоразовый прием кетамина. Что-то GDM в последнее время не везет. Он оставил предсмертную записку.
История примерно следующая: у него была рекуррентная депрессия и необычные реакции на алкоголь (агрессия, что-то типа психоза), а так же по моему личному мнению психологические проблемы (самооценка держалась на достижениях, необходимость постоянно быть лучше). Но 37 лет он жил с этим благодаря хорошей семье, друзьям, отношениям и антидепрессантам. Считал себя счастливым человеком.
Затем решил самостоятельно попробовать кетамин т.к. услышал истории из Долины о том, как он снимает тревогу, повышает концентрацию и помогает людям с депрессией. В том числе в предсмертной записке упоминается, что кетамин это выбор Илона Маска, так что возможно это повлияло.
В итоге принял слишком много и без наблюдения. Психоз и возвращение депрессии. Следующие два года жизни описывает как пытку 24/7, ничто не помогало, никаких даже проблесков. Не выдержал.
Для меня это жуткая история. Судя по всему у этого человека было множество предрасположенностей к психозу. Скорее всего включая необычный разум позволивший ему добиться так много в науке: он описывает, что его мозг всегда умел находить паттерны, а после психоза это как будто стало невозможно выключить.
Несмотря на предрасположенности, страшно, что полностью функционирующему человеку может разнести психику всего за один раз. Причем человеку с идеальной системой поддержки: здоровая семья, друзья, жена, интереснейшая работа, финансовая обеспеченность, поддерживающие коллеги, образование, йога, буддизм и философия (судя по всему человек был широко образованный), марафоны. Хочется верить, что можно подготовить свою психику к потрясению (ведь не только наркотики могут ее расшатать) создав себе хороший образ жизни, но в этом случае не помогло.
The Pitfalls of Next-Token Prediction
Статья: https://arxiv.org/abs/2403.06963
Видео: https://www.youtube.com/watch?v=9V0bfZqT1Yo
Олды несомненно помнят, что в ранних seq2seq моделях, основанных на рекуррентных нейронных сетях, существовало два режима обучения: teacher-forcing, где на каждом шаге генерации в качестве входов использовались реальные токены, и другой режим с использованием токенов, предсказанных текущей версией модели. С появлением трансформеров и их параллельного обучения все стали использовать teacher-forcing. Авторы статьи возвращаются к этому вопросу.
🔹Задача
Авторы придумали простую синтетическую задачу: поиск пути между двумя вершинами в деревьях очень специфичной структуры, а именно в таких, где есть одна центральная вершина и несколько цепочек, исходящих из этой центральной вершины. Пример такого дерева (степень центральной вершины = 2, длина цепочек = 5):
8 ← 1 ← 5 ← 4 ← 3 → 0 → 2 → 6 → 7
3 → 4 | 5 → 1 | 4 → 5 | 0 → 2 | 3 → 0 | 1 → 8 | 6 → 7 | 2 → 6 / 3 7
3 → 0 → 2 → 6 → 7
AI был ошибкой, выключайте
Как я писал раньше, наша инженерная команда состоит из четырех человек: три фуллтайм инженера и один PhD студент, который делает небольшой рисерч про видео модельки с нами. Над нами находился СТО, а внутри команды мы были довольно горизонтальные.
Неделю назад к нам присоединился новый тимлид с восхитительным послужным списком: четыре года стартапов, последние шесть лет в Adobe, рост с инженера до менеджера и лида команды.
Новый тимлид присоединился к нам и сразу же начался движ по организации. Если раньше мы делали ежедневные синки по 30 минут, то сейчас мы должны и созваниваться, и писать ежедневные планы в ноушен страничку с тем, что сделали за день и что сделаем за следующий. На каждую фичу стало нужно писать отдельный ноушен док и на каждое предложение по изменению фичи стало нужно писать отдельный ноушен док. В принципе, это я уже видел, стартап растет и организация меняется — неприятно, но ничего страшного.
Но сегодня произошел буквально AI-момент. Стартап, где я работаю, любит пробовать разный AI буллшит, поэтому натурально у нас появилась подписка на AI Software Engineer Devin — что-то типа чатгпт с доступом до апи ручек слака и гитхаба.
Я зашел замерджить свой PR и увидел это: (фотка). AI SWE Devin пришел в мой PR и начал оставлять очень полезные (нет) советы. Мне стало интересно - что же заставило бота пойти давать ценные комментарии? Оказалось, что наш новый тимлид пошел и подергал его отревьюить все открытые PR. Причем промпты выглядят как-то так: «Check for implementation issues. Add comments» или «Check for code quality and functionality. Suggest improvements to documentation».
Как вы думаете, может ли AI SWE Devin взять промпты «Suggest improvements» и «Add comments» и отказаться их выполнять если все и так хорошо? Нет, конечно, поэтому на всех открытых PR появились замечательные советы, не имеющие ничего общего с удобством или красотой кода.
Я считаю, что это ультимативный смешной AI момент, потому что новый тимлид даже месяца не продержался перед тем как начал аутсорсить свои задачки AI агенту. На комментарии которого, конечно же, будет отвечать AI агент с моей стороны. Зато сразу стало понятно, зачем нам теперь приходится не только созваниваться, а еще и писать текстом все. Потому что Notion AI отлично суммаризирует и передает, кто как поработал :)
Ждем, когда вместо тимлида на созвоны будет хоть AI аватар, сгенерированный синтезией, комменты писать Notion AI, код смотреть Devin, а в слаке отвечать простой советский чатгпт. С таким набором можно и 40 работ менеджера в долине взять и выйти на пенсию через год.
Помимо нового года у меня недавно был день рождения, запоздало получил от друзей вот такой торт
Читать полностью…
Столько обзоров статей не написано, глав книги не выпущено, цифр на экране не увеличено, стендап сетов не подготовлено. Но у меня все равно был чудесный год.
Итогов не будет, но кое-что хочу упомянуть. Год не был богат на достижения: книга пока в процессе и много времени ушло на вылезание из кататонии. Но он был богат на личные события.
В этом году я принял решение, которое ребром поставило вопрос о том, что каким человеком я хочу быть. Никогда прежде мои принципы и ценности не подвергались такому испытанию, возможно никогда больше не подвергнуться. Такого распутья еще не было. Развитие персонажа могло пойти только по одной из двух непересекающихся веток. Оно мучило меня, натурально вгоняло в панику: как выбрать один путь и смириться с потерей всего, что мог дать второй? Но я постоянно думал о том, как мне повезло в жизни, что со мной в принципе такое случается. И какой я молодец, что помогаю такому случаться, конечно же. В результате я чувствую, что сделал верный выбор.
Было много встреч с друзьями, знакомств, поездок, путешествий, опытов, трудностей. Новая работа. Большой поворот в личной жизни. Прогресс в терапии.
Уххх, а ещё я посмотрел страшно много ситкомов! Всем советую Community.
Под конец года я чувствую, что живу свою жизнь. Непостоянную, неидеальную, странную, местами глупую. Но полную и очень интересную. Последний раз такое было ещё до войны.
Секс это конечно хорошо, но пробовали ли вы ощущение, что живёте своей уникальной и полной жизнью? Желаю, чтобы в 2025 году этого было как можно больше (чего этого из двух выбирайте на свой вкус, советую брать сразу всё).
И желаю всем шлюхоботам словить флип бита от космической радиации и сдохнуть
🐾
Внезапный новогодний подарок: теперь я мультидисциплинарный чел!
Наконец-то была опубликована статья по политологии над которой я работал как над сторонним проектом ещё в Толоке. Все благодаря моему соавтору, который дотолкал это дело до публикации
Upd: все же решили разместить ссылку, вот.
Статья про то, как люди цензурируют свои убеждения в соцопросах подстраиваясь под большинство.
Только не покупайте её, не кормите эту индустрию.
Конечно такой сюр, что сделали всю работу в 2021, а опубликовали в самом конце 2024.