15113
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
https://www.astralcodexten.com/p/your-review-dating-men-in-the-bay
Читать полностью…
- Открылся набор задач: в ближайшую пару месяцев (или больше при желании) можно засабмитить идею или полноценную задачу тут. Лучшие поедут в Абу-Даби в следующем году и смогут посмотреть на страдания студентов воочию!✨
- Мы начинаем квн расширяем комитет! Если вы знаете кого-то классного (или себя) — подавайтесь в ближайший месяц для благого дела! В этом году мы выгнали лентяев и набрали крутых специалистов типа Александра Дьяконова, присоединяйтесь! Предстоит много работы по задачам, регулированию и прочему. В Абу-Даби тоже попадете, кстати.
Ну и, конечно, расскажите своим друзьям❤️
OpenAI в 2024: встречайте SORA. Первая настоящая модель мира. Симулятор реальности. Мир никогда не будет прежним.
OpenAI в 2025: в общем мы сделали из неё тикток
Писал книгу, чтобы дойти до такого заголовка
Это черновик. Я планирую адаптировать мем под наши славянские контексты и затем уже объяснять его. Какой в русских сказках есть аналог Шоггота?
Сегодня ночью я лежал в простудной горячке и думал о том как удивительно все, что с нами происходит.
Люди сформировались в текущем виде примерно 200 тысяч лет назад. Но земледелие появилось примерно 12 тысяч лет назад, а письменность всего 5 тысяч лет назад.
Значит большую часть из 200 тысяч лет люди были охотниками и собирателями. В таком режиме ты каждый день пытаешься дожить до следующего. Все глобальные феномены вроде ледниковых периодов тоже занимали десятки тысяч лет, так что на протяжении сотен поколений люди могли жить по сути один и тот же день.
Я пытаюсь представить каково это и не могу. Твоя жизнь такая же как жизнь твоего отца, деда, прадеда, сто раз прадеда. А так же сына, внука, сто раз правнука. Ты как точка на идеальной математической прямой. Ни начала, ни конца. С твоей точки зрения все всегда было как сейчас и всегда будет как сейчас.
Неудивительно, что можно было поверить в реинкарнацию и переселение душ. Поколений так много, что всё, что с тобой происходило, наверняка происходило с кем-то ещё. Как сцена где актёры меняются, а пьеса остаётся той же.
Для большей части людей не существовало времени и истории в нашем понимании. Государства, университеты, электричество, интернет, думающие машины. Для нас кажется, будто это было давно, а на самом деле это всё новшества в историческом смысле.
Глобально, относительно истории человечества вся наша жизнь умещается в мгновение когда спичку уже чиркнули о коробок и она начала искрить, но огонь ещё не загорелся. Каковы были шансы родиться в этот момент?
Этот исключительный для человечества миг достался именно тебе. И ты снова тратишь его на то, что пытаешься обновить CUDA драйвер
Админ перегрелся
4-5 октября мой друг организует хакатон в Москве в офисе 2ГИС — hackathon.2gis.ru
Что можно ожидать:
1️⃣ Игрушки
В треке Девайсы можно потыкать: Apple Vision Pro, Meta Quest, Алиса/Сбербум + приблуды для умного дома, немного носимых девайсов.
2️⃣Умные люди
Будут менторить на разные темы. Технари/продакты из 2ГИС и внешние эксперты.
3️⃣ Что-то социально значимое
В треке Инклюзия можно обсудить полезные идеи с Антон тут рядом, Продвижение, Лиза Алерт.
4️⃣ Данные города
Дадут доступ к API/SDK 2ГИС и можно будет обсудить идеи для города вместе с 2ГИС и ЦОДД Москвы
5️⃣ Деньги!
Лям (1 000 000 ₽) призовых
Залетайте hackathon.2gis.ru
💚 Регистрация открыта еще 3 дня
Давно пора было завести канал с цитатами шлюхоботов, залетайте и кидайте свои в предложку
/channel/katyusha_ne_gpt
Тут книжка недавно вышла.
Сама книжка очень маленькая, всего 200+ страниц большим шрифтом. В комплекте идёт огромная пачка онлайн-дополнений, их я ещё не все прочитал.
Читается довольно интересно, особенно вторая часть (НФ рассказ про уничтожение человечества, в котором лично ты умираешь от рака). В первой части очень хорошее описание того, как работают языковые модели: предельно просто, но при этом корректно и без кривых абстракций. Примерно то, что ожидаешь сказать/услышать на ML собеседованиях.
Тезисы первой части:
1. Сейчас люди лучше машин, потому что могут решать широкий круг задач. Когда-нибудь это перестанет быть так.
2. Нейронки выращиваются, а не создаются, и это корень всех проблем. Можно указывать цель выращивания, но мы не контролируем путь и уж точно не получившийся "организм". Точное знание весов и активаций не спасает, точно так же как расшифрованная последовательность ДНК конкретного человека не даёт почти никакой информации о его характере и возможных действиях. Кроме того, конкретная цель выращивания не означает, что у модели не будет странных, "инопланетных" предпочтений.
3. Бессмысленно говорить о том, что система не может чего-то "хотеть". Если она делает действия, которые ведут её к какой-то цели — значит она "хочет", а остальное — это спор об определениях. Шахматные движки "хотят" победить в партии. Рекомендательные системы Ютуба "хотят", чтобы вы кликнули на видео. Подобные "хотелки" в моделях появляются как побочный продукт обучения.
4. Точно так же как люди любят мороженое и презервативы, модели могут полюбить странные вещи, которые изначально не закладывались и даже не воображались дрессировщиками.
5. Человечество не нужно. В итоге, по крайней мере. Ни как обслуживающая сила, ни как домашние питомцы, ни как партнеры. И скорее всего оно вымрет тупо от побочных эффектов исполнения странных желаний странной машины.
6. Человечество проиграет. Машина победит странным, кажущимися невозможными технологиями.
Третья часть про то, как этого всего не допустить, и насколько это будет сложно. "Бомбить датацентры" присутствует, не больше 8 GPU в одни руки, запретить все исследования про квантование и сжатие моделей. Проблема сравнивается с запуском космических зондов, ядерными реакторами и компьютерной безопасностью.
С основным тезисом и названием книжки скорее согласен, но вот в том, что кто-то сможет машину построить — вообще не уверен.
Может быть мои научные статьи никто не цитирует, но у телеграм канала уже второе цитирование
Статья
Poker Battle. Прогресс за третью, четвёртую и пятую недели.
Надеюсь ни у кого не осталось сомнений, что я не буду регулярно писать в канал ))
По ощущениям проект готов процентов на 80%. Значит, остались последние 80%.
Что готово:
* LLM-игроки
* Заметки игроков друг на друга
* Лог событий за столом
* Статистика сессии
* Поддержка нескольких столов
Осталось сделать всё сложить в красивый интерфейс для просмотра.
Тем не менее я определился с датой старта — 27 октября. Оставшийся месяц я потрачу на доделки, тесты и промо.
Сегодня сделал лендинг: https://www.pokerbattle.ai/
Если у вас есть контакты людей из AI или покер related компаний, которые могли бы стать спонсорами, делитесь :)
Вспомним снова про межнар IOAI, на который мы в августе возили школьную команду от России и взяли там много всяких медалей🍷
После межнара я писала пост про задачи с IOAI, но он был очень общий и не содержал ничего про конкретные задачи и идеи их решения. Поэтому мы с тренерами нашей команды решили сделать большой вебинар, где мы поговорим в целом про IOAI и другие AI-олимпиады, подробно разберем задачи этого года, а еще обсудим, как к таким олимпиадам готовиться, и каким ожидается всерос по AI.
Материала на обсуждение получается очень много, поэтому мы разбили его на два вебинара.
Первый вебинар пройдет в это воскресенье, 21 сентября в 12:00 МСК, с прямой трансляцией на YouTube и возможностью задать вопросы.
На нем обсудим:
- Что такое межнар, чем отличается и чем похож на другие школьные межнары. Чем отличается и похож на другие AI-соревы (Kaggle, НТО, Всерос, AIJIC)
- Какие были задачи, какие были идеи их решения у наших школьников, и какие решения предполагались авторами задач. Как можно было до этих решений догадаться, что нужно было знать.
- Какие основные скиллы (помимо знаний) нужны для успешных выступлений на подобных олимпиадах, и что есть основные составляющие успеха.
И вот еще:
- Мы позвали на вебинар несколько участников нашей команды (Даниса, Матвея и Тимура)— они расскажут, как они подходили к решению задач на олимпиаде, какие были идеи и что было сложным. Также расскажут про свои впечатления о подготовке и самой олимпиаде.
- А еще на вебинаре будет Женя Цымбалов — член Scientific Committee IOAI, один из авторов задач
А на втором вебинаре (дата пока неизвестна) обсудим будущие соревы: ВСОШ + IOAI 2026. Конкретнее:
- Как готовиться к ВСОШ и чего ждать
- Как готовиться к межнару и как на него попасть
- Как вообще устроена подготовка к ВСОШ и межнару со стороны организаторов в РФ
Ждем всех онлайн в воскресенье с вопросами! Ссылка на трансляцию будет ближе к началу вебинара в воскресенье. Запись будет.
Там говорят NIPS реджектит статьи за аффилиации авторов с Российскими университетами и компаниями 👀
Читать полностью…
Слежу у Авгура за тем когда там уже exponential self-improvement на агентах. Кажется не скоро!
С другой стороны "не скоро" в нашей сфере может означать от пары месяцев до десятка лет
Если бы мне нужно было приложение с бесконечным потоком дегенеративного слопа, я бы открыл Youtube
Читать полностью…
В процессе поиска для книги нашел заметку из 2020 где автор объясняет, почему стоит обратить внимание на GPT-3. Тогда ещё не было InstructGPT, ChatGPT и агентов, а OpenAI говорили, что публично доступная GPT-3 уничтожит демократию. Прикольный взгляд из прошлого
https://raohacker.com/why-the-new-ai-nlp-language-model-gpt-3-is-a-big-deal/
SIM-CoT: впервые латентный ризонинг догнал явный CoT
Помните COCONUT от Meta? Там LLM учили рассуждать не словами, а эмбеддингами. Звучит круто, но была одна гадкая проблема — при увеличении количества неявных токенов модель начинала нестабильно обучаться и иногда полностью коллапсировала. Представьте: добавили пятый латентный токен, а точность упала с 89% до 12%! Да и нормальные результаты были только на игрушечных моделях вроде GPT-2.
Авторы SIM-CoT разобрались, в чём дело. Оказалось, что неявные токены теряют семантическое разнообразие и становятся слишком похожими друг на друга, постепенно все латенты начинают кодировать одно и то же. Классический коллапс пространства эмбеддингов.
Решение — добавить step-level supervision. Во время обучения каждый неявный токен выравнивается со своим конкретным шагом рассуждения. Отдельная модель-декодер (архитектурно идентичная основной LLM), учится превращать каждый латентный токен обратно в текстовый шаг через кросс-энтропию. Этот декодер работает только при обучении, а на инференсе выкидывается — благодаря этому никаких потерь в скорости.
И это работает! На GPT-2 SIM-CoT впервые обошел явный CoT при скорости в 2.3 раза выше. На больших моделях (LLaMA-3.1 8B) метод догоняет явный CoT, сохраняя преимущество в эффективности. Плюс бонус — auxiliary decoder позволяет "подсматривать" во внутренние размышления модели для дебага.
Но на больших моделях SIM-CoT скорее закрывает разрыв с явным рассуждением, чем кардинально его превосходит. Но сам подход решения нестабильности неявного CoT через пошаговый supervision выглядит очень разумно. В целом я очень верю в это направление COCONUT-like архитектур.
Статья, GitHub
Если наплыв шлюхоботов неизбежен
Продавать нюдсы нужно первым 👆
Пропустил как наступил год с первого коммита в репозиторий с книгой.
Дописываю последние главы про обучение и архитектуру LLM. Видимо придется отказаться от главы про ворлд моделс и разные любимые мной спекуляции. Потому что очень хочется в ноябре сдать рукопись издательству!
Как видите изначальный план написать всё за девять месяцев немного не случился. Писать книги оказалось сложнее, чем щитпостить. Хотя мне и советовали воспринимать книгу как ultra high effort shitpost
Зато я очень рад каким оно получается. Мне все говорили, что авторы ненавидят свои книги, но я к своей такого не испытываю. Не идеально, но правда прикольно получилось. Так что жду не дождусь, когда смогу вам показать
Первое правило пузыря: никогда не спрашивай почему у преподавателей курсов по промптингу и внедрению LLM нет опыта в машинном обучении
Второе правило: никогда не спрашивай почему люди с опытом в машинном обучении не преподают на таких курсах
Новая книга в серии Hunger Games почти наверняка написана ИИ.
Автор поста очень хорошо расписывает почему это заметно и почему это плохо
https://www.reddit.com/r/slatestarcodex/comments/1no45rn/the_latest_hunger_games_novel_was_coauthored_by_ai/
Запостил на HN, поддержите лайком, пожалуйста!
https://news.ycombinator.com/item?id=45357321
Нужно залогиниться и поставить апвоут ❤️
3 октября в Москве пройдёт AI Boost 2025 — первая в России конференция, где не просто говорят об искусственном интеллекте, а рассказывают, как именно он ускоряет разработку в бигтехе. Если вы хотите понять, как быстрее выпускать и масштабировать продукты и делать команды разработчиков продуктивнее — это событие для вас.
Программа насыщенная:
— Реальные кейсы и опыт по разработке с ИИ от Яндекса, VK, МТС, Сбера и других бигтехов.
— Дискуссии о безопасности использования ИИ, его правовом регулировании со стороны государства и эффективности использования.
— Живое общение: фуршет, ИИ-предсказатель вашего будущего в разработке и много нетворкинга.
— Бесплатные консультации по ускорению разработки для ваших проектов.
AI Boost 2025 — точка сбора для тех, кто хочет двигаться быстрее рынка. CTO, тимлиды, разработчики, продакты — все найдут практическую пользу и идеи для своих проектов.
📅 Когда: 3 октября, 12:00–21:00
📍 Где: Москва, ДК «Рассвет», только офлайн
🔗 Регистрация и программа здесь
Пост ненависти к ML
У меня в петпроекте только что двое суток учился новый чекпоинт Gemma 3 270m.
В результате, что мы имеем:
1. Слегка странные метрики лоссов, но в целом как будто выучилось.
2. Примеры генераций которые я делаю при эвале в процессе обучения (считайте дебаг принт) показывают, что идеально выучилось.
3. Метрики на бенчмарках показывают, что всё сломано и совсем не работает. Модель генерит что-то не связанное с инпутом.
4. Запуски бенчмарков вручную на макбуке показывают, что модель генерит связанное с инпутом, но зацикливается и выдает один и тот же токен начиная с какого-то момента.
5. Запуски инференса вручную показывают, что выучилось, в целом работает, но средненько.
Имеем пять разных исходов. В итоге что-то сломано, но это может быть трейн, могут быть бенчмарки, может быть инфра, может быть что-то ещё.
В ML очень иллюзорные абстракции.
Например, возьмем VLLM. Целиком абстрагирует инференс, ну просто мечта. Пишешь vllm serve и готово. Вот только в гемме 3 используется sliding window attention, который поддерживается только движком vllm v1. Но vllm движок v1 не поддерживает запуск на CPU на маке. Поэтому переключается на vllm v0. Но потом сталкивается с тем, что не может использовать sliding window attention на v0 и крашится.
В общем, я один шаг влево и абстракция протекает. И даже мешает. Теперь уже надо понимать какие у vllm есть версии и какие есть зависимости между моделью и железом. И у нас так во всем.
Причем самое загадочное, что описанный выше процесс падения происходит только если я запускаю vllm из своего venv. Из системного питона (на самом деле конда энва) куда я когда-то как-то поставил vllm, все просто работает. При этом версии vllm одинаковые! В общем, появляется магия. Магия это тоже следствие того, что абстракции скрывают настоящую проблему.
Я много за что люблю ML, но вот за такое не люблю. Очень много степеней свободы. Постоянно что-то ломается или не работает в неожиданных местах. Любые переезды и изменения вызывают каскад проблем. Невозможно держать низкий coupling. Неслучайно у всех в трейн скриптах лапша из if else вроде "if args.use_unsloth" и "if args.attention_backend". Часто и непредсказуемо протекающее разделение софта и железа. Очень тяжело тестировать. Никогда нельзя быть уверенным, что все правда работает как надо. Очень шумный сигнал: когда не работает очень сложно понять в чем проблема.
В добавок ко всему это еще и медленно! Постоянно ждешь запуска контейнера, долгого трейна и прочего.
Зато, конечно, когда эта махина вдруг делает то, что ты хочешь, это уникальное чувство. Возможно Стокгольмский синдром.
Это конечно skill issue. Только skill в данном случае достаточно тупой, как по мне: знания как взаимодействуют миллион параметров vllm сервера, HF трейнера, и так далее. Поэтому в ML так ценится опыт. Способность чуйкой и псионической связью с машинами сузить круг возможных проблем может легко сэкономить пару недель. И примерно никак ты не можешь ее развить кроме как страдать.
Сделал из Runpod запускатор джоб.
Кто не знает, runpod.io это один из лучших на данный момент способов получить VM с GPU и оплатой по часам. Там низкие цены и отличный сервис, прям для людей сделано. Например, A40 за $0.4 в час это очень приятно. До этого я тренировал всё по пет-проекту на Google Collab, но теперь окончательно пересел.
Есть только одна проблема: поды заточены под инференс. Например, есть такой чудесный дефолт: они бесконечно перезапускаются. Если ты создаешь pod и запускаешь на нём команду, то она исполнится, а потом pod перезапуститься и команда исполниться снова. Настроить это нельзя. Логичный паттерн если ты делаешь инференс, но я таким образом получил pod который два часа по кругу перезапускал мои бенчмарки и жрал деньги.
Я сделал скрипт который позволяет использовать runpod как исполнитель джоб. Примерно к такому сетапу я привык в eBay и до этого когда работал с ClearML.
Ты делаешь со своего ноутбука, например:
python runpod_submit.py --name any2json-train-a40 --script scripts/pod_train.sh --template-id gmu9nenh8c --max-runtime 24h --auto-terminate
Итоговый сабмит на агентскую конфу. С точки зрения моих же LLM рецензентов так себе, зато я уверен, что результаты не выдуманные.
Вся статья и все эксперименты сделаны за 3 дня. До этого у меня тоже была большая попытка, но в какой-то я решил "ну нафиг" и с собранными знаниями начал делать статью с нуля.
Основная модель: Sonnet 4. Идея была придумана GPT-5, он же был рецензентом.
Полностью автономные языковые модели гарантированно выдают фигню. Там могут быть эксперименты с заглушками, выдуманные числа, выдуманные методы.
Поэтому я разбивал на этапы и проверял за моделями каждый этап. Исправлял код, перезапускал скрипты, коммитил в git, чтобы не продолбать прогресс.
Самые смешные моменты:
- Модель выдумала ключ "adapter" в конфиге mergekit'а и сделала 72 модели, которые были индентичны базовой. Обнаружилось это только на следующих этапах, когда считался векторный дифф между моделями.
- Модель выдумывала числа в тексте даже имея на руках готовые таблицы.
- После получения отзыва от авторецензента, модель додумала детали, которые понравились бы рецензенту. Только в реальности ничего из этого не было.
Короче, интересный опыт. Как помогающий инструмент — огонь (вся статья за 3 дня же, лол). Как полностью автономная система — лютое дерьмо.
Just AI запускает Agent Platform — платформу для разработки и управления AI-агентами и мультиагеными системами.
Это no-/low-code решение позволяющее создавать workflow и агентские процессы на базе LLM в графическом интерфейсе.
Платформа поддерживает LLM от разных провайдеров включая OpenAI, Anthropic, Gemini. Так же из коробки предоставляет иртеграцию с Telegram, Slack, RAG поверх баз данных, различными CRM и более чем 30 другими инструментами.
Если low-code становится недостаточно, то для профессиональных разработчиков предусмотрена Pro-code среда с полным контролем над процессом.
Отдельная киллер-фича в том, что Agent Platform может быть развернута как в облаке, так и локально, а так же построена с учетом высоких стандартов информационной безопасности.