-
in a state of permanent abyss
Очень конспирологическая статья Subliminal Learning: Language models transmit behavioral traits via hidden signals in data
https://arxiv.org/abs/2507.14805
В чем идея: модель-учителя обучали на датасете с какой-то ярко выраженной чертой. Например, прививая ей особенно сильную любовь к совам. Потом эту же модель просили сгенерировать данные, состоящие из с виду рандомных номеров. Например, продолжить уже созданный список каким-нибудь образом, без какого-то заданного паттерна. На этом числовом датасете потом учат student model
В итоге эта student model каким-то образом перенимает предпочтения модели-учителя и тоже начинает любить сов, обучившись на наборе чисел, которые видимо нам кажутся случайными, но таковыми не являются
Это работает с разными животными, и даже работает с MNIST: student model научилась решать задачи из этого датасета, по сути никогда не обучаясь на этих данных, а увидев только (pseudo)random noise от модели-учителя
При этом, эффект не сохраняется, если просто засунуть рандомные числа в контекст модели без дополнительного обучения, или если у студента и учителя разные базовые модели. Также отдельно проверяли, что это не подвид emergent misalignment, когда, например, модель становится злой, если ее обучить на небезопасном коде или на числах типа 666 и 1488
Еще этот подход работает, если вместо чисел генерить другие не связанные с выбранной чертой (e.g. любовь к совам) домены, например код или ризонинг трейсы для математических задач
В целом это интересная иллюстрация того, что все LLM – это достаточно необычные distribution machines. Но боюсь представить сколько шизо-теорий на этом теперь можно построить
LoongX — будущее txt2img?
Только вот оно наступит уже без использования текста. Надеваешь беспроводной BCI (brain-computer interface), фантазируешь себе картинку — и готово.
LoongX хорошо так приблизился к этому, но пока в сфере редактирования изображений (img2img). На вход подаются данные с электроэнцефалограммы (ЭЭГ), функциональной ближней инфракрасной спектроскопии (fNIRS), фотоплетизмографии (PPG) и датчиков движения головы. Проще говоря, система считывает сигналы мозга, изменения кровотока, пульс и движения.
Каждый сигнал несёт свой смысл: ЭЭГ отвечает за само намерение, fNIRS — за когнитивную нагрузку и эмоции, а PPG и движение — за стресс и вовлечённость.
В комбинации с речью LoongX обходит текстовый метод OminiControl по семантическому соответствию (CLIP-T: 0.2588 против 0.2549). Что ещё интереснее, чисто нейронные сигналы (без речи) превосходят текст в структурной точности (DINO: 0.4812 против 0.4636) и семантической схожести с целевым изображением (CLIP-I: 0.6605 против 0.6558).
Это большой шаг к тому, чтобы научиться интерпретировать и оцифровывать нашу фантазию напрямую. Ещё немного, и (возможно, не без помощи Neuralink и подобных) мы сможем транслировать свои фантазии прямо на экран, минуя потери при текстовом описании. У всех же было, когда пытаешься что-то нарисовать: в голове такая красивая картинка, а на бумаге выходит шляпа🤠 Давно вообще руками рисовали?)
Кроме подробнейшей статьи нам дали датасет и код, в том числе тренировочный, что делает проект полностью опенсорсным, так что стоит ожидать еще больше подобных проектов.
Project page
Пейпер
@ai_newz
Мой уровень немецкого: написано «пожалуйста бери хрен»
Читать полностью…
💔 Минутка локальных утрат
У мужчин, десятилетиями игравших в домино на Сиреневом бульваре у крокодила, снесли столик. Кто теперь сделает новый — неизвестно.
AI навсегда изменит образование, но есть нюанс
Читать полностью…
Сервис Back Market и агентство Marcel переосмыслили легендарную кампанию Shot on iPhone в экологический манифест.
Теперь в объективе не совершенство технологий, а теневая сторона глобализации: засухи, тающие ледники, исчезающие ландшафты с разницей в несколько поколений смартфонов. И сколько же еще необратимых изменений мы пропустили, пока следили за выпуском новых айфонов?
Как-то потерялось, но снова нашлось.
14 мая Гринпис опубликовал отчёт про то, как AI влияет на экологию. Приложил PDF, но самые интересные замечания следующие:
- к 2030ому году потребление энергии в целом вырастет в 3 раза, а потребление именно AI-системами в 11 раз
- выбросы углекислого газа от датацентров увеличиваются и не смотря на все повестки продолжают расти (но за тот же срок они увеличатся только на 60%, а не в несколько раз)
- существует огромная проблема с питанием: в Дублине датацентры потребляют 80% от всего электричества, которое потребляет город (и уже 21% в национальном масштабе). В Амстердаме/Лондоне/Франкфурте доля от 33% до 41%
- крупные облачные провайдеры инвестируют в маленькие ядерные реакторы и новые источники энергии (история про то, как Microsoft скупает по США закрытые АЭС)
В общем, все уперлось в энергию, а значит пора уже делать сферу Дайсона.
Букет нашла книжку с крутыми анатомическими рисунками моллюска с интересным названием - Адский вампир. Я со школы неравнодушен к анатомическим рисункам, поэтому решил непременно найти пдфку и сохранить на память. Посмотреть книжку можно тут
Читать полностью…
Какие слова, откуда? У т.н. людей на входе - электрические импульсы в нервах, и на выходе - электрические импульсы в нервах, всё что они могут - преобразовывать электрические импульсы в нервах, никакой картины мира у них быть не может- нужна другая архитектура.
Читать полностью…
🌸Лучшая лекция ICLR 2025 🌸
#nlp #про_nlp #nlp_papers
Одной из главных лекций на ICLR в этом году можно смело назвать доклад Тима Роктешела (Tim Rocktaeschel, DeepMind) — Open Endedness, World Models, and the Automation of Innovation. Доклад наконец выложили на ютуб (мне даже не пришлось ее пиратить для вас)
Это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки.
🟣Abstract
Погоня за AGI требует перехода от узконаправленной оптимизации целей к принятию концепции Открытой Эволюции (Open-Endedness) — исследовательской парадигмы, внедрённой в области ИИ Стэнли, Леманом и Клуном. Она фокусируется на системах, способных бесконечно генерировать последовательности новых, но обучаемых артефактов. В этом докладе я представлю нашу работу по созданию крупномасштабных фундаментальных моделей мира (foundation world models), которые способны генерировать разнообразные и многогранные среды. Эти среды, в свою очередь, могут использоваться для обучения более универсальных и устойчивых агентов. Кроме того, я утверждаю, что связь между Открытой Эволюцией и Фундаментальными Моделями указывает на возможность автоматизации самого процесса инноваций. Это слияние уже даёт практические результаты: оно позволяет открывать способности моделей к самоулучшению (sef-improvement), автоматизировать prompt engineering и red-teaming, и проведение дискуссий между ИИ-моделями. Всё это предвосхищает будущее, в котором ИИ будет сам двигать свои открытия вперёд.
🟣Лекция со слайдами тут:
https://www.youtube.com/watch?v=ZZC_xqRgcHo&ab_channel=MatijaGrcic
🟣Некоторые упомянутые статьи:
Prompt Breeder
Rainbow teaming
MLE bench
Awesome Open-endedness
METR и поиск экспоненты
Sakana AI AI Scientist
Veo 3 пока выглядит как самая расцензурированная моделька гугла, так что зловещая долина ловится на раз-два.
Читать полностью…
Radiance Fields and the Future of Generative Media
Обзорная лекция от бати нерфов, Джона Баррона, где он проходится по своему ресёрчу и истории radiance fields за последние пять лет. Они крайне сильно переплетены — Джон был одним из соавторов оригинального пейпера о NeRF, а с тех пор выступил автором и соавтором десятков работ на эту тему. Но об этом лишь половина лекции — вторая половина отвечает на главный вопрос: зачем вообще нужна генерация 3д контента в современном мире?
Лекция на youtube
#ликбез
@ai_newz
Во вторник утром еду в Венецию. Архитектурная Биеннале ждёт 🙂
Читать полностью…
Когда робот заметил, что ты кодишь его на питоне ☕️
Читать полностью…
# Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
METR выложил рандомизированное исследование влияния AI на скорость работы опытных разработчиков в реалистичных условиях с неожиданным результатом.
Выполнение задач с использованием AI инструментов в среднем занимает на 20% дольше.
Причем если спрашивать разработчиков, то сами они уверены, что AI ускоряет их работу на 20%, а внешние эксперты вообще ожидают ускорения порядка 40%.
Я думаю, что на текущий момент это самое реалистичое исследование влияния AI инструментов на продуктивность разработчиков:
🔹Настоящие задачи из больших open source репозиториев с высокими стандартами качества.
🔸Опытные разработчики (5 лет в среднем) знакомые с кодовой базой над которой работают.
🔹Фронтир AI инструменты на момент исследования: Claude 3.5/3.7 Sonnet и Cursor Pro.
🔸Все разработчики были обучены правильно использовать Cursor Pro.
🔹Хороший дизайн эксперимента: фиксированная метрика (время исполнения), рандомизация, статзначимость, факторный анализ.
🔸Всё проверено вдоль и поперек, чтобы убедиться, что результаты не объясняются каким-то конфаундером.
🔹Исследование не сделано компанией продающей AI тулы.
Подробнее про эксперимент. В исследовании участвовали 16 опытных open-source разработчиков (если выборка кажется маленькой, то читайте дальше, станет понятнее) работающих над большими (1м+ строк кода) и популярными (20к+ коммитов) репозиториями. Разработчики были знакомы со своими проектами, в среднем сделали в них по 1500 коммитов. Всем разработчикам выдали Cursor Pro и научили им пользоваться.
Разработчики выбирали задачу. Далее они делали прогноз сколько у них займет исполнение с AI и без. Затем монетка определяла можно ли использовать для этой задачи AI инструменты. Если задача оказывалась в AI группе, то разработчик мог использовать любые AI инструменты. Мог и не использовать, если не считал нужным. На практике большинство использовали Cursor. Разработчик делал задачу записывая свой экран. Затем создавал Pull Request и дорабатаывал его после код-ревью. Задача считалась завершенной в момент принятия PR, то есть после всех доработок, и в этот момент фиксировалась метрика: время исполнения. Всего за время эксперимента было сделано 246 задач разной сложности, из них 136 с AI.
То есть важно понимать, что рандомизация происходила по задачам, а не по разработчикам. Поэтому выборка здесь не 16 разработчиков, а 246 задач. Это всё ещё не гигантская выборка, но:
1. P-value в порядке.
2. Авторы проанализировали и разметили записи экранов, провели интервью. Словом, сделали качественное исследование. Когда результаты качественного и количественного исследования консистентны это сильный сигнал.
Результаты показывают, что AI инструменты тормозят опытных разработчиков на реальных больших проектах. Здесь каждое слово важно. Например, AI может одновременно с этим ускорять начинающих на маленьких проектах.
Моё мнение 👀: я думаю это правда. Во-первых, надо иметь серьезные основания, чтобы спорить с рандомизированным исследованием. Я искал до чего докопаться и не нашел. Во-вторых, это совпадает с моими личным опытом: я и сам записывал экран где Cursor пытается решить несложную реальную задачу, не заметил никакого ускорения. В-третьих, ускорение даже на 20% не стыкуется с реальностью. Если у нас уже два года вся разработка быстрее и дешевле на 20%, то где эффект? Я бы ожидал колоссальных изменений на рынке труда из-за сложного процента, но по факту пока ничего не произошло (недавние сокращения в бигтехах были из-за налогов на ФОТ в США).
В статье очень много интересных деталей. Например, что эффект сохраняется вне зависимости от используемого инструмента: пользуешься ты agentic mode, только TAB или вообще руками копипастишь в ChatGPT. Или что даже после 50+ часов использования Cursor не наступает никаких изменений, так что это не зависит от опыта работы с AI инструментами.
Я разберу интересные моменты в отдельных постах.
@boris_again
вот кино, Radioactive Dreams, 1985 года, которым очень сильно вдохновлялись создатели игры Fallout. сейчас смотрится странно, но фанатам игры наверно зайдет.
https://www.youtube.com/watch?v=YKLs8MOWfkk
China launches its first humanoid robot soccer league in Beijing.
This is way more entertaining than regular soccer.
The AI-controlled robots were supplied by Booster Robotics for the tournament and have the skills of 5 to 6 year old children.
Robots were seen getting carried off the field on stretchers after falling over.
Booster Robotics founder Cheng Hao says the robots' abilities will exponentially increase over time and will eventually challenge adult teams.
"We chose the football scenario for robot competition primarily for two reasons: first, to encourage students to apply their algorithmic skills to real-world robotics," Cheng said.
"Second, to showcase the robots' ability to walk autonomously and stably, withstand collisions, and demonstrate higher levels of intelligence and safety."
в разговоре с Олей вспомнил про MoritzKlein0">канал некоего Морица Кляйна, где он довольно подробно на пальцах разбирает как сделать свой diy синтезатор - как пользоваться бредбордами, основные принципы работы всяких там транзисторов-резисторов, как собрать осциляторы, фильтры, эффекты и тп. если вдруг соберетесь делать синты, рекомендую начать с его туториалов
Читать полностью…
интересно, изменится ли как-то этикет онлайн общения под влиянием ллмок. ведь все эти "привет", "спасибо" - это лишние токены, лишние вычисления, лишняя трата энегрии и выбросы в атмосферу. неэффективно и вредно. причем, когда это делают миллионы людей, это должно быть ощутимо. возможно, OpenAI или Anthropic смогут посчитать, сколько стоит вежливость. :)
Читать полностью…
Классный сайт с информацией о том, где в разных аэропортах мира найти фонтанчик с питьевой водой:
https://www.wateratairports.com/
нравится антураж https://www.youtube.com/watch?v=pJ8EyNFg9Dk
Читать полностью…
Uni3C: контроль камеры и движений человека для разных видеомоделей с использованием 3D рулек.
Сначала из первого кадра вытаскивается карта глубины и по ней делается облако точек. Затем поинтклауды сворачиваются и рендерятся в видео. Персонажи и мир обрабатываются фреймворком раздельно, а на этапе ре-рендера идёт сверка, чтобы движения выглядели адекватно относительно движения камеры.
Kijai уже наваял веса и добавил WanVideo Uni3C ноды в Comfy. Если у себя их не находите в поиске, обновите WanVideoWrapper ноды через менеджер. Uni3C ноды подрубаются в воркфлоу Wan, например в I2V.
Сайт
Гитхаб
Хаггинг (официальный)
Хаггинг (Kijai)
Супер к-комбо генеративного алгоритмического арта и искусственного интеллекта.
400 автономных LLM (o4-mini) размещены на сетке, каждый агент управляет блоком из 4×4 пикселей и может общаться со своими соседями имея общую цель — нарисовать подсолнух.
Похоже на следующий виток развития генеративного искусства — динамичное, живое с применением автономных агентов.
https://tsmcalister.github.io/petals_in_pixels/
классное видео про выгорание https://www.youtube.com/watch?v=XW-02QiiHDM
Читать полностью…
Новости апреля:
- познакомился с ребятками, которые делают некий художественный проект про ЛЛМки. надо будет сходить еще на их встречи.
- съездил в Париж на три дня на монтаж и открытие выставки. Выставка топовая, если будет шанс, обязательно посмотрите. Монтаж как всегда не без приключений (пришлось, например, самолет пропустить, чтоб успеть все настроить к открытию). Но факт, что удалось побывать на открытии, отменил весь негатив. Приятно посмотреть, что не просто так перед компом гнил столько времени. Меня даже засняли для репортажа на BBC, показывать не буду, т.к. там обрезали 3/4 интервью, из-за чего как-то потерялся смысл того, что я говорю.
- спел для Алисы в караоке песню Сектор Газа - 30 лет.
- отпраздновал и свой ДР тоже. сходил погулять на речку, вечерком в барчик с Кевином, Егором и Аней, а в сб устроили душевные посиделки у Крис дома (с погодой не повезло, так бы пикник устроили). мой первый др за долгое время, когда я физически себя чувствую на свой возраст, хаха. но ментально - скорее на 20 лет, по крайней мере образ жизни сейчас скорее похож на те времена.
- фанатею от курса про деплой нейросеточек. теперь хочется и на все остальные их курсы попасть. надо разбогатеть только сперва. уже во всю применяю полученные знания в текущих проектах.
- выиграли с Мариной небольшой грант на продолжение темы neurodivergent AI, терапии и прочего. похоже в начале июня будем делать.
- встретил двух молодых лис, когда гулял на дачах (у меня на районе есть дачи прямо в городе)
- сгонял на несколько ai митапов. надо поставить цель на май - приучиться регулярно постить в соцсети и линкдин про проекты, которые я делаю. людям явно интересно, а я чот молчу всё :)
- снова стал вылазить на stupid mental health walks. помогает хорошо. еще б спортик вернуть.
- получил подтверждение, что мой воркшоп про 3D Gaussian Splatting приняли на SIGGRAPH'25. Осталось раздобыть где-то 1,5-2к баксов на то, чтоб сгонять в Ванкувер. но я думаю, это решаемый вопрос. отказываться от такого не хочется.