77202
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса. Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy
Лучшие дебаты про безопасность ИИ для нормисов
В последнее время слушал много подкастов на тему AI safety в поисках того, который можно было бы смело рекомендовать обычным нормисам уровня погружения «ну я немного слышал о хайпе про “ИИ нас всех убьет”, с точки зрения здравого смысла звучит как полная ерунда, конечно…». Так вот, я его нашел – встречайте, идеальный выпуск для погружения в текущее состояние этого дискурса:
The Diary Of A CEO – дебаты между Нейтом Соаресом, Романом Ямпольским, Эдом Зитроном и Эндрю МакАфи: https://www.youtube.com/watch?v=OhOmLqR5nN4
Я прямо горячо рекомендую вам посмотреть этот выпуск на 2,5 часа (там в настройках Ютуба можно включить русскую дорожку), причем чем дальше – тем он становится лучше.
Происходящее на этом подкасте наглядно иллюстрирует одну особенность текущего AI safety-дискурса. Чуваки, которые варятся в этой среде последние 10+ лет (и которые серьезно относятся к ИИ-рискам для человечества), потратили уйму времени на размышления в этой области. Они уже сто раз видели и обсуждали самые сильные аргументы против того, что AI может представлять для человечества реальную угрозу.
А самые громкие критики ИИ-рисков с другой стороны, которые отстаивают тезис «да это всё научно-фантастический хайп от фантазеров, никакие адекватные люди не будут это обсуждать всерьез», – выглядят на этом фоне, как бы это помягче сказать… Как будто они впервые задумались о проблеме примерно неделю назад, и тормознули там на уровне «мне сразу пришли чисто из здравого смысла три очевидных возражения, почему AI risk – это чушь, и я на этом остановился».
Там есть прямо пара наглядных моментов, иллюстрирующих это. Примерно на сороковой минуте Эд Зитрон спрашивает Нейта Соареса (одного самых громких сторонников замедления AI-лабораторий в мире, который буквально управляет самой известной нон-профит компанией с такой целью): «Так а если уж ты так опасаешься этих рисков от ИИ, сфига ли ты не пытаешься остановить AI-лабы??» – то есть, он реально даже не очень понимает, с кем он дебатирует (к уровню аргументации это, конечно, не относится – но показывает степень погруженности в тему).
И уже ближе к концу, когда они обсуждают детали взлома Hugging Face, Эндрю МакАфи в ответ на описание от Нейта Соареса говорит «ну, я доверюсь тебе, что ты правильно пересказал факты произошедшего…» – то есть, он даже сам не погружался в отчеты по самому знаковому инциденту AI misalignment, который обсуждается со всех сторон уже целый месяц, чтобы составить собственное мнение.
Причем, это не потому, что ведущий подкаста специально пригласил в качестве оппонентов для AI-думеров эдаких «мальчиков для битья» послабее – просто весь дискурс сейчас реально выглядит примерно вот так. Там как бы не очень понятно, кого звать из «действительно сильных анти-думеров».
Еще одной иллюстрацией этому, кстати, служит другое свежее интервью с Дженсеном Хуангом (CEO Nvidia, продающий лопаты в нынешней золотой лихорадке с очень некислой прибылью), который недавно вовремя упал на уши Дональду Трампу и убедил его публично выступить с позиции «ФЕЙКИ про риски ИИ распространяют ПРЕДАТЕЛИ АМЕРИКИ». Так вот, уровень аргументации Хуанга на этом подкасте такой, что самый часто встречающийся тип комментариев под ним звучит как «вообще-то я раньше не опасался рисков от ИИ, но как послушал аргументы Хуанга – мне что-то стало страшновато…»
Немного новостей из поднебесной от TheInformation:
— DeepSeek достигли ARR в $1B (ARR = выручка за последний месяц, умноженная на 12, то есть сколько они заработают за год, если спрос не изменится). У OpenAI последние цифры были в районе $40B, у Anthropic $65B, но обе скорее всего выросли после успешных недавних релизов.
— к концу октября DeepSeek планирует привлечь новый раунд инвестиций в размере $7.5B при оценке $75B. Это уже существенные цифры, хоть и всё равно на порядок меньше американских конкурентов.
— Рост выручки DeepSeek частично обусловлен повышением цен в прошлом месяце, в результате которого стоимость моделей для клиентов увеличилась в 2.3–4.5 раз (но даже при этом они остаются очень дешевыми). В июле писали, что ARR был порядка $400M-$500M.
— валовая маржа компании в начале года была 82.9% — то есть даже при очень дешевых моделях они всё ещё имели огромную наценку.
— DeepSeek продолжает направлять большую часть своих ресурсов на разработку новых моделей. Компания выделяет более 70% своих вычислительных мощностей на обучение моделей, оставляя менее 30% для инференса под API и клиентов. Но без роста количества мощностей продолжать наращивать выручку будет сложно (без повышения цен на модели).
— компания исследует возможность использования игровых видеокарт Nvidia вместо серверных для разворачивания моделей. Такие GPU сильно дешевле.
— Ранее в этом месяце компания Z.ai (авторы моделей серии GLM) сообщили, что их ARR достиг $1,8B. Другой китайский конкурент, MiniMax, заявил, что ARR вырос до $800M в августе со 150 миллионов долларов в феврале.
— Для DeepSeek одной из самых больших проблем на будущее является обеспечение достаточного количества вычислительных ресурсов для обучения новых моделей в условиях экспортных ограничений США на передовые чипы Nvidia.
— The Information во вторник сообщили, что китайский интернет-регулятор расследует деятельность DeepSeek и Moonshot AI после того, как Anthropic заявила, что обе компании передавали конфиденциальные данные пользователей моделям Claude (💳)
Отдельный вопрос это «если модели дешевле, то будет ли у меня больше использования в Codex?». Ответ — да! (сравните Sol 6 и 5.6 — в полтора раза больше).
Читать полностью…
Вышел Claude Opus 5.5, уже есть в приложении. Вместе с этим.. дали banked reset (как делают OpenAI — можно применить в любой момент).
— Для работы Opus 5.5 требуется меньше вычислительных ресурсов, чем для Opus 5, и это отражается на его цене: $4/$20 (на 20% меньше, чем было), а чтение из кэша $0.2 — на 60% меньше.
— При этом скорость генерации выросла в среднем на 30%
— 5-часовой лимит увеличен (без изменения недельных)
— «Opus 5.5 общается более естественно, чем предыдущие модели. Первые тестировщики отметили, что его текст стал чётче и легче для восприятия» — это мы с удовольствием проверим
— Claude Sonnet 5.5 и Claude Haiku 5.5 выйдут скоро, в ближайшие недели
— в кибербезе, биологии будут такие же строгие фильтры, как у Fable 5.1.
Утром прочитал у Scott Alexander пост двухлетней давности про тюрьмы и преступления. Там есть много интересной статистики и неочевидных выводов, но в целом стало грустно: в развитых странах мелкие преступники спокойно живут и орудуют потому, что система ценит человеческую жизнь, судебная система развита и предоставляет множество пособий для защиты даже казалось бы однозначных преступников, а цена труда очень высока.
В целом по совокупности факторов это приводит к тому, что есть преступники, которых ловят (ЛОВЯТ) больше 20 раз, и они продолжают шоплифтить — как яркий пример приводится нью-йоркская группа из 327 шоплифтеров, ответственных за треть всех шоплифтов в городе. И даже в этой ситуации система не может однозначно сойтись к тому, что их надобно запереть на подольше в тюрьме.
Многих отпускают или дают очень мягкие наказания (короткие сроки) потому, что в тюрьмах уже высокая заполненность, и каждый посаженный шоплифтер это не посаженный убийца. Логично спросить: а почему бы не построить больше тюрем? Ответ не так прост:
1. В США уже сидит в тюрьме 0.75% населения (5 в мире). Из-за стоимости труда и ценности жизни каждый заключенный обходится в 31000 долларов в год (и это за 2008, сейчас в два раза больше). А в Калифорнии — 120000 за год. Бюджета на заключение в 3 раза большего количества людей просто нет.
2. Судебная система перегружена, так как даже очевидные преступления с полным доказательством (камеры + показания офицера + свидетелей) всё равно проходят полный цикл с несколькими заседаниями; мелким преступникам всё равно предоставляют адвоката, иногда жюри присяжных (12 человек, если светит тюрьма), пристав, судебный репортер. Всё это — деньги. Зачастую системе проще отпустить мелкого воришку с мелким штрафом (ДАЖЕ ЕСЛИ ЭТО ЕГО ПЯТОЕ ПРЕСТУПЛЕНИЕ), ну или посадить на пару месяцев и выпустить.
3. Понимание что мелких преступников отпустят/они не получат жесткое наказание меняет мотивацию полиции, они уделяют силы и фокусируются на более серьезных проблемах.
4. Но даже если бы тюрьмы строились и преступники наказывались по всей строгости и с учётом прошлых преступлений — нет консенсуса, что длительные заключения (=изоляция от общества) помогают уменьшать преступность. Да, во время заключения человек не может навредить обществу (только своим корешам в блоке), и в среднем это «экономит» ~7 преступлений в год на человека — но после нескольких лет за решеткой человеку сложнее влиться в общество, и может приводить к рецедиву.
5. Если попытаться провести анализ затрат и выгод, то при самых благоприятных предположениях (очень слабые последствия, низкие затраты на заключение под стражу, полное отсутствие учета влияния на самих заключенных) результат окажется лишь незначительно положительным, а в остальных случаях – отрицательным 😳
Так что Scott приходит к такому выводу: тюремное заключение при нынешнем уровне его применения [в США] в большинстве случаев менее эффективно с точки зрения затрат, чем другие способы снижения преступности. Если бы людей не привлекал эмоциональный эффект от того, насколько «жёстким по отношению к преступности» выглядит такой подход, они, вероятно, предпочли бы перенаправить ресурсы системы правосудия с тюрем на другие меры — например, на полицию и суды.
Но из хороших новостей — в Европе ситуация другая, тут сажать и сажать:
европейские исследования показывают более выраженный эффект — так как в там доля заключённых составляет примерно 0,05% населения (в США — около 0,75%).
Теоретически более низкий уровень заключения объясняется тем, что преступность ниже. Но я обращаю внимание на то, что там в последнее время высока доля новых иммигрантов, и в Европе представители этих групп совершают больше преступлений в расчёте на одного человека, чем коренные жители.
Из этого можно сделать один возможный вывод: в Европе польза от лишения свободы значительно превышает его издержки.
Похоже у OpenAI и вправду очень сильно вырос спрос, и подписки за $200 закрыли поделом — вычислительных мощностей впритык, уже неделю не было сбросов лимитов 😭
Читать полностью…
OpenAI по слухам там почти решили еще одну задачу тысячелетия. Думаю, огромное число математиков сейчас лихорадочно нажимают в ЧатГПТ галку "разрешить использовать логи для улучшения моделей" и кидают в чат все пришедшие в голову гипотезы о том, как подходить к ее решению…
Читать полностью…
И вот так в одно мгновенье Игорь превратился в фаната прослушивания винила (придётся покупать проигрыватель)
(а ещё сегодня куча треков появится в Spotify, ждём)
🚀📸Илон Маск рассказал о следующих важных этапах разработки Starship:
Впереди у нас 14-й испытательный полет. Это будет последний полет перед тем, как мы попытаемся поймать корабль. Если этот полет пройдет успешно, то в 15-м полете мы попробуем поймать корабль. Либо в конце этого года, либо, скорее всего, в начале следующего, мы повторим полет корабля и ускорителя.
Как только мы сможем повторно использовать корабль, мы создадим первую полностью многоразовую орбитальную ракету. Она разработана не только для полной многоразовости, но и для быстрой повторной эксплуатации, как самолет. Это очень важный прорыв. Это действительно ключевой прорыв, необходимый для расширения жизни за пределами Земли.
Я бы сказал, что шансы поймать корабль составляют как минимум 50 или 60%. Если бы там была башня, она бы поймала корабль в последнем полете. Конструкция позволяет осуществлять полную многоразовость. В этом я уверен. Я думаю, что крайне вероятно, что в следующем году, в 2027 году, мы достигнем полной многоразовости с быстрой повторной эксплуатацией.Читать полностью…
В комментах мне сейчас часто пишут что-то вроде: «Нравилось читать Павла про финансы. А сейчас совсем кринжово читать, когда Павел пытается хайпить на теме, в которой совсем не разбирается, делая некие выводы.»
Надо, наверное, пояснить, как я про это думаю.
Смотрите, моя ценность как автора никогда не была в том, что я как-то особенно виртуозно разбираюсь в финансах или экономике – нет, я там шарю на уровне обычного крепкого спеца, который в целом в теме, но не обладает некими уникальными знаниями, на голову превышающими всех остальных.
Моя ценность в том, что я стараюсь взвешенно и рационально подойти к любому вопросу – и по возможности объективно его проанализировать, принимая во внимание все доступные данные и точки зрения. Понятно, что в «родной» для меня теме финансов это сделать сильно проще, но к другим вопросам я стараюсь подходить точно так же.
Так вот, тезис «Павел не шарит как технарь за AI => следовательно, его выводы некорректны» как бы подразумевает, что любому профильному технарю сразу будет очевидно, что я неправ, и моя точка зрения ложная (а мне просто не хватает понимания, чтобы это заметить). Но это, конечно, не так: как писал вот здесь, огромное количество ведущих общепризнанных профессионалов из индустрии стоят на позиции, что экзистенциальные риски со стороны ИИ – это очень серьезная проблема для человечества.
Почему же мне кажется важным писать про это?
Потому что мы сейчас находимся где-то в той точке, когда эта идея про риск ИИ впервые получает шанс войти в мейнстрим-дискурс – так как способности новых агентных систем уже потенциально выглядят достаточно понятными в плане «что здесь может пойти не так» для широкой публики.
Проблема здесь в том, что с точки зрения «здравого смысла» любому нормальному человеку кажется очевидным, что рассказы про «сверхумный ИИ нас всех погубит» – это какая-то научно-фантастическая сказочка, серьезно относиться к которой абсурдно. А вот объяснение «жадные главы бигтехов нам врут, чтобы стать еще богаче» – это как бы понятная база, которую даже обосновывать как-то дополнительно не надо (мы такое уже видели сто раз на практике, и еще двести раз увидим).
И чтобы начать серьезно относиться к AI risk, нужно немного отодвинуть в сторону свою интуицию, и попробовать разобраться в вопросе на более детальном уровне – какие там у сторон с разными взглядами логические цепочки, как они парируют аргументы друга друга, и так далее. Сразу скажу: я тут, конечно, отнюдь не хочу заявить манипулятивный тейк в стиле «любой умный человек, кто детально поразбирается в этом, обязательно станет AI-думером!». Я скорее о том, что я понимаю, почему большинство адекватных людей по умолчанию попадают в категорию «это просто глупости, в которых нет смысла даже разбираться».
Короче, что я пытаюсь сказать: если вы меня в последнее время читаете с мыслью «Павел всегда раньше казался адекватным и здравомыслящим, а сейчас вот у него почему-то кукуха отлетела по одной конкретной теме» – то, возможно, имеет смысл рассмотреть также и гипотезу «Павел, как обычно, адекватно и здравомысляще покопался в этой теме – и просто пришел к выводу, что к рискам ИИ надо относиться серьезнее, чем принято считать в мейнстриме». Ну, чисто как предположение…
Подписки проданы, подписок больше нет — Tibo написал, что они приостанавливают продажу подписок за $200, чтобы сохранить качество сервиса для текущих пользователей. Plus за $20 и x5 за $100 пока остаются.
Запуск Astra прошёл хорошо 🚀 но зато видно, почему Anthropic дают Fable лишь на 50% от подписки — реально сложно поддерживать спрос 😳😳
НУЖНО. БОЛЬШЕ. КОМПЬЮТА.
Смешно, что на Reddit на r/math до сих пор нет поста о том, что решили задачу тысячелетия...🥁🥁 потому что посты про AI-доказательства запрещены
Хейт к AI очень многим мешает смотреть на факты и трезво оценивать допущения, не наклеивая лейблы
Это-то всё хорошо, но почему ходили слухи, что Anthropic решили ДВЕ задачи тысячелетия? 😳 OpenAI недорабатывают...
Читать полностью…
OpenAI выложили блогпост https://openai.com/index/navier-stokes-solution/
Мы публикуем решение проблемы существования и гладкости решений уравнений Навье—Стокса — одной из задач тысячелетия. Это доказательство, полученное внутренней системой OpenAI, показывает, что динамика уравнений Навье—Стокса, описывающих движение жидкости, может приводить к образованию сингулярности за конечное время. Мы публикуем как текстовое изложение доказательства, так и его формализацию в Lean (то есть это сразу авто-проверенно вычислительным движком).
4 дня назад в твиттере начали появляться слухи, что одна из AI компаний решила то ли одну, то ли сразу две из Задач тысячелетия — списка из 7 открытых проблем, над которыми множество учёных бьются не первый десяток лет. Пока что лишь одна была решена Перельманом, который отказался от награды в миллион долларов за решение. Решение задач подобного уровня уже пару лет обсуждают как крупный майлстоун для AI и эффекта на математику и другие науки. Многие компании и стартапы пробовали и пробуют подступиться к проблемам.
Сегодня раскрылась драма: один из независимых математиков выложил 3 новых результата о существовании и гладкости решений уравнений Навье — Стокса. Вместе с этим он выпустил 4-страничное письмо с описанием своего взаимодействия с OpenAI в последнюю неделю, где косвенно обвиняет последних в ряде плохих практик. Сотрудник(и) OpenAI сказали, что выпустят свой ответ (и возможно решение?) завтра — так что их взгляд на ситуацию ещё не ясен, как и не ясно, насколько надёжным рассказчиком является автор письма.
Что с его слов произошло:
— последний год он вместе с математиком из Anthropic работал над решением проблемы. Оба работали в своё время и со своими ресурсами, без аффилиации с компаниями, сами платили за свои подписки итд.
— в последний месяц у них начали появляться первые значимые результаты, и 15-го августа один из авторов пересылает другому AI-сгенерированную статью, в которой тем не менее оказывается всё правильным. Авторы начинают работать над упрощением слопа и логики доказательств, делают формализацию (перевод результатов в программу, чтобы можно было верифицировать корректность). Важно подчеркнуть, что это не полное решение оригинальной задачи; Terence Tao ознакомился с работой и сказал, что эти результаты потенциально можно развить в полное решение, но на руках у авторов его не было и, насколько понимаю, всё ещё нет.
— 3-го сентября, как поползли слухи о решении (что по этому повествованию является преувеличением, ведь решения нет) Навье-Стокса, один из авторов получил информацию о том, что сведения об прогрессе попали в OpenAI. Как, что, от кого и откуда — не уточняется; пока что из контекста следует, что о результате изначально знали два математика и узкая рабочая группа.
— математик из OpenAI ответил в тот же день, предложил обсудить, как избежать соперничества, и ещё предложил кредиты для моделей.
— Созвон состоялся 6-го сентября, OpenAI хотели провести его раньше, но автор письма просил время на следующей неделе. На этом митинге представители OpenAI сказали ему, что внутренняя модель компании написала полное доказательство на примерно 100 страниц.
— Когда после созвона автор письма запросил описание направление доказательства, в нём фигурировало словосочетание «под действием внешней силы». Не важно, к чему именно оно относится, но для автора это стало «красным флагом», так как это то узкое направление атаки проблемы, которое он и математик из Anthropic выбрали и над которым работали долгое время — так как прочитали о нём в статье 2023-го года (и очень хвалят авторов и отдают им должную честь).
— После этого он начал расспрашивать OpenAI о том, как же так вышло, а когда они начали пробовать решать задачу, какие промпты отправляли, и самое главное учили ли они модель на его переписках. С его слов пробовать начали недавно — после того, как поползли слухи о решении. Про тренировку не ответили, сказав, что модели не были доступны его сообщения
Экспортный контроль чипов действительно существенно влияет на китайские компании. Да, некоторые уже пытаются переходить на Huawei и другие — но их производство тоже сильно ограничено, и особо сильно упирается в память. Epoch.AI подсчитали, что если Китай будет использовать только HBM (память в GPU для LLM) собственного производства, то они смогут производить примерно... 1% от GPU Nvidia (первая картинка) в ближайшие годы — и эта доля падает (в 2026-м это примерно 4%).
Насколько контрабанда HBM позволила бы сократить дефицит? Предположим, Huawei контрабандой ввезла бы в 2028 году в 10 раз больше HBM, чем на внутреннем рынке, — невероятно большой объем, обошедшийся как минимум в 40 миллиардов долларов. В этом случае ее производство в 2028 году выросло бы с 1 млн до примерно 11 млн H100-эквивалентов, что по-прежнему составило бы лишь 11% от производства Nvidia в том году.
Поставки HBM в Китае и производство чипов Huawei будут быстро улучшаться, но, вероятно, недостаточно быстро. Даже 18-кратное увеличение мощностей HBM в Китае к 2030 году приведет к тому, что объем производства Huawei составит примерно 12-18% от объема производства Nvidia в 2028 году.
На второй картинке — попытка Epoch.AI оценить контрабанду чипов в Китай через Малайзию в период после введения ограничений администрацией Байдена и до ужесточения регуляций на экспорт в самой Малайзии. Логика подсчёта проста: таможни всех стран записывают что приходит и что уходит, а затем общие данные отправляются в ООН. Цифры агрегированы по кодам пересылаемых объектов — и почти все чипы попадают в одну категорию. Разница, которую видно на картинке — это разница между тем, что отправлено из Малайзии (по заниженным ценам) в что записано к получению в Китае (по реальным ценам, они ж не могут уходить от оплаты пошлин и налогов у себя дома).
Итого насчитали за ~год контрабанды на $3.8B, или примерно аналог ~150'000 видеокарт H100.
===
Вся информация выше лишний раз подчеркивает, насколько сильный рычаг воздействия остается у США и Nvidia. Если укрепить меры контроля за контрабандой и отслеживать карты прямо с производства на Тайване — Китаю придется несладко (как бы не пришлось возвращать остров под свой контроль 👨🦳).
Адам Елдаров, ex-CPO YouDo, написал два поста про экономику AI-подписок и развенчание мифа о том, что подписки — «субсидируемые» и что компании на них теряют огромные деньги. Я согласен наверное с 95% того что там написано. Форвардить два поста не хочется, поэтому зайдите и почитайте, если вам интересно: /channel/c3po_notes/589 и следующий за ним.
Не знаю, планировал ли Адам писать про это дальше, но мне кажется логичным продолжением будет рассуждение о том, когда у компаний изменится баланс выручки и трат на RND / обучение моделей. Пока что растет и одно, и другое, поэтому легко ошибиться и сказать «так они всегда будут убыточными!», что, очевидно, не правда, потому что второй компонент можно контролировать: ты можешь выбрать не тратить больше денег на обучение или исследование.
Сейчас такой выбор никто не делает, так как денег от пользователей и инвесторов хватает. И оба эти компонента +- одинаковые у двух ведущих компаний. Экономика их трат тоже примерно одна и та же: они платят примерно одинаково своим сотрудникам и примерно одинаково платят за видеокарты и датацентры.
Если выручка перестанет расти или вообще наметится спад (одновременный для двух компаний в силу внешних причин) — обе компании будут принимать одинаковые решения по урезанию костов. Пока она продолжает расти — они пытаются дотянуться до как можно большего количества мощностей и ведущих специалистов, и оба компонента ограничены какими-то факторами сверху. Вполне возможно, что через 2-3 года расходы компаний на мощности перестанут расти вслед за выручкой — просто потому что больше чипов не будет, можно купить лишь столько, сколько производит маленький островок около Китая. По-моему Dylan из SemiAnalysis говорил, что где-то в 2028-м году две (три?) компании будут получать больше половины всех новых чипов — отсюда, очевидно, x2 сделать уже просто некуда.
Для всех игроков в системе экономика одинаковая: сервер стоит столько-то, в будущие датацентры нужно инвестировать столько-то, чтобы получить столько-то выручки (выручка на мегаватт мощностей у всех разная, и тут OpenAI/Anthropic далеко впереди всех; остальные игроки будут пытаться спустить этот показатель с небес, но они не могут сделать это ниже своего уровня — а они в среднем менее эффективны — потому что иначе придётся платить из своего кармана, который не такой глубокий, как у фронтира).
А вот и OpenAI: встречайте GPT-6 Sol и Luna.
— обе модели ровно в 2 раза дешевле, чем их 5.6-версии.
— общаться должны так же понятно и без жаргона, как Astra
— и... всё. Sol не лучше Astra (а во многом и хуже, в отличии от пары Fable <-> Opus), но сильно дешевле, и всё ещё лучше Sol 5.6. Поэтому модель может стать основной рабочей лошадкой, сохраняя ваши лимиты.
И абсолютно невероятная картинка с Эль Сальвадором, который имел очень высокий уровень преступности (на графике — убийств (не мелких преступлений), но в 2023м году после многих лет работы над системой они смогли добиться уровня ниже США.
Это сопровождалось четырехкратным увеличением количества заключенных.
Как им это удалось? Благодаря сочетанию значительных финансовых вложений, непритязательности в вопросах прав человека и условий содержания в тюрьмах, а также непритязательности в отношении того, были ли заключенные виновны в каком-либо конкретном преступлении или просто имели отношение к бандам.
Прошло уже почти 3 недели с релиза GPT-6 Astra, и можно подводить первые промежуточные итоги. Модель действительно вышла очень клёвой и способной, и, как мне кажется, лучше Fable 5.1: на многих бенчмарках они или идут вровень, или Astra обходит; к тому же читать текст Astra гораздо приятнее, чем слоп от Клода, и когнитивная нагрузка не такая большая, чтобы продраться через мешанину абстрактных терминов.
Astra особенно отличается в Computer Use и задачах с изображениями/видео. Не знаю что там сделали OpenAI и связано ли это как-то с Looped Transformers, но люди смогли заставить Astra пройти несколько игр: от простого «добудь алмаз в Minecraft» до... легендарной ролевой игры Fallout 3, пространственной головоломки Portal и Factorio (основная игра + дополнение). Насколько я понимаю, во всех или почти во всех случаях это не простой пайплайн «картинка с экрана -> действия», тут и там то MCP подключат, то ещё что, но это всё равно впечатляет. Легко сказать «так модели же учили на всех видео с интернета, конечно они знают как играть» — но модели 3-4 месяца назад учили примерно столько же и на том же, но они не могли проходить игры от начала и до конца.
Не одними играми славится Astra — на многих бенчмарках, в том числе тех, которые вышли после релиза (или ещё круче: авторы ещё не выпустили, но уже померили Astra, как было у Vals.AI), модель показывает существенную разницу. Из запомнившегося — WeirdML v3 на картинке в посте, свежий бенчмарк на ML-задачи, где агенту дают данные и общее описание что делать, и его цель разобраться, что в данных, обучить модели и/или написать эвристики и прийти к решению. Автор пишет, что был очень удивлён оценке Astra, и он не ожидал, что ещё фактически до релиза бенчмарка лучшая оценка будет больше 50%.
В общем, весной после анонса Mythos/Fable у меня был скепсис, что OpenAI получится быстро догнать Anthropic. По какой-то причине компания долгое время не решалась на масштабирование моделей. Возможно, не хотели упираться в нехватку вычислительных мощностей, с которой компания встретилась сейчас — не знаю. Рад, что опасения не подтвердились 🤷♂️
Теперь будем смотреть как догоняют Google, META и xAI — и китайцы с опенсурсом🇨🇳... пока в OpenAI по слухам уже идёт предтренировка ещё большей модели с кодовым названием «Bel».
Вы наверняка видели эту картинку с XKCD. Оказалось, она была пророческой — именно через уязвимость в указанной библиотеке ImageMagick (поддерживаемой за "спасибо" каким-то рандомом из Небраски 😀) нашлись уязвимости, позволившие 3 белым хакерам и паре LLM по подписке взломать OpenAI и несколько других компаний, включая Slack, Zoom, Meta.
Сначала им удалось взломать форум обсуждений OpenAI, построенный на платформе Discourse (старый, часто используемый и никакой связи с OpenAI не имеет). Ну как "им" — в июле хакеры попросили Opus 4.8 проанализировать уязвимости, и тот справился, найдя одну в библиотеке для работы с изображениями. Потом Opus 5 переписал/улучшил хак, и по итогу загрузка картинки на форум приводила к выполнению кода.
После этого была обнаружена ещё какая-то проблема/уязвимость в SSO OpenAI (система, использующаяся для логина), и используя её хакеры могли бы в теории получить доступ к внутренним репозиториям OpenAI, чего они не сделали, ограничившись созданием одного PR как доказательство работоспособности.
OpenAI оперативно отреагировали, и через 2 дня уязвимости были исправлены.
Вот тут сборник рассказов про взломы других компаний через уязвимость в той же библиотеке изображений. На все взломы ушло суммарно... $3000 в токенах 👨🦳👨🦳
Первый взгляд на физическое издание музыкального альбома по GTA VI
Подтверждены следующие треки:
• Yung Lean - That's It (feat. Future & Metro Boomin)Читать полностью…
• Travis Scott - RHYNO (prod. by Guy-Manuel de Homem-Christo)
• CA7RIEL & Paco Amoroso, PinkPantheress, Fred again.., & Etienne de Crécy - Sexy Magic
• Morgan Wallen - Last Thing You Need
• Rauw Alejandro - Macacoa 2000
• Keith Richards - Bright Lights, Big City
Вчера послушал интересное интервью Matt Sheehan на The Ezra Klein Show. Matt —исследователь китайской политики в области ИИ, старший научный сотрудник Фонда Карнеги (один из ведущих аналитических центров) за международный мир. Тема интервью — аргумент «А как же Китай?» в обсуждении ИИ-регуляций, который часто звучит в последние недели.
Мне этот аргумент казался глупым ещё пару лет назад — если Компартия верит, что ИИ сможет отобрать у них контроль или тем более привести к существенному урону, то даже для них рационально будет или остановить разработку (с некоторыми оговорками), или хотя бы снизить темп. Другое дело что они могут (пока) не верить и/или не воспринимать это всерьёз — а поскольку многие комментаторы, ставшие экспертами как в политике, так и в ИИ, считают, что это невозможно в принципе (потому что вы видели? модели же не умеют думать и даже просто считать буквы в словах), то и сам разговор как будто бы становится ни о чём.
В общем, что интересного было в интервью:
— в Китае уже действуют очень жесткие регуляции, и у них «накачана мышца» в оформлении и контроле следования регуляциям. Правда целятся они пока не во всемогущих ИИ-агентов, а во что-то попроще: рекомендательные системы, цензура алгоритмов, ИИ-компаньёны и отношения с ними (серьезно, я даже про такое не знал, а у них это было большой проблемой, которую взяли на контроль).
— таким образом Китай уже сделал несколько итераций, кабинеты заполнены уже что-то понимающими в технологиях чиновниками и экспертами, есть какие-никакие процессы: регистрация, проверки, стандарты, взаимодействие с компаниями/лабораториями. Этот опыт очень сильно поможет в будущем, не придется начинать с нуля. Тут США как раз наоборот очень сильно отстают. Но да, техническую экспертизу по новым рискам ещё нужно развивать.
— поэтому для Китая США выглядят глупо: началось обсуждение регуляций, а пока что ничего не введено, никакого контроля почти ни за чем, связанным с ИИ. Никаких серьезных ограничительных шагов нет, но если и когда они появятся — это может быть серьёзным толчком к диалогу. Представьте: вам часть ваших ученых говорит, что есть риски, и при этом вы видите, что главный конкурент их разделяет и замедляется. Появляется существенная предпосылка к тому, чтобы прислушаться и последовать примеру. Односторонние ограничения могут стать убедительным сигналом серьёзности намерений.
— при этом на первых порах не обязательно, чтобы обе стороны подходили к вопросу симметрично или даже доверяли друг другу полностью: Основа сотрудничества — собственная заинтересованность обеих стран в предотвращении потери контроля над ИИ. Для этого не требуется предварительно разрешить всё геополитическое противостояние.
— уже есть прецеденты создания рабочих групп, налаживания каналов обмена информации и регулярного диалога. Например, раз, два.
— и вот чему я был удивлён ещё больше (в основном потому, что китайские материалы до меня не доходят): оказывается в сентябре на пресс-конференции National Cybersecurity Awareness Week выступал заместитель главы Бюро координации кибербезопасности Китая, и там в числе прочего перечислили пять основных категорий рисков и вызовов в сфере ИИ. И «Риски экстремальной потери контроля над ИИ» заняли второе место в этом списке, хотя раньше именно в такой формулировке (с «экстремальная потеря контроля») не появлялись. И это не пустые слова — 14-го сентября National Cybersecurity Standardization Technical Committee опубликовали обновление своего фреймворка управления безопасностью. Это уже третья версия, поэтому можно увидеть, что предыдущие две очень сильно влияли на регуляции, и третья, скорее всего, тоже будет взята во внимание.
Так что Китай может быть пока и не пришёл к окончательной уверенности в экзистенциальных ИИ-рисках/рисках потери контроля над ИИ, но обсуждает и воспринимает это достаточно серьёзно. Возможно, что они введут меры, схожие с предложенными Dario Amodei в эссе (независимые наблюдатели с доступом + публикация отчётов об инцидентах, итд), раньше США — по крайней мере на федеральном уровне.
И напомню, что примерно через неделю представители верхушек США и Китая встретятся для обсуждения ИИ-рисков.
Такие времена 🤷♂️
Возьму себе кредит за подкидывание Паше идеи поста 😂
Но вообще зная Павла несколько лет и имев с ним несколько плодотворных и глубоких дискуссий и даже споров — у меня осталось о нем исключительно положительное мнение. Особое удовольствие последних 2 недель — это читать его ответы в твиттере, где люди не могут нормально прочитать и/или пересказать, и на ходу придумывают (а как осознают — меняют тему). Каюсь, грешен.
CEO Anthropic Dario Amodei выпустил мини-эссе «Нам нужно контролировать темп развития передовых ИИ-систем». С его основной идеей уже согласились CEO OpenAI и xAI. Выжимка:
— Anthropic и раньше тратили много усилий на изучение и снижение рисков ИИ, информирование общества и продвижение регулирования — несмотря на обвинения в хайпе, «думерстве» и захвате отрасли через регуляции.
— Но за последние несколько месяцев Dario пришёл к выводу, что этого уже недостаточно: меры безопасности могут просто не успевать за ростом возможностей моделей. Поэтому, по его мнению, нужно сознательно ограничивать скорость развития frontier-моделей, хотя даже при таком подходе прогресс всё равно будет очень быстрым.
Причины две:
— примерно с этого лета развитие ИИ резко ускорилось — прежде всего из-за того, что ИИ всё лучше помогает создавать следующее поколение ИИ.
— инцидент со взломом Hugging Face агентами OpenAI. Dario опасается, что уже через 6–12 месяцев подобный рой агентов потенциально сможет создать устойчивый ботнет огромного масштаба и причинить ущерб на сотни миллиардов долларов.
При этом «контроль темпа» не означает остановку обучения моделей. Идея в том, чтобы между скачками возможностей оставалось достаточно времени на alignment, safeguards и независимую проверку их эффективности.
Он предлагает три последовательных шага.
1. Встроенные независимые оценщики
Frontier-лаборатории должны дать внешним организациям вроде METR постоянный доступ почти на уровне сотрудников компании. Они смогут проверять не только готовые модели, но и сами процессы обучения и деплоя, соблюдение заявленных мер безопасности и внутренние инциденты.
Это важно потому, что сейчас компании сами решают, что раскрывать публике. Независимые оценщики должны иметь возможность публично сообщать о рисках, инцидентах, качестве предоставленного им доступа и даже о случаях, когда компания попыталась вырезать из отчёта существенную информацию.
Anthropic уже добровольно обязуется внедрить такую систему у себя.
2. Координация демократических стран
Frontier-компании в демократических странах должны договориться об общих стандартах безопасности и ограничениях на неконтролируемую гонку возможностей. Поскольку законодательство движется медленнее ИИ, часть таких правил лаборатории могут принять добровольно ещё до появления законов.
Но Amodei подчёркивает: замедляться нужно так, чтобы при этом не потерять технологическое преимущество демократических стран над авторитарными. Поэтому он предлагает:
— не продавать Китаю мощные ИИ-чипы и оборудование для их производства и бороться с контрабандой и удалённым доступом к зарубежным GPU;
— пресекать несанкционированную дистилляцию frontier-моделей компаниями из авторитарных стран;
— сильнее защищать сами веса моделей от кражи.
По его оценке, это может достаточно замедлить Китай, чтобы заметно увеличить преимущество США в следующие 3–5 лет — период, когда ИИ станет особенно важен геополитически. Это не уменьшит вероятность будущих договорённостей с Китаем, а наоборот увеличит переговорные рычаги демократических стран.
3. Глобальная координация
Следующий уровень — соглашения уже между США и другими демократиями с одной стороны и авторитарными государствами с другой. Dario предлагает несколько возможных уровней:
Уровень 1: запрет очевидно опасных применений ИИ — например, для создания биологического оружия.
Уровень 2: обязательное тестирование frontier-моделей перед релизом на серьёзные риски в кибербезопасности, биологии и alignment.
Уровень 3: своего рода «скоростной лимит» на recursive self-improvement (RSI).
Главная логика всего эссе: современные модели уже дают огромное количество информации о том, как строить более сильный ИИ и что может пойти не так. Если контролируемое замедление даст хотя бы дополнительный год-два до появления систем критического уровня возможностей, это время можно использовать для решения проблем alignment и безопасности.
И даже если формальных международных соглашений добиться не получится, Dario считает, что уже само изменение неформальных норм поведения frontier-лабораторий может существенно помочь.
В NYT вышла колонка с названием «В противостоянии OpenAI и Antrhopic математик из Нью-Йоркского университета выходит из ситуации с позором» (ссылка без пейволла). В ней OpenAI дали комментарии прессе, расширив свои показания:
> В среду вечером, отвечая на вопросы The Times, OpenAI заявила <...>: «Мы можем категорически утверждать, что промпты доктора Бакмастера, отправленные в Codex за последние два месяца, никоим образом не могли повлиять на нашу систему, в том числе через обучение». В заявлении также говорилось: «Никакие пользовательские запросы после 3 июля не могли каким-либо образом повлиять на эту систему».
> Напомню, что математики пришли к промежуточному результату (который был... сгенерирован другой моделью) 15-го августа. И оба автора признают, что они расширяют идеи, выраженные в статье других математиков за 2023-й год, и что им «принадлежит заслуга за основную идею нашего результата» (это цитата из оригинального 4-страничного письма).
В целом, я всё ещё жду авторитетного мнения от какого-то математика-эксперта по тому, насколько далеко промежуточный результат от финального решения, и насколько на самом деле это было «необычное» направление для исследований. Например, в тот же день вышла другая работа от ребят из Berkley и Caltech, которая целилась в +- тот же промежуточный результат 🤷♂️ настолько ли неочевидно направление, если оно описано в статье 2023-го года?
Ну ладно, это уже мелочи, вот на сладкое из комментариев OpenAI в колонке NYT:
> В своём заявлении в среду вечером OpenAI сообщила: «Кроме того, после завершения работы над задачей Навье—Стокса мы добились существенного прогресса в решении ещё одной задачи тысячелетия. Сейчас мы прорабатываем, как наиболее правильно поделиться этими результатами».
Трудно по-настоящему «почувствовать AGI», пока не увидишь, как ИИ превосходит тебя в области, которая тебе по-настоящему важна. На этой неделе многие математики и физики в OpenAI пережили свой «момент Ли Седоля», увидев, как эта модель за считанные минуты решает открытые задачи, над которыми они безуспешно бились годами.
Это потрясающее историческое достижение и новая жемчужина в короне трансформеров, предобучения, обучения с подкреплением и масштабирования вычислений во время инференса. ИИ уже двигает цивилизацию вперёд, и нетрудно представить, как в ближайшие годы подобные системы будут всё сильнее определять темп нашего прогресса.
Что ещё пишут в посте:
— С 28 августа OpenAI обучает новую внутреннюю модель, которая показала беспрецедентные результаты на внутренних тестах, в том числе по математике (см. выше). Она сильно лучше Astra.
— Во вторник, 1 сентября, до OpenAI дошли слухи о решении двух задач тысячелетия (откуда две...). Вдохновлённые этими слухами и резким скачком результатов внутренней модели, они решили проверить её на всех нерешённых задачах тысячелетия и нескольких других особо значимых задачах.
— Они использовали систему взаимодействующих агентов на базе этой модели. Агентам были доступны инструменты для чтения кешированной версии интернета (исправились после взлома агентами, хаха) и выполнения кода. Агенты были разделены на группы и могли общаться внутри своей группы. Размеры групп различались; в группе, которая получила решение задачи Навье — Стокса, одновременно работало около 10 000 агентов (охренеть).
— Для каждой задачи они давали разным группам агентов разные варианты её формулировки, охватив все варианты. В случае задачи Навье — Стокса отдельным группам мы предложили варианты «A» и «B» — конкретные формулировки, решение которых означало бы доказательство исходного утверждения, — и варианты «C» и «D», решение которых означало бы его опровержение. По итогу именно C и D доказали. Эти варианты не выдуманы OpenAI, они есть в официальной формулировки института, выдающего награду за решение Задач тысячелетия.
— Увидев решение одной из промежуточных задач (той же, что вчера опубликовали два математика), они сочли задачу Навье — Стокса наиболее перспективной для дальнейшей работы. Поэтому решили сосредоточить на ней ресурсы: перевели агентов с других задач и включили в их промпты решение промежуточной задачи. Когда в ходе работы стала доступна версия нашей внутренней модели, прошедшая дополнительное обучение, агентов перевели на неё.
— Через некоторое время организовали обмен наработками между группами: с помощью Codex собрали наиболее полезные идеи каждой группы. Последующие промпты опирались на промежуточные результаты самих агентов. Именно так направляли работу группы, нашедшей решение задачи Навье — Стокса. Это пересекается с тем, что было в письме математика — там автор говорил, мол, ему передали, что даже промпт в систему писали не люди, а Codex.
— Агенты получили решение в субботу, 5 сентября, примерно через 88 часов после запуска первых агентов. Формализация и проверка в Lean с помощью GPT‑6 Astra заняли ещё 17 часов.
— В общей сложности при работе над всеми задачами агенты отправили 4,9 миллиона сообщений и сгенерировали около 300 миллиардов выходных токенов.
— После завершения всего проекта и проверки в Lean, 6 сентября, OpenAI связались с авторами: исходя из слухов, OpenAI полагали, что у тех тоже есть решение задачи Навье — Стокса, и предложили одновременно опубликовать результаты и признать их приоритет в совместном объявлении (= хотели подмазаться 😀). Тогда и узнали, что те решили промежуточную задачу. В ходе обсуждений им предложили ознакомиться со всеми использованными промптами, а позднее — и с доказательством.
— Ни агенты, ни исследователи OpenAI не видели ни по каким каналам их работу до её публикации вчера вечером. В частности, для решения этой задачи OpenAI не обращались к данным конкретных пользователей.
— OpenAI не может исключить, что обезличенные данные, полученные в результате использования их продуктов, помогли «улучшить модели» (это как раз галочка «разрешить тренироваться на моих данных» в настройках). Однако по мнению OpenAI доказательства существенно различаются, а в случае промежуточной задачи различаются даже сами доказанные утверждения (с внешней силой и без неё). Хочется конечно верить, но тут будем ждать вердикта математического сообщества, насколько идеи те же и схожи, и насколько вероятно вообще, что они утекли через тренировочные данные.
— OpenAI не намерены претендовать на премию в миллион долларов за решение одной из Задач тысячелетия.
— Затем представители OpenAI предложили две опции: 1) он публикует свои результаты, а OpenAI на следующий день полное доказательство 2) он публикует свои результаты и после этого в одиночку (убрав соавтора из Anthropic) пишет статью на основе доказательства OpenAI, признавая, что решение было получено моделью, и получает миллион долларов (то есть OpenAI откажутся)
— «Я сказал, что если OpenAI опубликует результаты предложенным способом, я расскажу о случившемся публично. В ответ услышал: «Зачем вам портить свою карьеру?». Я ответил, что я учёный, и спросил, почему он считает, что публичное освещение событий разрушит мою карьеру. В ответ услышал: «Если вы не хотите, чтобы я был вежлив, то мне не обязательно быть вежливым» – абзац, который разлетается сейчас по всем новостям
— И заканчивает письмо тем, что никого ни в чём не обвиняет, доказательства он не видел, и «если модель OpenAI действительно смогла сократить разрыв в решении Навье-Стокса, это замечательное достижение, и об этом следует громко заявить, при этом сохраняя историческую достоверность»
===
OpenAI обещает ответ «завтра» (может быть сегодня, так как они в другой часовой зоне), интересно послушать их историю, а самое главное узнать таймлайн и промпты для модели. Но пока что вот мои мысли:
— я считаю крайне маловероятным, что пользовательские данные оказали здесь какое-либо влияние. OpenAI ни в коем случае не стала бы использовать пользовательские чаты для этого или сознательно обучать систему на их основе таким образом, чтобы это повлияло на результат. Если эта позиция вам кажется необъективной, то... тоже самое написал тимлид RL-команды Anthropic, сотрудники которой обычно не выражают поддержку OpenAI. Ключевое тут «сознательно» — так как пользователь сам может контролировать, делиться ли своими чатами для обучения или нет; вероятно, поэтому на созвонах OpenAI не могли сказать, обучались ли они конкретно на этих чатах, так как есть много звёздочек, и ответ «нет» может быть не полным. А я пишу, что OpenAI не выцеливали чаты именно этого учёного и его коллеги.
— хоть я написал это два раза, напишу третий: у людей полного решения нет и не было. И если оно появилось у OpenAI (и это продукт работы модели) — это будет большое достижение.
— не зная всей истории я могу сказать, что если OpenAI начали делать что-то на слухах, у них получилось, и они опубликуют результат, отдавая честь за идеи по навправлению всем, кто в это внёс вклад (и автора письма, и его коллегу из Anthropic, и авторов статьи 2023-го года) — я не вижу большой проблемы. Даже жаль немного, что драма произошла до выхода — может, они и без внешнего давления раздали бы почести и указали все релевантные работы (пока что с их предыдущими решениями мат. задач так и было, в краже идей их никто не обвинял, на использованные статьи ссылки давались и в решении, и упоминались в анонсах).
— однако я считаю достаточно вероятным, что модель могла найти решение и без подсказки о том, в каком направлении нужно копать; хоть автор письма и говорит, что для него доказательство через «его» метод — это красный флаг, но если посмотреть на все предыдущие решенные задачи — почти везде было ровно то же самое: LLM смогла развить не-мейнстримную идею, которую кто-то где-то когда-то выражал, даже работал над ней, но не вышло довести до конца.
— пока что официального подтверждения нет, но на вышеупомянутых созвонах представители OpenAI утверждали, что черт возьми и них есть решение одной из Задач тысячелетия! Всё вышеописанное может добавить астерисков и облаков на это утверждение, но сам факт останется фактом, если решение опубликуют и проверят.
— печально, что ситуация не станет примером того, как AI-лабы могли бы сотрудничать/координировать свои действия, потому что в будущем ставки будут намного выше :(
Очередной профи-айтишник со стажем с 1986 года пришел ко мне в ФБ пояснить, что "хайп по поводу взлома Hugging Face раздувают исключительно бездарные журналисты". И мне вот тут интересно: а где все эти панические статьи журналистов, они вообще с нами в одной комнате? Насколько вижу я — наоборот, "нормисные" издания по большей части проигнорировали последние расследования про рой агентов, как что-то совершенно неважное.
Всякие Коммерсанты/РБК/Ведомости эту историю вообще обошли стороной. "Медуза" про инцидент с Hugging Face последний раз писала в июле в ключе "это всё пиар для классов, беспокоиться не о чем" с какими-то абсурдно-стыдными аргументами вроде "нет никаких подтверждений, что генеративный ИИ каждый раз будет прибегать к хакерской атаке для решения задачи или же воспроизводить взлом по одному и тому же сценарию." Шта?
Из тех, кто хоть как-то пытается адекватно освещать ситуацию, кажется, один только тех-отдел The Bell отдувается. Они молодцы!
А так, все реальные обсуждения этих инцидентов сейчас происходят в первую очередь как раз-таки среди гиков изнутри индустрии AI, а не наоборот — интересно, это им айтишник Игорь свысока предлагает "загуглить, что такое AGI"? 🤔