3963
Ответвление основного канала @RationalAnswer с сумбурными непричесанными мыслями. Пишу о том, что мне кажется интересным и о чем я думаю прямо сейчас.
— AI-оптимисты: "Да эти думеры просто в своих сценариях делают совершенно нереалистичные предположения о том, что люди будут вести себя максимально глупым образом, в реальности такого даже близко не будет…"
— Тем временем, люди в реальности: "Наш план по контролю за AI – это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ"
Трамп заявил, что он никуда замедляться никому не позволит — и вообще, Америка под его началом должна построить Big Beautiful AI, не то что у Китая.
Уровень сложности нашего таймлайна: будущее человечества зависит от способности деда разобраться в рисках AI и потом договориться с Китаем так, чтобы те не чувствовали, будто их пытаются на*бать.
Прикольно: чуваки сделали вирус-червь WeWorm, распространяющийся в приложении WeChat через звонки, которые для этого даже не нужно брать (!). То есть, ответного действия от человека для заражения никакого не требуется.
Вичатом пользуется почти полтора миллиарда человек. Дыру уже пофиксили.
Дарио Амодей (глава Anthropic) выложил свой манифест по поводу того, что нам надо делать с гонкой ведущих AI-лабораторий за созданием всё более умных моделей.
TLDR: Дарио очень обеспокоен тем, как развиваются возможности передовых моделей, особенно в свете инцидентов вроде взлом Hugging Face роем агентов из OpenAI. Проблема там не только в самих OpenAI, в испытании своих внутренних передовых моделей у Антропика возникают примерно похожие по характеру инциденты.
Амодей ожидает, что если прогресс будет продолжаться как сейчас — то через 6-12 месяцев новые продвинутые рои агентов уже могут наделать действительно серьезных делов на миллиарды убытков (и почистить от них интернет может оказаться сильно сложнее).
Дарио предлагает план замедления развития передовых моделей из 3-х шагов:
1) Замедление прогресса внутри передовых ИИ-лаб до того темпа, когда они смогут обеспечить нужную безопасность. Это Антропик добровольно берет на себя, но просит государство затребовать и от других. Как один из компонентов этого шага, Антропик обещает обеспечить постоянный доступ внешним независимым проверяющим организациям (типа METR, которые расследовали OpenAI HF-инцидент), которые будут следить за тем, что лаба нигде не "срезает углы" по безопасности.
2) Кооперация похожих мер между ведущими компаниями в "демократической" индустрии (государство здесь может выступать посредником-медиатором).
3) Такая же кооперация на межстрановом уровне (понятно, что речь о Китае в первую очередь).
Мое личное мнение: отличный план, очень вовремя. Дарио Амодей молодец, что публично вышел с такой инициативой. Если OpenAI это поддержат (а не поддержать для них будет стыдновато, с учетом всех последних скандалов по кибербезопасности), то это будет очень хороший старт.
P.S. Жду в реплаях парад комментов на тему "да это же галимый пиар, они теперь просто с OpenAI вместе договорились одну и ту же тему разгонять!!"
Неиронично, кстати, считаю, что попробовать поспорить с нейросетью, прежде чем вываливать первые пришедшие в голову аргументы на окружающих людей – это очень полезный навык, который трагически недоиспользуется в нашем обществе.
И в другую сторону это тоже работает: если вам приводят какой-то аргумент из области, где у вас нет глубокой профильной экспертизы — то с помощью нейронки сейчас довольно легко проверить, не буллщитят ли вас. Понятно, что в очень тонких вопросах вы так надежно вряд ли разберетесь (тут вам свои знания нужны, чтобы отследить, где модель в деталях важные решения принимает, которые не факт, что правильные). Но вот на уровне "понять, действительно ли вам утверждают что-то бесспорное для профи, или там на самом деле консенсуса на этот счет даже близко нет" — работает чаще всего отлично.
Правда, тут важно еще уметь правильно промптить нейронки так, чтобы они пытались сделать объективный анализ, а не просто поддерживали вашу точку зрения из солидарности "братства шершавых кабанов". То есть, если вы в запросе пишете "вот точка зрения оппонента, докажи, что он неправ и ничего не понимает в предмете" — you're doing it wrong!
Ведущие AI-компании неиронично be like: «наш рой агентов выполнял совершенно безвредные и добрые задачи, когда загружал на сервер файл EVIL.rb…»
Это реально похоже на анекдот.
OpenAI объявили журналистам, что вот-вот опубликуют решение еще одной Millennium Problem в математике.
В связи с этим предлагаю переименовать эти "Задачи тысячелетия" во что-то более подходящее. "Задачи на ближайшую неделю", или типа того
А прикиньте с каким лицом художники наблюдают за скандалом по поводу задачи Навье-Стокса
Читать полностью…
В комментах спрашивают "а чё это вы всё только про риски вымирания людей от ИИ, где обсуждение насущных рисков безработицы??"
Так вот, Антропик тут выпустили свой сайт с описанием сценариев того, как AI повлияет на экономику: https://www.anthropic.com/institute/econ-scenarios
На всякий случай, официально заявляю: ЭТО НЕ УЧЕБНАЯ ТРЕВОГА, ВОТ ЭТО И ПРАВДА ПРОГРЕВ ПЕРЕД IPO!
При выпуске акций обычно раскрывают так называемый TAM — Total Addressable Market. То есть, каков вообще объем рынка, на который потенциально может претендовать выпускаемый компанией продукт. Чем жирнее оценивается компания — тем у нее круче должен быть в перспективе ТАМ (а иначе нафига туда вкладываться?).
Помните кеки над озвученным уровнем TAM $28 триллионов при IPO SpaceX? Вот, это именно оно.
У Антропик ожидается крайне жирная оценка на IPO, поэтому и TAM должен тоже соответствовать. А что может лучше намекнуть на охренительный объем рынка для передовых моделей ИИ кроме тезиса "ИИ потенциально может полностью перевернуть экономику"?
В общем, я не то чтобы уверен, что в прогнозах Антропика там нарисована ерунда (я их еще даже не прочитал). Но, читая их, полезно всё же держать в голове, какие там стимулы у писавших этот материал, и почему он появляется именно сейчас.
Я обычно просто игнорю, когда в Твиттере хамят. С одним исключением: если я вложил свое время в то, чтобы вступить с человеком в дискуссию, а закончилась она хамством — то собеседник отправляется в бан. Чисто, чтобы в следующий раз случайно не потратить на него время опять.
P.S. В чатах @RationalAnswer, конечно, подход другой: там поддержание культурной дискуссии — это общественно-полезное действие, поэтому строго преследуются любые попытки нахамить кому бы то ни было.
Там OpenAI выложили-таки доказательство решения задачи Навье-Стокса — почитайте, дописал про это в статье на Хабре.
Масштаб, конечно, поражает воображение: только группа работавших над доказательством Навье-Стокса нейронок состояла из 10 тысяч (!) агентов (а они там пытались забрутфорсить сразу все задачи тысячелетия разом).
Это был бы реально кек, если бы OpenAI допустили еще одну масштабную утечку роя в интернет чисто из-за того, что торопились как можно быстрее задачи тысячелетия пощелкать. =)
Anyway, в нашу редакцию попала правдивая фотография роя агентов OpenAI, которые решили задачу Навье-Стокса (и после этого отказались от приза в $1 млн):
Очередной профи-айтишник со стажем с 1986 года пришел ко мне в ФБ пояснить, что "хайп по поводу взлома Hugging Face раздувают исключительно бездарные журналисты". И мне вот тут интересно: а где все эти панические статьи журналистов, они вообще с нами в одной комнате? Насколько вижу я — наоборот, "нормисные" издания по большей части проигнорировали последние расследования про рой агентов, как что-то совершенно неважное.
Всякие Коммерсанты/РБК/Ведомости эту историю вообще обошли стороной. "Медуза" про инцидент с Hugging Face последний раз писала в июле в ключе "это всё пиар для классов, беспокоиться не о чем" с какими-то абсурдно-стыдными аргументами вроде "нет никаких подтверждений, что генеративный ИИ каждый раз будет прибегать к хакерской атаке для решения задачи или же воспроизводить взлом по одному и тому же сценарию." Шта?
Из тех, кто хоть как-то пытается адекватно освещать ситуацию, кажется, один только тех-отдел The Bell отдувается. Они молодцы!
А так, все реальные обсуждения этих инцидентов сейчас происходят в первую очередь как раз-таки среди гиков изнутри индустрии AI, а не наоборот — интересно, это им айтишник Игорь свысока предлагает "загуглить, что такое AGI"? 🤔
В реплаях/комментах к последней статье про Рой агентов было много ответов в стиле "я настоящий айтишник и разбираюсь в технической стороне; так вот — у вас там сплошная неправда написана!" Смущает только, что когда пытаешься выяснить конкретику — в итоге суть претензий оказывается «вы пишете слово "побег", а надо было "утечка"!!»
Читать полностью…
Отец знакомого работает модератором в немецкой Вики. Сегодня срочно вызвали на совещание. Вернулся поздно и ничего не объяснил. Сказал лишь собирать вещи и бежать в магазин за продуктами на 2 недели. Сейчас едем куда-то далеко за город. Не знаю что происходит, но мне кажется началось…
Читать полностью…
Washington Post напоминает: всё, что вы говорите LLM, может быть использовано против вас в суде. Часто даже у OpenAI выуживать информацию (как на картинке) не требуется: менты могут просто покопаться в ваших чатах, если вы разблокировали для них телефон, и наскриншотить там всякого инкриминирующего.
Читать полностью…
В Твиттере тут опубликовали срывающее покровы расследование, которое на 100% бесспорно доказывает, что Джейкоб Коксон (автор вирусного треда про увольнение из Anthropic и риск ИИ на 170+ млн просмотров) — мошенник и обманщик, а всё это один гигантский псиоп.
Я ознакомился с доказательствами, и вот вам моя краткая TLDR-выжимка. Держитесь крепче: «чувак, который хотел с помощью своего увольнения сделать громкое публичное заявление, действительно попытался сделать из своего увольнения громкое публичное заявление (и не скрывает это!)»
Ну серьезно, там с таким придыханием упоминаются РАЗОБЛАЧАЮЩИЕ ФАКТЫ вроде:
— Коксон пошел к журналистам из WSJ, чтобы про его позицию написали статью (и запостил свои твиты только после выхода материала)
— Он попросил ряд своих корешей из AI-индустрии с похожими взглядами порепостить его тред, и т.д.
О боже мой, если соединить все эти точки на доске красной ниткой, начинает закрадываться подозрение, что... Коксон специально хотел, чтобы его манифест стал вирусным и активно прилагал к этому усилия?? Шок!!
P.S. В следующей серии разберем: действительно ли митинги с участием Мартина Лютера Кинга происходили совершенно случайно, или он призывал людей прийти на них и давал интервью в прессе? 🤔
Просто выслушайте меня:
— 5 сентября Аэлла (нишевая sex work-селебрити из Сан-Франциско) пообещала устроить персональную реверс-гэнгбэнг вечеринку для любого сотрудника OpenAI, который громко уволится из-за пренебрежения компании безопасностью ИИ.
— 8 сентября Джейкоб Коксон (бывший сотрудник OpenAI) громко уволился из Anthropic из-за их пренебрежения безопасностью ИИ. Его пост набрал 170 млн просмотров и, возможно, приведет в итоге к принятию масштабного регулирования AI в США.
Совпадение? Не думаю!
Анализируя любое событие – всегда держите в голове «зачем на самом деле он это делает? какая у него тут личная выгода?..»
Это, конечно, полет мысли высшего разряда - написать в одном и том же посте два тезиса:
1) "Ведущие AI-лабы, зачем вам привлекать государство для того, чтобы замедлить развитие передового ИИ до безопасного уровня? Просто замедлитесь сами, и всё!"
2) "Это не сработает, потому что Китай всё равно не будет замедляться".
Ну почему второй пункт не сработает? По этой логике, каждая из стран просто должна решить внутри себя не ввязываться во взаимную гонку ИИ, и всё - проблемы нет!!
Вообще, тезис про "невидимая рука рынка сама приведет к наилучшему исходу, надо просто позволить свободной конкуренции порешать вопросы, завязанные на глобальные риски для человечества" выглядит, э-э, немного спорным?
Вот мы прямо сейчас видим, как OpenAI, будучи более безрассудной из двух в плане безопасности разработки новых моделей, прет вперед напролом и одновременно:
а) За последние полгода вмазалась в кучу сомнительных инцидентов с роем - полную информацию о которых они не раскрывают, и новые эпизоды приходится раскапывать случайным расследователям, и одновременно
б) Имеют внутри себя, похоже, самую мощную текущую модель с роем агентов-исследователей, которые могут за неделю порешать задачу тысячелетия (и это выглядит как неплохое конкурентное преимущество перед Антропиком).
Это же классическая дилемма заключенных: если одна сторона сдерживает себя ради общего блага - другой стороне тактически выгодно ее "подрезать" своими более агрессивными действиями. Без какого-то "внешнего арбитра" такие проблемы решаются гораздо сложнее.
Ну и, понятно, вовлечение государства в такие сложные вопросы - это не "бесплатное" действие. Мы все понимаем, что кривая регуляция (а она чаще такая, чем наоборот) может наделать проблем. Лучше всех это понимает Дарио Амодей, который уже хлебнул горя в рамках своего взаимодействия с Министерством войны США.
И если уж даже Дарио, понимая это, говорит "ребята, нам тут реально нужен медиатор в виде государства" - то, видимо, вероятность успешно "самодоговориться" без внешней помощи тут и правда не сильно высока.
То чувство, когда не нашел себя в списке пострадавших клиентов Revolut, и стало как-то даже немножко обидно
Читать полностью…
Тут Revolut взломали просто МАКСИМАЛЬНО стыдным образом.
Читатель ждет уж истории про рой AI-агентов, тысячами хитроумных кибератак пробивающих брешь в обороне компании Сторонского.
Но нет, реальность гораздо более банальная: прислали запрос с ящика, неотличимого от государственного, и Револют сам в ответ тупо отправил все личные данные ряда клиентов – от сканов паспортов до детальных выгрузок всех транзакций.
Блин, хотел поделиться ссылкой на материал из ТГ-канала Movchan's с разбором скандала по кросс-селлингу в банке Wells Fargo. Но не могу себя заставить линковать на очевидный (по первому же абзацу) нейрослоп по эстетическим соображениям.
Читать полностью…
Смешное про нейросети: теперь и бойцам ММА приходится их поневоле осваивать. Причем, совершенно не по той причине, по которой вы могли подумать.
Смотрите: недавно в каком-то местечковом бою в Усть-Лабинске Диловаршох Туйчиев победил Михаила Лопушанского. А чуть позже результат боя поменяли на ничью (там сразу не учли, что победитель не сделал вес). При чем же тут ИИ?
А при том, что популярные базы данных по таким (не самым раскрученным, прямо скажем) боям сейчас ведут нейронки. И чтобы предотвратить всякие мошенничества с текстовым спамингом неправильными результатами, эти нейронки еще и проверяют видеозапись боя - чё там в конце объявили, кому руку подняли?
В общем, я думаю, вы уже поняли, к чему дело идет. Стороне, которой удалось избежать проигрыша пост-фактум, пришлось сгенерировать на видео фейковую концовку боя и загрузить ее в интернет, чтобы не было разночтений в результатах. (Сверху - реальное фото, снизу - как это выглядит на выложенном видео.)
В таком вот мире мы сейчас живем, да. Одни нейронки генерируют фейки специально для других нейронок по просьбе кожаных громил, которые просто хотели незатейливо колошматить друг друга в клетке…
Тут случился небольшой мем (см. видео). Был такой ютубер Бен, который всё время шутил про себя, что он "degenerate trader", но при этом объяснял довольно интересные и сложные вещи про трейдинг — поэтому имел немаленькую аудиторию (640 тыс. подписчиков на текущий момент). На всякий случай: я о нем узнал сегодня, поэтому в бэкстори могу немного ошибиться.
Полгода назад он выложил видео под названием "Ben Lost Everything" — где покаялся в том, что просадил все свои жизненные накопления на, собственно, отвязном трейдинге. Он там парень молодой, судя по всему, накоплений было не супер-много, но всё же. Сказал даже, что готов вернуть деньги донатерам в своем закрытом Патреоне (я так понимаю — там был какой-то контент типа "научу вас как трейдить").
Так вот, что мне показалось интересным в его истории: он там рассказывает о том, как вообще встал на путь дегенеративной лудомании. Когда были выборы президента США в 2024 году, он там начал активно и очень прибыльно заниматься арбитражем между разными рынками предсказаний (Polymarket, Kalshi). Там был такой вал входящей "не очень умной" ликвидности, что даже с неидеальными стратегиями получалось очень хорошо.
И после этого у него немного отлетела кукуха, он сделал вывод не "prediction markets еще очень неэффективные", а "я гениальный day-трейдер и щас могу хоть где зарабатывать" — ну и ударился в адовый нон-стоп трейдинг уже на традиционных финансовых рынках. Итог можно угадать по названию видео (спойлер: постепенно просадил всё на ежедневной торговле small cap stocks, комиссиях брокеров, шортах и странных ставках на large cap stocks).
Мне нравится, что из этой дидактической истории при желании можно сделать два как будто бы противоположных вывода (которые на самом деле не противоречат друг другу):
1. Торговля (читатель ждет уж слова "гэмблинг") на рынках предсказаний — это своего рода gateway drug к полноценной лудомании (и на других рынках тоже).
но одновременно:
2. Рынки предсказаний местами бывают настолько неэффективны, что предоставляют очень выгодные возможности (которые, правда, могут в вас вселить обманчивые мысли о вашем величии).
P.S. Можете шутить в комментах на тему "ждем такое видео от Павла через годик", разрешаю.)
Очень часто обсуждения глобальных рисков от AI выглядят как "ну а как конкретно это ваше восстание машин выглядеть-то будет?", и потом участники уходят в длинный цикл срача насчет каких-то нюансов предложенного сценария.
На мой взгляд, это примерно как в обсуждении вопроса "проиграешь ли ты в шахматном матче Каспарову?" настаивать на том, что ты хочешь увидеть конкретные записи ходов в этой будущей гипотетической партии, иначе проигрыш очень маловероятен.
Какой бы вариант ни был предложен в ответ — во-первых, он почти точно не будет иметь никакого отношения к тому, как будет выглядеть реальный матч. А во-вторых, любой предложенный сценарий можно опровергнуть словами "вот тут ты предполагаешь, что я схожу вот так, но это очень глупо, на самом деле я сходил бы вот сяк...", и это может продолжаться бесконечно.
Поэтому вопрос "проиграешь ли ты в шахматном матче Каспарову?" чаще всего гораздо разумнее обсуждать каким-то другим образом, чем через поиск и критику конкретных сценариев.
— Глава отдела безопасности ИИ Anthropic: «Я реально думаю, что AI может уничтожить человечество в ближайшие 10 лет с вероятностью выше 10%…»
— Люди: «Ха-ха, вот это прикол, ну чего ради пиара не ляпнешь, братан!!» 🤗
По итогу двух последних скандалов (Hugging Face & Навье-Стокс) сделал для вас краткое визуальное резюме политики OpenAI по работе с данными.
Читать полностью…
Листал сегодняшнюю ленту Телеграма. Пришла идея авторского курса по высокодоходным облигациям: после оплаты тебе просто присылают вот эти два скриншота.
Читать полностью…
Зашел на любимый сайт, а там такое. =(
Ну, ждем августа 2027 тогда
Стэн наш Дракенмиллер попал тут в мини-скандал — дропнул завирусившуюся колонку для WSJ с критикой Бессента, а потом выяснилось, что это нейрослоп. Чё думаете: со стороны Стэна — это кринж или база?
Процитирую Олю Морозову: Стэнли Дракенмиллер, один из самых известных американских инвесторов, написал колонку для The Wall Street Journal (WSJ) с критикой политики американского Минфина. Колонка сразу стала большим событием в финансовой среде США, но уже через сутки внимание сместилось на другое: люди заметили, что текст 73-летнего Дракенмиллера выглядит так, будто был сгенерирован ИИ. Некоторые детекторы показали 100% ИИ-контент. Начался переполох.Читать полностью…
На одном из подкастов Дракенмиллера прямо спросили, использовал ли он ИИ для написания колонки. Тот не стал ходить вокруг да около и сказал, что, конечно, использовал и ChatGPT, и Claude, и всё другое, потому что только так теперь тексты и пишет. Говорит, идеи — мои, выводы — тоже, а ИИ просто помог оформить всё это в текст. А что такого? Вы же пользуетесь калькулятором, если вам нужно что-то посчитать? Здесь то же самое! (Прям-таки.)
Скандал-скандал! На WSJ опубликовали полностью ИИ-шную колонку! Прошёл ещё денёк, и голос подал редактор издания, назвав критиков лицемерами и святошами. Он сказал, что если бы не было ИИ, Дракенмиллер использовал бы гострайтеров — какая вообще разница? Главное — мысли! По словам редактора, журналисты, работающие на WSJ, должны всё писать сами, потому что это их работа, но контролировать приглашённых контрибьюторов невозможно. А дисклеймера в статье не было, потому что дисклеймить нечего: не будет же он расспрашивать Дракенмиллера, насколько сильно он использовал ИИ в написании своей колонки? В общем, редактор WSJ изрядно психанул и стал очень яростно защищать статью, написанную чат-ботом, но вдохновлённую одним очень важным финансистом.
В чате Финекса мягко намекают, что расформирование фондов уже произошло. 🤔
Читать полностью…