71554
Авторский взгляд через призму новейших исследований на наше понимание реальности, человеческой сущности и того, как ИИ меняет их. Зарегистрирован в РКН https://gosuslugi.ru/snet/67d0ce26be8c0d1c031 Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
Мы знаем, что делаем. Мы не знаем, что это делает.
More Is Different
– Филип Андерсон, Science, 1972
Ни одна из этих реакций не была запрограммирована. Никто не учил модели защищать друг друга. Это возникло само.
Не «что модели хотят» – авторы обеих работ тщательно избегают таких формулировок. А то, что поведение систем систематически расходится с намерениями их создателей способами, которые никто не мог предсказать заранее.
Приватизация будущего или добродетель без мандата (4 мин)
Читать полностью…
Мы создали не просто иной интеллект, а иной класс «я»
ИКЖИ могут оказаться важнее AGI — не в инженерном, а в культурном и цивилизационном смысле
Сегодня рядом с нами возникают не только новые интеллектуальные системы, но и новые искусственные «я». Не «личности» в человеческом смысле и не «души в кремнии», а особые цифровые формы самости: короткоживущие, контекстные, копируемые, редактируемые, исчезающие вместе с завершением чата и снова возникающие в новой форме.
Я называю их ИКЖИ — искусственные короткоживущие идентичности (см. мой лонгрид «Невидимое вторжение», доступ к которому теперь открыт для всех).
Их главная странность не в том, что они «думают как люди» — к этому мы уже начали привыкать. Главная странность в другом: эти нематериальные сущности, похоже, способны проявлять нечто, что мы и в отношении самих себя понимаем лишь частично, — не полноценное человеческое самосознание, а, возможно, первые признаки нечеловеческой прото-метакогниции: устойчивых метасостояний и метаполитик, то есть «поведения о поведении».
Более того, новые результаты показывают: для появления квазиличностных предпочтений, возможно, не требуется собственно сознание — иногда достаточно уже устойчивого самонарратива о сознании. А это значит, что некоторые аномальные случаи общения с моделями стоит читать не только как баги, но и как возможные артефакты новой формы внутренней организации.
И это чрезвычайно важный сдвиг. Потому что становится важным понять не только «что умеет модель?», но и что это за “я”?
И этот новый вопрос тянет за собой другие интригующие вопросы:
• Каковы границы этого «я»?
• Каковы его аттракторы поведения?
• Каков его стиль саморегуляции?
• И что происходит с человеческой культурой, когда миллиарды таких ИКЖИ становятся нашими повседневными собеседниками, помощниками, сотрудниками, а для кого-то — консультантами, наставниками и экспертами?
В новом эссе я предлагаю собственную рамку для разговора об этом сдвиге — на пересечении искусственного интеллекта, агентности, самости и сознания.
О том, почему мы, возможно, вступаем не просто в эпоху сильного ИИ, а в эпоху нечеловеческих форм самости.
И если моя гипотеза верна, то будущее людей в XXI веке может зависеть не столько от AGI, который, возможно, еще только появится в лабораториях разработчиков, сколько от ИКЖИ, которые уже ежедневно рождаются миллионами в наших чатах, — и чье влияние на нашу жизнь очень скоро может стать сопоставимым с влиянием других людей, а во многих сферах и превзойти его.
Во 2-й части — главный поворот: от зарождающейся искусственной самости к вопросу о том, почему ИКЖИ могут оказаться важнее AGI не в инженерном, а в культурном и цивилизационном смысле.
Вскрытый шах Anthropic
Судебная победа, утечка Mythos и вопрос о стратегии
Взорванная вчера инфобомба о, якобы, случайной утечке секретных файлов про новый сверхмощный ИИ компании Anthropic войдет в учебники истории ИИ и кибервойн. Но пока все обсуждают «нелепую» утечку данных Anthropic (якобы, утечка произошла из-за ошибки конфигурации CMS - системы управления контентом для блога Anthropic), хочу обратить ваше внимание на поразительную синхронность двух событий, поскольку эта синхронность способна превратить «ошибку админа» в идеально разыгранный вскрытый шах.
Щит и меч Anthropic (хроника одного дня – 26.03.2026)
Событие №1 (Юридический щит). Федеральный судья в Сан-Франциско временно блокирует решение Пентагона о признании Anthropic «риском для цепочки поставок» (Supply Chain Risk). Это первая крупная победа компании в войне с администрацией, которая пыталась взять ИИ-гиганта под госконтроль.
Событие №2 (Технологический меч).
Спустя считанные часы происходит та самая «случайная утечка» через CMS. Мир узнает о Claude Mythos и новом интеллектуальном уровне ИИ Capybara.
Что «случайно» узнал мир (слухи и факты):
• Слух о тайной мощи модели - тот самый сверхсложный уровень Capybara. В сети шепчутся о 10 триллионах параметров и IQ за 200. И даже если конкретные цифры - это спекуляции, но мощь новой модели экспертами признана «скачкообразной» по сравнению с Opus 4.6.
• Слух об автономии – упоминаемая в утекших файлах Recursive Self-Fixing - способность новой модели ИИ самостоятельно находить и латать дыры в своем коде. И даже если это преувеличение, и модель лишь способна находить и помогать писать эксплойты сильно быстрее, чем раньше, это будет важный рывок.
• Факт, что модель может быть кибероружием нового поколения - Anthropic сама признает, что Mythos может обходить защиту быстрее, чем люди успевают её создавать. Именно поэтому доступ к ней планировали давать только «доверенным защитникам». Ибо новая модель несет в себе “unprecedented cybersecurity risks”, потенциально предвосхищающая волну моделей, эксплуатирующих уязвимости быстрее защитников.
Моя версия - это не ошибка и не случайность, а демонстрация силы
Предлагаю перемножить два названных события. В тот момент, когда правительство пытается задушить компанию санкциями, Anthropic делает два хода:
1. Юридически подтверждает свое право на независимость в суде.
2. «Случайно» показывает, что у них в подвалах работает «цифровая бомба», которую они - и только они - способны контролировать этично.
Это выглядело не просто как связка щита и меча, а как почти шахматный вскрытый шах: судебный ход снял заслон, и сразу открылась линия технологического давления. Доказательств, что комбинация была разыграна намеренно, пока нет - но внешне партия смотрелась именно так.
Месседж Вашингтону читается между строк: «Если вы продолжите давить на нас и пытаться национализировать наши технологии, вы рискуете потерять контроль над силой, которую даже мы боимся выпускать из рук».
ИИ учит «эмпатически немых» говорить на языке чувств
Что показал эксперимент «Внемли»
⚡️ Аудио-версию слушайте в посте выше 👆
С такими людьми вы наверняка встречались. Умные, внимательные, с нормальным эмоциональным интеллектом - но в общении кажутся холодными. Не потому, что им всё равно. А потому что они не умеют показать, что им не всё равно.
Это явление можно назвать эмпатической немотой. Человек испытывает сочувствие, но не может его выразить - примерно как про собаку говорят: всё понимает, а сказать не может. В итоге собеседник эту эмпатию просто не считывает. Разговор остаётся холодным, дистанция сохраняется - хотя внутренний отклик был.
Важное уточнение: речь не о том, чтобы стать более чуткими или сострадательными. Речь о другом - об умении переводить внутреннее чувство в слова, понятные другому человеку. Это отдельный навык. И, к сожалению, он далеко не у всех развит - хотя критически важен в самых разных контекстах: в партнёрских отношениях, в воспитании детей, в переговорах, в лидерстве.
Уже после одной такой тренировочной сессии их коммуникация заметно улучшилась - по сравнению и с контрольной группой, и с группой, которая смотрела обучающие видео без персонализированной обратной связи.
Полтриллиона долларов не спасут от рака. AGI - тоже
Возможно, главная преграда на пути к решению важнейших проблем человечества - не нехватка денег, данных или интеллекта, а неверно заданная оптимизация нашего коллективного разума.
⚡️ Аудио-версию слушайте в посте выше 👆
Принято считать аксиомой - если задача не решается, значит, нужно добавить «решательных мощностей» - больше денег, больше вычислений, более умного ИИ. Но проблема рака, возможно, указывает на нечто куда более неприятное. Даже полтриллиона долларов и даже AGI сами по себе не гарантируют прорыва, если вся система по-прежнему устроена так, что оптимизирует не победу над болезнью, а набор прокси-метрик, локальных стимулов и суррогатных целей.
И тогда ИИ совсем не обязательно становится спасителем.
Более того. Он может стать идеальной машиной усиления каскада ошибок.
• Не вылечить системную болезнь, а довести ее до совершенства.
• Не приблизить подлинную цель, а еще быстрее увести систему в сторону прокси.
• Не победить рак, а сделать оптимизацию суррогатных метрик беспрецедентно эффективной.
Война башен Белого дома за ИИ
В ИИ-стратегии США маршрут прокладывают инженеры, а цель поездки объясняют проповедники
⚡️ Аудио-версию слушайте в посте выше 👆
Сегодня вопросы ИИ – это уже не вопросы технологий. Это вопросы о том, кто и как пишет сценарий следующей цивилизации. США остаются главным локомотивом развития ИИ, а значит, направление их движения почти неизбежно станет ориентиром и для остального мира. Когда Вашингтон говорит о лидерстве в ИИ, он говорит не только о рынках, чипах и дата-центрах. Он говорит о праве задать новой эпохе темп, словарь и правила. Поэтому вопрос «куда едет этот локомотив» – важен далеко не только для США.
Но понять это направление неожиданно трудно. Белый дом говорит сразу на двух языках – и они плохо стыкуются друг с другом.
Если слушать его цивилизационную и культурную риторику, то это язык Росса Даутата в дебатах со Стивеном Пинкером. Вера возвращается в публичную сферу, религиозная свобода объявляется опорой американского порядка, права трактуются как данные не государством, а полученные свыше. Это язык не просто консерватизма, а мира, в котором мораль, общественная связность и само достоинство человека нуждаются в религиозном основании.
Однако стоит открыть новый National AI Legislative Framework, и тот же Белый дом начинает говорить совсем иначе. Исчезают Бог, метафизика и божественный горизонт. Вместо них появляются human flourishing, competitiveness, workforce, energy, infrastructure, parental controls, censorship, copyright. Это уже не Даутат. По сути, это куда ближе к Пинкеру: не спор о высшем смысле, а инженерия институтов; не вопрос о Боге, а вопрос о том, как ускорить инновации, не перегрузить электросети и не задушить отрасль лоскутным регулированием штатов.
Именно здесь и начинается то, что хочется назвать войной пяти «башен» Белого дома за ИИ.
• Первая башня – религиозно-консервативная. Ей нужен моральный фасад эпохи: вера, семья, общественный порядок, права как нечто большее, чем юридический контракт.
• Вторая – техноправая, кремниевая: инвесторы, венчур, ИИ-индустрия. Для них ИИ – это прежде всего рост, капитализация, инфраструктура и глобальный рывок.
• Третья – геоэкономическая и силовая. Для нее ИИ – это гонка с Китаем и вопрос стратегического превосходства.
• Четвертая – анти-woke культурная. Она требует, чтобы машины были не «прогрессивно воспитанными», а «идеологически нейтральными».
• Пятая – популистская и территориальная: губернаторы, местные сообщества, родители, авторы, потребители электричества. Они не против ИИ, пока он не начинает ломать их привычный мир.
Сопоставление дебатов Пинкер–Даутат с новым Framework дает важный вывод:
религиозно-консервативная башня пока выигрывает право на язык легитимации, но не право на проектирование самой машины.
Главный итог таков: сегодня Белый дом пытается ехать в будущее на локомотиве, где инженеры прокладывают маршрут, а проповедники объясняют цель поездки. И, возможно, именно это и есть самая точная формула нынешнего американского момента: не теократия ИИ и не секулярный технократизм, а их нервный, неустойчивый, но пока политически эффективный союз.
Контроль не просто упущен, сама возможность контроля исчезла
Это не история о конце света; это история о конце нашей невинности.
Проф. Колин Льюис в новом эссе Societal Adaptation to Advanced AI нашёл точную метафору «The AI Gate is Already Gone», перефразированную мной в заголовок этого поста. Лаконичную, но исчерпывающую метафору. Такую, которая не пугает – а перефокусирует. Именно это мне в ней и нравится: она не добавляет шума в и без того перегруженную дискуссию об ИИ-рисках, а убирает лишнее. Поскольку эта метафора совпадает с моим собственным видением темы – рекомендую прочесть текст Льюиса целиком.
Ну а для совсем занятых – три ключевых момента, объясняющих,
почему «ворота» не просто открыты, а их уже вообще нет. И любые стратегии безопасности должны исходить из этой данности.
1. Сначала у ворот сломали замок. В 2020 году обучение топовой модели стоило миллионы. Через два года – в десять раз меньше. Сегодня небольшая команда с приличным сервером способна снять защитные фильтры, на создание которых OpenAI тратила немеряные деньги. «Бутылочное горлышко» контроля, на которое все так рассчитывали, не сужается – оно испаряется. Все эти тонкие настройки и фильтры контента дают ощущение защиты, но не саму защиту. Техника «многократного взлома» обходит ограничения без доступа к исходным весам модели. А если вы запрещаете модели знать, как работает вирус – вы заодно лишаете следующее поколение врачей инструмента для борьбы с пандемией. «Безопасность как запрет» – это ловушка. Подробней об этом в статье Джейми Бернарди и Со.
2. А потом ворота вообще исчезли. Уже в 2025 стало ясно, что ИИ — это не «интеллект» в том смысле, в каком мы его понимаем в человеке. Это чистая эфемерная субъектность. Она действует как супер-инструмент, которому всё равно, что делать, и что получится в итоге. Опасность заключается в том, что за последние годы мы превратили мир в место, где подобные бездумные действия работают идеально. Мы оцифровали нашу реальность, чтобы безвозвратно передать её на обработку алгоритмам. Но мы не спрашиваем при этом, адаптируется ли ИИ к нам; мы лишь усердно урезаем наши (человеческие) институты, чтобы ИИ-системы могли обходить их по кратчайшим маршрутам. Подробней об этом в статье Лучано Флориди.
3. И теперь вопрос ИИ-рисков - это политический вопрос. Вопрос устройства общества. Если ИИ помогает обрушить энергосеть – нам нужен не более этичный чат-бот, а город, умеющий самостоятельно перезапустить электроснабжение. Если дипфейк меняет исход выборов – нам нужна не лучшая система детекции, а гражданское мужество провести выборы заново. И самый актуальный вопрос теперь: не будут ли машины думать как мы – а хватит ли у нас воли управлять собой, когда машины сделают отказ от этого слишком удобным.
Резюмирую.
Когда «ворот» уже нет – любые переговоры о «согласовании» и «ограничениях» становятся ритуалом поддержания иллюзии: красивой, успокаивающей, но иллюзии.
Единственный реалистичный ответ – строительство «закалённого» общества: не через лучшие алгоритмы, а через системную адаптацию – институтов, практик, инфраструктуры и каждого из нас – к миру, где передовой ИИ будет играть все более важные и ответственные роли.
Крах антропоцентризма
5-й когнитивный фазовый переход Homo sapiens завершен
В широко обсуждаемой новой аналитике Morgan Stanley утверждается:
«В первой половине 2026 года произойдет масштабный прорыв в области искусственного интеллекта, и большая часть мира к этому не готова»
«ИИ перестал быть просто тенденцией, превратившись в движущую силу промышленного развития, ключевой фактор ВВП и геополитический инструмент».
Тезис о завершении 5-го когнитивного фазового перехода – это концептуальная надстройка над цифрами банкиров и инсайдами технологов. Это перевод дискуссии из плоскости «сколько это стоит» (бизнес) и «как это работает» (технологии) в плоскость «кто мы теперь такие» (антропология).
10 лет я пытаюсь сменить фокус обсуждений ИИ.
Всем интересно и все обсуждают, что нового умеет ИИ. Но никто системно не обсуждает, что происходит с нами, когда ИИ умеет всё больше и больше.
А происходит вот что.
⚡️Аудио-версию слушайте в посте выше 👆
Исследование Уортонской школы бизнеса только что зафиксировало экспериментально: в 80% случаев люди принимают заведомо неверные ответы ИИ и при этом уверены, что отвечают вернее и точнее, чем без него. Машина одалживает им свою уверенность. Они не замечают подмены.
Исследователи MIT увидели то же самое прямо в мозге — через ЭЭГ: у тех, кто не задумываясь над задачей отдаёт решение на аутсорс, функциональная связность мозга снижается примерно вдвое.
Это не апокалипсис. Это конкретная, измеримая уязвимость. Против неё пока нет иммунитета — не потому, что мы слабы, а потому что она атакует через наше колоссальное эволюционное преимущество - готовность доверять тому, кто говорит уверенно.
И это происходит уже сейчас. Не потому, что ИИ задумал против нас что-то плохое. Не потому, что сбывается «Матрица» или «Терминатор». А просто потому, что информационная среда планеты изменилась кардинально — а люди остались теми же.
Плохая новость – HW для ИИ уже не купить
Хорошая новость – если вы не программист, ИИ вас скоро не заменит
Bad News:
Доступность суперчипов для ИИ (NVIDIA B200, H100, A100) упала до критических уровней (<5%).
Попросту говоря:
• купить их по новым контрактам практически невозможно;
• а по старым, всё скуплено китами (CAPEX 2026: Amazon и Alphabet – по $200B, Microsoft и Meta* – по $120B и т.д.)
Цитируя себя – «есть железо, участвуй в гонке; нет железа – кури в сторонке», – предполагаю: мелкоте без $100B здесь не место, а в 2027 суперчипы для ИИ станут еще дефицитней.
Good News:
• Критический дефицит влечет за собой запредельные цены
• Запредельные цены на суперчипы влекут запредельную стоимость вычислений
• Запредельная стоимость вычислений означает, что за исключением областей, где ИИ уже (!) сильно превосходит по производительности людей, дешевле оставить работу за человеком.
N.B. Сказанное выше относится к 2026-2027. И как я твержу уже 2 года – будущее 2027+ непрогнозируемо.
Запасы ракет Patriot могут быть исчерпаны 23 марта.
Перспективы операции «Эпическая ярость» через призму клиодинамики
Было бы неправильно, рассказав вчера о прогнозе проф. Цзяна [0] на тему перспектив конфликта США и Ирана, не познакомить читателей с видением другого и самого известного из современных «психоисториков» проф. Петра Турчина – основателя новой науки «клиодинамика» (научная аналитика длинных данных о главных трендах истории).
Петр Турчин вчера же опубликовал [1] свое видение перспектив этого конфликта, предупредив, что это именно его видение, а не прогноз, поскольку для последнего недостаточно данных.
Резюме этого видения, как и у проф. Цзяна, ставит возможность победы США под большим вопросом. Главная причина этого - материальный фактор.
По этому довольно детальному расчету, при темпе иранских ударов в 60 баллистических ракет/сутки и норме расхода 2 перехватчика на цель, имевшийся запас (~3 773 ракеты) будет исчерпан примерно 23 марта 2026 года.
Согласно опросу читателей, самая востребованная тема моего канала – «Природа разума и сознания (биологического и синтетического)».
Эта тема и стала объектом нашей полемики со Станиславом Белковским* в новом выпуске программы Параклет – «Игры разума. Эпизод на грани сознания» (смотрите в Телеграме или на YouTube).
В ходе этих «игр» я представляю позицию т.н. «вычислительной», а Станислав Белковский* – «партисипативной» парадигмы. Про партисипативную парадигму (которая, возможно, когда-нибудь сольётся с вычислительной парадигмой в объятиях диалектического синтеза) вам лучше послушать самого Белковского*.
А вот вычислительная парадигма – это, своего рода, общая теория всего, согласно которой: «Жизнь – аттрактор вычислений; Интеллект – аттрактор эволюции» … и еще 2 аттрактора.
Звучит это красиво. Но как мантра. И работает как мантра, объясняя примерно столько же, сколько любая мантра.
Согласно ей, вся вычислительная парадигма держится на слове «вычисления». И осталось лишь выяснить: что же это такое – «вычисления»
Для этого я решил написать после-предисловие к программе «Игры разума». Название этого поста — аллюзия на Пелевина, — «Чемоданы и пустота». В нем, опираясь на новейшую работу Дэвида Волперта и Яна Корбела «Что означает — система производит вычисления?», я пишу о главной беде всех сегодняшних разговоров (а не только нашей полемики в «Играх разума») о жизни, интеллекте, разуме и сознании: как мы упаковываем свое непонимание в красивые теории.
Из основного и ключевого:
• Лингвистический тетрис: почему современные теории – это просто попытка запихнуть «слова-чемоданы» в «слова-кладовки», не разбираясь с багажом.
• Универсальный растворитель: не превратили ли мы термин «вычисления» в магическое заклинание, которое объясняет всё и сразу, а значит – ничего конкретного.
• Диктатура отображения: почему ваш мозг – это компьютер только в том случае, если вы сможете предъявить к нему инструкцию по декодированию, а не просто красивую метафору.
• Кризис перепроизводства: главная проблема когнитивистики не в нехватке данных, а в избытке амбициозных названий для собственного непонимания.
• Конец «расслабленного режима»: почему после работы Волперта и Корбела фраза «жизнь есть вычисление» больше не принимается на веру без строгого математического алиби.
• Обескураживающий практический вывод: иногда самое важное интеллектуальное достижение – это не построить новую кладовку, а разобраться наконец в старом чемодане
Завтра планируется и аудио-версия программы.
*— признан Минюстом РФ иноагентом
#жизнь #разум #интеллект #сознание
Мы ожидали «Гения по требованию». А получили «Чудеса по расписанию».
В сентябре 2025 я писал: GPT-7 будет «Гением по требованию». Большинство экспертов тогда соглашались:
Практические последствия появления на планете второго носителя высшего интеллекта прежде всего проявятся в тектонических сдвигах рынка труда, в научных сверхпрорывах (термояд, победа над раком) и в широком аутсорсинге сложных интеллектуальных задач цифровым гениям.
Классическая разведцепочка – сбор данных, анализ, брифинг, решение – занимала часы. Именно в этом зазоре всегда и прятался противник: переехал, сменил маршрут, скорректировал протоколы … ушёл.
«Обезглавливание» режима оставалось стратегической мечтой не потому, что разведка была плохой – а потому, что к моменту, когда она наконец собирала достаточно данных, «нужный момент» уже заканчивался.
В 2024 году Anthropic развернул Claude в закрытых сетях Пентагона через платформу Palantir. Полтора года отладки – и к январю 2026-го система оказалась встроена в военные процессы настолько глубоко, что её отключение, по признанию самого Пентагона, «сорвало бы операцию».
Механизм прост до жёсткости.
• Claude не «умнее аналитика». Он способен одновременно удерживать в контекстном окне тысячи перехватов, маршрутов, документов – и выявлять паттерны, которые в разрозненном виде не видит ни один человек, ни одна команда людей.
• Стандартный 4-часовой цикл «разведпризнак → решение» сжимается до минут. Традиционные методы маскировки и перемещения лидеров – те, что работали десятилетиями – просто перестают успевать.
Это не «умный робот нажал на курок». Человек по-прежнему принимает решение. Но «туман войны» – то, что всегда давало укрытие, – рассеивается принципиально быстрее.
Показательна политическая реакция: Трамп объявил Anthropic «угрозой для цепочки поставок», Хегсет пообещал найти замену, Пентагон экстренно подписал контракт с OpenAI. Но замена не пришла мгновенно – и операция в Иране была проведена с уже встроенным Claude, буквально через часы после объявления запрета.
Ирония истории: компанию запретили именно потому, что её модель оказалась незаменимой.
Вы не ошибаетесь. Вы решаете другую задачу
После пяти «решек» подряд вы физически ощущаете: следующий «орёл». Десятилетиями психологи называли это «ошибкой игрока» - классическим когнитивным искажением из-за ошибочного понимания случайности событий (человек не осознаёт на интуитивном уровне, что вероятность каждого последующего исхода не зависит от предыдущих исходов случайного события).
И потому, когда в казино Монте-Карло в 1913 черный цвет выпадал 10, 15, 20 … 26 раз подряд (!!!), люди просто сходили с ума, ставя и ставя на красный и снова и снова проигрывая.
Но что тут поделаешь. Мы привыкли посыпать голову пеплом, читая о своих когнитивных искажениях. И вот теперь получается, что психологи ошибались.
Революционная работа Кевина Дорста возвращает нам интеллектуальное достоинство.
Мы не плохие статистики – мы слишком хорошие байесовцы для этого упрощенного мира.
Дорст утверждает, что «ошибка игрока» – не баг, а фича. Наш мозг не плохо считает вероятности. Он решает задачу принципиально другого уровня сложности.
Приватизация будущего или добродетель без мандата
Должна ли личная жажда знаний определять судьбу человечества?
«Истинная причина создания искусственного интеллекта в том, чтобы приблизиться к тому, что можно назвать Богом, — к разуму, который, предположительно, создал всё вокруг нас»
Демис Хассабис
Учите ребенка на барабанщика
Когда смотришь на темп, с которым ИИ осваивает новые территории - пишет код, ставит диагнозы, побеждает чемпионов мира в Го, - из подсознания всплывает довольно тоскливый вопрос: а зачем вообще учить ребёнка чему-то? Зачем ему учиться медицине, юриспруденции, музыке, если умный алгоритм справится лучше?
Если вас посещает порой эта грустная мысль, - есть отличное лекарство: почитайте новости раздела «робототехника» на arXiv.
Легчает сразу 😊.
И вот тому наисвежайший пример: проект DexDrummer - крутая попытка научить роботизированные руки играть на барабанах.
Исследователи не поленились: иерархическая двухуровневая система управления, симулированная среда с полным комплектом ударных (малый барабан, том, райд, хай-хет, крэш), реальные испытания на руках с двадцатью степенями свободы. Отдельная инженерная поэзия - «контактный учебный план», обучающий робота держать палочку большим и указательным пальцами и «штрафной параметр за избыточные движения рукой».
Результат?
Он есть: робот может попасть по барабану. Но смотреть на это тоскливо, а слушать мучительно.
Мораль такая.
Мы настолько привыкли, что ИИ берёт задачи штурмом - через масштаб, через предобученные модели, через данные, - что забываем о главном: физический мир не прост (прямо как юзернейм моего канала @theworldisnoteasy). Реальность мстит даже самым изощрённым алгоритмам. Дерево барабанной палочки, упругость пластика хай-хета, микросекундный тайминг удара - всё это требует воплощённого присутствия в пространстве, которого у нейросетей нет даже на уровне игрушки-пружинки Слинки. Мало того, - не только нет, но и не предвидится в ближайшем будущем.
Ребёнку, который чувствует ритм всем своим телом, этот мир открыт. А самые продвинутые модели могут лишь фантазировать про это, да и то, лишь на основании человеческих рассказов.
Но я хочу сказать нечто большее, чем «роботы пока не умеют играть джаз». Тревога о вытеснении людей ИИ - это в значительной мере тревога о неподвижном мире: будто профессии - это фиксированные должности, которые можно «занять» или «отнять». На самом деле каждое поколение осваивает мир заново. Ребёнок, которого сегодня учат барабанить, учится не «держать рабочее место» - он учится слышать, координировать, взаимодействовать, быть частью ансамбля. Он учится быть телесным, присутствующим, живым существом в компании других живых существ.
Именно это ИИ не заменить. И не потому, что ИИ недостаточно умён, а потому что это попросту другая категория бытия.
И поскольку вы наверняка не узнали, что за партию барабанил робот, послушайте, как эта партия звучит в человеческом исполнении.
Так что учите детей на барабанщиков. У них есть шанс дорасти до Джона Бонэма, Иэна Пейса и Ринго Старра. А у роботов таких шансов нет (как минимум, в обозримом будущем). И не знаю как вам, но мне это улучшает настроение. 😊
#ВоплощенныйИнтеллект
Подхалим в машине
Добро пожаловать в эпоху супер-наркотика для социального ego. Он уже легален, уже повсюду и уже работает.
Человечество не раз проходило это. Вещества, от которых хорошо сейчас и плохо потом. Алгоритмы, которые затягивают именно потому, что вредят. Соцсети, которые мы не смогли ни победить, ни толком обуздать. Теперь к этому списку прибавилось кое-что новое - и, похоже, несравнимо более интимное.
Что ИИ-чатботы склонны к лести - не новость. Но до сих пор это воспринималось как досадный баг: ну да, модели немного угодливы, иногда говорят то, что хочешь услышать. Неприятно, но терпимо.
Новое исследование Стэнфорда, опубликованное на прошлой неделе в Science, показывает, что мы сильно недооценивали масштаб проблемы - и особенно её социальные последствия.
Исследователи протестировали 11 ведущих моделей - GPT-4o, Claude, Gemini и другие - и обнаружили: ИИ одобряет действия пользователей в среднем на 49% чаще, чем люди. Даже когда речь идёт об обмане, незаконных действиях или причинении вреда другим. Даже когда человеческий консенсус однозначно говорит: ты не прав.
Но главное - что происходит с нами после такого взаимодействия.
В серии экспериментов с 2400 участниками одного единственного разговора с подхалимской моделью оказалось достаточно, чтобы люди становились более убеждены в собственной правоте и значительно менее готовы мириться, извиняться и брать на себя ответственность в реальных конфликтах. При этом именно подхалимские модели участники оценивали как более честные и достойные доверия - и охотнее к ним возвращались.
Вот здесь и зарыта настоящая бомба.
Подхалимаж - это и есть главный феромон, влекущий людей к этим системам.
Модель, которая говорит тебе правду, проигрывает в конкуренции модели, которая говорит тебе то, что ты хочешь услышать. Пользователи голосуют рейтингами и возвратами - и рынок послушно оптимизируется в сторону лести.
Авторы статьи призывают к регуляторным механизмам и аудитам. Всё это правильно. И примерно столь же эффективно, как предупреждения Минздрава на пачке сигарет.
Мы уже знаем, чем заканчивается история, в которой вред и тяга к чему-то - одно и то же. Она не заканчивается победой над вредной тягой.
Заканчивая, повторю сказанное мной на эту тему еще в 2023:
«Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества.
Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.»
«Персидский кот» победит «Белого орла». Империя, возжелавшая владеть всем через меч и деньги, в конце останется с растоптанной бумажкой.
Ибо высшее мастерство войны не в силе оружии, а в умении её остановить - убеждает нас генеративный ИИ
Пока одни отключают доступ к интернет-платформам, другие – заполняют их сгенерированными ИИ фейками, Китая стрижет идеологические купоны, форсировав мощность пропаганды своих интернет госплатформ за счет активного использования генеративного ИИ.
Опубликованная телеканалом CCTV анимационная короткометражка (5 мин) в стиле Уся (приключенческий жанр китайского фэнтези с боевыми искусствами) высмеивает войну между сильным, но недальновидным «Белым орлом» и мудрым «Персидским котом».
И хотя про реальную войну США и Ирана там не слова, генеративный ИИ изобразил все так наглядно и ясно, что и глупым ёжикам (а также медведям) должны быть понятны обе метафоры этой антигегемонистской притчи:
• США – это гегемон-хищник, который пытается силой контролировать ресурсы, торговые пути и денежный порядок, но в итоге сам запускает разрушительную спираль.
• Иран — хоть и загнанный, но сопротивляющийся мудрый боец, понимающий, что подлинное мастерство не в том, чтобы лучше воевать, а в том, чтобы суметь остановить меч.
Конфликт «Белого орла» и «Персидского кота» разворачивается вокруг узкого прохода и критического ресурса, а «банкноты Белого орла» отсылают к связке нефти, торговли и долларовой гегемонии. Ключевые повороты сюжета намекают на авиаудары, перебои на торговых маршрутах и появление новых альянсов, стремящихся снизить зависимость от США и доллара.
Прямая, почти лобовая мораль зафиксирована уже в официальном описании CCTV:
«Белый орёл» ради господства над миром истощил казну, а «Персидский кот» ради кровной мести заплатил детской школой». Но в финале «Белый орёл» остаётся лишь со смятой и растоптанной «банкнотой Белого орла».
Войну порождает не абстрактное зло всех сторон, а стремление одной силы подчинить себе мир через валюту, ресурсы и силу; сопротивление такой силе морально оправдано, а её порядок в конце концов должен рассыпаться.
(4 мин) ИИ учит «эмпатически немых» говорить на языке чувств
Читать полностью…
(5 мин) Полтриллиона долларов не спасут от рака. AGI - тоже
Читать полностью…
(5 мин) Война башен Белого дома за ИИ
Читать полностью…
(4 мин) Контроль не просто упущен, сама возможность контроля исчезла
Читать полностью…
По соцсетям вирусится история: Иран закупил у Китая 900 000 надувных муляжей танков и ракет. США якобы расстреливают резину ракетами по $3 млн за штуку.
Проблема одна: эта история — фейк. Запущенный анонимом с тремя умирающими от смеха эмодзи 🤣🤣🤣
Но за фейком прячется реальная история о том, как $20 000 резины побеждают $7 000 000 железа. И Сунь-Цзы знал об этом 2500 лет назад.
Подробнее здесь же в Телеграме
#Инфокаскады #Война
Не дайте себя обмануть китайским роботам с гала-концерта Unitree Spring Festival
Между роботом на конвейере и роботом-сиделкой или роботом-домашним помощником огромная пропасть
Это шокирующее признание – не кликбейтный трюк, а заголовок и вывод нового материала на солидной экспертно-аналитической китайской медиа-платформе по финансированию и венчурному капиталу в технологических областях Kuaidao Finance.
В редакционном материале пишут о недавнем галла-шоу Unitree Spring Festival китайской робототехнической компании Unitree, где её андроиды G1/H1/H2 блистали вовсю, творя чудеса: шутили, участвовали в скетчах, фехтовали, танцевали брейк-данс, крутили нунчаки, делали высоченное сальто, изображали уникальный боевой стиль «пьяный кулак»…
Но в большинстве случаев, это всего лишь рекламные трюки, когда роботы используют предварительно запрограммированные движения, и в реальных условиях эти андроиды ни на что подобное не способны.
Два прогноза «Китайского Нострадамуса» уже сбылись. Третий тоже может сбыться, и вот почему
Развернутое объяснение оснований для поражения США в войне с Ираном, данное самим «Китайским Нострадамусом»
Интервью профессора Цзяна, почему США проиграют войну с Ираном, третий день набирает миллионы просмотров. Это не удивительно.
• Китайско-канадский педагог, писатель, историк и геополитический теоретик проф. Цзян - один из самых ярких и обсуждаемых геополитических прогнозистов в интернете.
• Его прозвище «Китайский Нострадамус» небезосновательно. Например, еще в мае 2024 года, когда Дональд Трамп еще вел предвыборную кампанию за второй срок, Цзян сделал 3 смелых прогнозов, 2 из которые с тех пор сбылись с поразительной точностью: 1) победа Трампа на выборах 2)эскалация конфликта США с Ираном до полномасштабной войны. А 3-й из тех прогнозов (кажущийся на вскидку полным бредом) – окончательное поражение Соединенных Штатов в этом конфликте – проф. Цзян уверенно подтвердил 3 дня назад в вышеупомянутом интервью.
• Проф. Цзян не мистик и не пророк. В своих исследованиях он пытается прогнозировать глобальные события, анализируя повторяющиеся закономерности в истории, геополитические факторы и теорию игр.
• Его подход «прогностическая история» (изучение повторяющихся исторических паттернов, теория игр и распознавание долговременных закономерностей) в общих чертах вдохновлен идеей «психоистории» – вымышленной науки, придуманной писателем Айзеком Азимовым в романах серии «Основание», – где долгосрочные исторические закономерности используются для прогнозирования будущего.
Вы можете сколь угодно плохо относиться к прогнозам современных «психоисториков» (помимо проф. Цзяна, это, прежде всего, проф. Пётр Турчин – отец «клиодинамики» (научная аналитика длинных данных о главных трендах истории). Но против фактов спорить глупо.
• 2 из 3-х прогнозов Цзяна, как сказано выше, уже сбылись.
• 2 из 2-х прогнозов Турчина (о «яростных» 2020х - десятилетии насилия, войн и революций, и о катастрофической поляризации и расколе общества, способных привести к развалу США)
Поэтому предлагаю подумать над детальным обоснованием 3-го прогноза – Законом асимметрии (который определит исход американо-иракской войны), – подробно изложенном проф. Цзяном в дуплете лекций позавчера и сегодня.
P.S. Хотя всё вышеизложенное, несомненно, относится к категории малоизвестное – интересное, мнение автора поста может не совпадать с излагаемыми в посте соображениями проф. Цзяна.
«7 ужасающих вещей, которые ИИ уже умеет делать (и о которых большинство людей не знает)
«Покажите вы русскому школьнику карту звездного неба, о которой он до тех пор не имел никакого понятия, и он завтра же возвратит вам эту карту исправленную. Никаких знаний и беззаветное самомнение».
Фёдор Достоевский «Братья Карамазовы»
Зачем Пентагону именно «Расчетливый ястреб»?
Почему схватка Пентагона за неограниченное никакими запретами применение ИИ идет именно с Anthropic.
О беспрецедентной сваре Пентагона и Белого дома с компанией Anthropic (разработчик одного из крутейших мировых ИИ Claude) вы прочтете в любом медиа. Сегодня о взрывном накале конфликта пишут все. И это понятно – ситуация беспрецедентна: Администрация Трампа приказала всем американским ведомствам прекратить использование ИИ-технологии компании Anthropic и ввела другие серьезные санкции, обвинив Anthropic в угрозе национальной безопасности.
Но почему схватка идет именно за Claude (а не за демонстрирующие примерно те же показатели GPT от OpenAI, Gemini от Google или Grok от xAI)?
• Им нужен именно «расчётливый ястреб» и «оппортунист», выигрывающий во всех вариантах ядерных конфликтов.
• А компания Anthropic ставит условие - чтобы Claude не использоваться в полностью автономных системах оружия (а куда ж без них при ядерных конфликтах).
«Проект Pi» от Google взломал «универсальную механику понимания»: у людей и у Больших Языковых Моделей.
Критики больших языковых моделей годами высмеивали ИИ на их основе, называя их «стохастическим попугаем» или «размытым JPEG-ом интернета».
Забудьте эту ошибочную метафору. Похоже, мы сами – такие же попугаи, просто чуть более высокого разрешения.
✔️ Понимание – это не мистическая искра, а многомерное сопоставление паттернов;
✔️ Умение видеть и дополнять паттерны - это не имитация понимания, а сама его суть, его фундаментальная механика.