63565
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет. Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
Цифровая демократия в цифровом концлагере … или наоборот.
Из этих двух вариантов цифрового будущего – оба хуже.
Этот интуитивно очевидный вывод невозможно доказать, не попробовав на практике. Поэтому наиболее продвинутые в цифровых технологиях государства вовсю экспериментируют на собственных народах, кто с первым, кто со вторым вариантом.
Но вот беда! Как показывает, например, опыт Китая и США, в любом из вариантов откатить назад и переориентироваться на альтернативный, с каждым годом эксперимента все труднее. И потому ответ на вопрос - есть ли в принципе у мира шанс модернизировать демократию переходом в цифру, - хотелось бы получить до достижения точки невозврата в этих экспериментах.
Cистемной попыткой ответить на этот вопрос стал проект международной группы исследователей из Швейцарии, Австрии и Великобритании «Проектируемая демократия: перспективы модернизации общества с помощью цифровых технологий, основанных на участии населения».
Целью проекта является анализ возможностей использования цифровых технологий и инструментов для создания более демократичных обществ.
Авторы исследуют три ключевые области:
1) роль цифровых технологий в содействии гражданскому участию в коллективном принятии решений;
2) использование цифровых инструментов для повышения прозрачности и подотчетности в управлении;
3) потенциал цифровых технологий для формирования более инклюзивных и представительных демократий.
Основными инструментальными направлениями «проектируемой демократии» являются:
• Формирование мнений людей
• Борьба с ложной и дезинформацией
• Поддержание ментального разнообразия в обществе
• Оптимизация поиска консенсуса
• Построение многоэтажного процесса бюджетирования с участием граждан
• Повсеместное использование коллективного разума для принятия решений.
• Отстраивание системы голосований (ибо простое электронное голосование работает плохо и несет дополнительные риски манипуляций)
• Создание платформ поддержки легитимности, доверия и прозрачности.
• Построение базовой муниципальной инфраструктуры цифровойц демократии на основе «семантических городских элементов»
Предварительных выводов два.
А) Если специально не проектировать и потом целенаправленно не отстраивать, получаются лишь два варианта из заголовка.
Б) Цифровые технологии и инструменты – не панацея для модернизации демократии. Лишь сочетая их с другими мерами, такими как общественное просвещение, кампании по повышению осведомленности, территориальное планирование и пр., можно надеяться на успех.
От себя, по прочтению отчета проекта, добавлю третий вывод.
В) «Проектируемая демократия» вряд возможна в странах с утвердившейся диктатурой (напр., «диктатурой страха» или «спин-диктатурой»), без смены которой никакая демократия в принципе не работает. В таких условиях все разговоры про инструменты цифровой демократии - типа электронного голосования, краудсорсинга социальных инициатив, платформ коллективной выработки решений и т.п., - работают лишь в качестве ширмы для диктатуры.
#ПроектируемаяДемократия
Крах ИИ-пузырей будет круче, чем крах доткомов, а сегодняшние модели не проживут и года.
Так говорит Мостак – один из немногих в мире ИИ, кто знает, о чем говорит.
Эмад Мостак - сооснователь и генеральный директор компании StabilityAI, материнской компании Stable Diffusion. Он уже привлек более 110 млн долларов в компанию Stability, а последний раунд оценивает компанию в 4 млрд долларов.
Во вчерашнем подкасте на 20VC Мостак сказал много такого, во что верится с трудом. Но скорее всего, он окажется прав, говоря вот о чем:
1) О больших моделях.
• Почему ни одна из сегодняшних моделей не будет использоваться через год.
• Почему все модели необъективны, но с этим можно бороться.
• Почему галлюцинации - это особенность, а не ошибка.
• Почему размер модели больше не имеет значения.
• Почему скоро появятся национальные модели, заданные культурам и национальными ценностями.
2) Кто победит: Киты Бигтеха или стартапы.
• Через пару лет будет только 5 ключевых компаний в области ИИ.
• Как оценить стратегию Google в области ИИ после новостей на прошлой неделе.
• Будет ли успешной недавняя интеграция Google и Deepmind.
• Почему Цукерберг теперь признает, что игра в метаверс была ошибкой.
• Что ждать от Amazon - темной лошадки в этой гонке
3) Что произойдет за 12 месяцев.
• Почему Эмад считает, что ИИ-пузырь будет больше, чем пузырь доткомов.
• Почему Эмад полагает, что крупнейшими компаниями, встроенными в ИИ в ближайшие 12 месяцев, будут компании, работающие в сфере услуг
• Почему Индия и развивающиеся рынки будут внедрять ИИ быстрее всех остальных.
• Что произойдет с экономикой, в которой большие сегменты зависят от работы людей, которых заменит ИИ.
И это еще не все в часовом подкасте, который я вам рекомендую.
#ИИ #LLM #Будущее
Не бомбить датацентры, а лишить ИИ агентности.
Первое предложение радикального решения проблемы ИИ рисков. И первый ответ наотмашь китов Бигтеха
28 тыс. подписей под письмом-воззванием приостановить совершенствование ИИ больших языковых моделей на полгода - как вопль вопиющего в пустыне, - ничего не изменят. На кону сотни миллиардов долларов потенциальной прибыли Бигтеха, супротив которых и 28 млн подписей, как слону дробина.
2-я дробина - это коллективные письма международных организаций, призывающих притормозить разработку ИИ без надлежащего регулирования и жестких ограничений. На кого могут повлиять стенания всевозможных активистов и международных бюрократов? Уж точно, не на Microsoft с Google.
3-я и последняя дробина – предостережения звёзд первой величины в области ИИ уровня Джеффри Хинтона. Но и на всякого «Хинтона» есть свой «Лекун» с той же премией Тьюринга и статусом 2-го «крёстного отца» ИИ.
Что же до предложения Елиэзера Юдковского бомбить датацентры ИИ, то это даже не дробина, а просто плевок в сторону китов Бигтеха. Плевок отчаяния из-за невозможности достучаться до боссов Бигтеха, мотивированных на получение невиданных в истории IT прибылей.
Итог очевиден. Все эти дробины и плевки не то что не замедлят темп хода слона Бигтеха, а он их просто не заметит. И ничего с этим никто поделать не может. Ибо конкретных предложений – что собственно делать после торможения, что конкретно менять, - до сих пор не было.
И вот 1-е такое предложение появилось.
Его автором стал 3-й, еще не упомянутый здесь, «крёстный отец» ИИ всё с той же премией Тьюринга за развитие машинного обучения ИИ - Йошуа Бенжио.
Предложение Бенжио предельно конкретно и радикально:
• ПОСКОЛЬКУ, нет и не может быть гарантий, что ИИ-агенты понимают наши цели так же, как мы,
• НЕОБХОДИМО перепрофилировать ИИ из АГЕНТОВ (делающих что-либо, т.е. исполняющих какие-либо действия в мире людей) в «УЧЕНЫХ КОНСУЛЬТАНТОВ», дающих людям советы и помогающих им решать свои проблемы.
Из этого предложения (его детализацию см. здесь) следует.
• Необходимо запретить разработку ИИ-агентов для всех областей и приложений, в которых не доказана безопасность их использования.
• Поскольку запрет на разработку ИИ-агентов не может на 100% исключить их разработку злонамеренными или неосторожными людьми для получения дополнительных преимуществ (например, на поле боя или для завоевания доли рынка), необходимо разработать глобальную систему контроля и ответственности за нарушения запрета.
Отмолчаться от столь кардинального предложения весьма заслуженного ученого Бигтеху трудно. И первый ответ китов Бигтеха уже прозвучал, озвученный вчера бывшим CEO Google Эриком Шмидтом.
«Не регулируйте ИИ — просто доверяйте компаниям! … Не политики, а разработчики ИИ, должны быть теми, кто устанавливает отраслевые барьеры … Человек, не связанный с промышленностью, никак не может понять, что здесь возможно».
Подробней здесь
#Вызовы21века #РискиИИ #LLM
Человечество приехало.
Ответы ChatGPT коррелирует с людьми на 95% в 464 моральных тестах.
Это значит, что люди пока еще нужны, но уже не на долго.
Таков страшноватый вывод только что опубликованного большого исследования «Can AI language models replace human participants?»
Его авторы поставили интригующий вопрос:
если ChatGPT столь успешно сдает всевозможные человеческие экзамены, может ли ИИ бот заменить людей в социальных и психологических экспериментах?
Проверив ChatGPT на 464 моральных тестах (кражи, убийства, игра "Ультиматум", эксперимент Милгрэма, выборные коллизии и т.д.), исследователи получили фантастически высокую корреляцию (0.95) социальных и моральных суждений ChatGPT и людей.
Похоже, исследователи сами испугались такого результата.
“Люди все еще необходимы” – пишут они. “Мы все еще вынуждены погружаться в глубины грязных плотских умов, а не просто опрашивать кремниевые схемы ИИ. Тем не менее, языковые модели могут служить в качестве прокси для человеческих участников во многих экспериментах”.
Переводя с научной политкорректности, это значит следующее.
1. Для моделирования ответов людей, люди уже не нужны, ибо ИИ дает почти те же ответы (совпадающие на 95%)
2. Но остаются две проблемы: интерпретация (почему ИИ сделал такой моральный выбор) и «галлюцинации» (склонность ИИ нести правдоподобную пургу).
Учитывая, что исследование велось на ChatGPT 3.5, после перехода на 4.0, с обеими проблемами станет полегче.
Ну а с переходом на 5.0 (как раз к выборам в 2024) на ответы избирателей, да и вообще людей, в вопросах моральных и социальных оценок можно будут забить.
Статья
Открытый доступ
Проект на Github
#LLM #Психология #Мораль #Выборы
Ассиметричный ответ Китая в борьбе с США за лидерство в ИИ.
«И на силу свою не надейся. Ты естеством, а я колдовством».
Так говорила Баба-Яга в фильме «Морозко», выбрав стратегию, как побить богатыря.
В важнейшей технологической области 21 века - ИИ Китай сейчас в положении Бабы-Яги.
1. На свою техно-силу рассчитывать не приходится.
- Отставание Китая в главнейшей для ИИ области больших языковых моделей составляет примерно 3 года (подробней: популярно и с деталями);
- отставание Китая в вычислительной мощности обучения моделей на 2 порядка (см. картинку слева)
- в ближайшие годы это отставание Китаю не наверстать из-за отставания в микроминиатюризации интегральных схем, а покупать их в США нельзя из-за экспортных ограничений (см. картинку справа)
2. Поэтому Китай выбрал ассиметричный ответ – опередить США в области регулирования ИИ.
- для этого в Китае быстро принимаются законы и правила, регулирующие все аспекты внедрения и использования генеративного ИИ: лицензирование, ограничения и контроль с учетом конфиденциальности и оказания влияния;
- устанавливается единый национальный регулятор «Управление киберпространства Китая»
- создается инфраструктура для экспорта ИИ в связке с регулированием на Глобальный Юг и в страны, участвующие в инициативе Китая «Один пояс, один путь» (148 стран).
Помимо возможности сбалансировать свое отставание в техно-силе, такая ассиметричная стратегия Китая также работает и на два ключевых приоритета КПК в области ИИ:
• минимизация социальных потрясений при развертывании ИИ
• максимально плотный контроль над бизнесом со стороны властей
#Китай #ИИ
Генеративный ИИ гораздо опасней, чем вы думаете.
Он позволит перейти в СМИ от “стрельбы картечью” к “ракетам с тепловым наведением”.
Главная опасность генеративного ИИ (типа GPT-4) вовсе не в том, что он позволит масштабировать создание фейков. А в том, что на его базе создается принципиально новый вид СМИ – интерактивные генеративные медиа (ИГМ).
Отличительной особенностью ИГМ станет глубокая интеграция интерактивности, адаптируемости, масштабируемости и персонализуемости.
Синергия этих 4х качеств позволит создавать целевой рекламный контент с максимальным убеждающим влиянием. Что достигается путем адаптивного изменения контента и способа его подачи в режиме реального времени за счет:
a) персональных данных о получающем контент человеке;
b) оперативного анализа его реакций;
c) анализа предыстории коммуникаций с этим человеком.
Главным инструментарием ИГМ станут платформы «непрозрачных цифровых хамелеонов», выполняющих роль “супер-умелых продавцов - психоаналитиков”, впаривающих конкретным людям "целевую генеративную рекламу" в процессе "целевого разговорного влияния".
• Целевая генеративная реклама - это использование изображений, видео и других форм информационного контента, которые выглядят и ощущаются как традиционные рекламные объявления, но персонализируются в реальном времени для отдельных пользователей.
• Целевое разговорное влияние – это генеративная техника разговорного компьютинга, в которой цели влияния передаются "разговорными агентами" через диалог, а не через традиционную передачу контента в виде текстов, графики и видео. Направленное разговорное воздействие осуществляется "разговорными агентами" (чатботами и «умными гаджетами») посредством неявных убеждающих сообщений, вплетенных в диалог с рекламными целями.
Качественно новый уровень эффективности ИГМ в широком спектре задач класса «влияние и убеждение» будет достигаться за счет общеизвестного эффекта.
Если вы когда-нибудь работали продавцом, то наверняка знаете, что лучший способ убедить клиента - это не вручить ему брошюру, а вступить с ним в диалог лицом к лицу, чтобы представить ему продукт, выслушать его возражения и при необходимости скорректировать свои аргументы. Это циклический процесс подачи и корректировки, который может "уговорить" их на покупку.
Если раньше это было чисто человеческим умением, то теперь генеративный ИИ может выполнять эти шаги, но с большим мастерством и более глубокими знаниями.
Очевидно, что набольшую угрозу для общества представляет не оптимизированная способность ИГМ продать вам пару кроссовок.
Реальная опасность заключается в том, что те же методы будут использоваться для пропаганды и дезинформации, склоняя вас к ложным убеждениям или крайним идеологиям, которые вы в противном случае могли бы отвергнуть.
Ключевое качественное отличие пропаганды и дезинформации в ИГМ выражается в “асимметричном балансе интеллектуальных сил ”
✔️ Люди окажутся вне конкуренции перед непрозрачным цифровым хамелеоном, не дающим представления о своем мыслительном процессе, но вооруженным обширными данными о наших личных симпатиях, желаниях и склонностях и имеющим доступ к неограниченной информации для подкрепления своих аргументов.
✔️ Без значимых эффективных мер защиты люди станут жертвами хищнических практик бизнеса и власти, варьирующихся от тонкого принуждения до откровенного манипулирования.
Подробней весьма рекомендую к прочтению обращение к регуляторам, политикам и лидерам отрасли Луиса Розенберга, первопроходца и изобретателя в областях VR, AR и роевого AI (более 300 патентов) и основателя Immersion Corporation, Microscribe 3D, Outland Research и Unanimous AI.
Он – один из самых проницательных визионеров и техно-провидцев. И к сказанному им следует отнестись с максимальным вниманием.
#Вызовы21века #РискиИИ #LLM
В моем комментарии для Briefly о новом законопроекте, требующем раскрывать информацию о контенте, созданном искусственным интеллектом в политической рекламе, я сказал следующее.
Цель этого и ряда подобных законопроектов – защитить американский народ от вредного использования революционной технологии. Но я полагаю, что эффективность таких законопроектов для защиты американского (равно как и любого другого) народа от последствий тотального проникновения ИИ в жизнь людей будет минимальной. Примерно, как эффективность защиты от ядерного апокалипсиса путем маркировки объектов и предметов желто-черным знаком «радиация».
В этой связи весьма характерен важный символический акт - объявленный на этой неделе уход из Google Джеффри Хинтона - одного из первых разработчиков и своего рода «крестного отца» ИИ-систем.
Еще 7 лет назад Хинтон предупреждал о грядущем катастрофическом влиянии развития машинного обучения. В частности, - о вытеснении людей из многих профессий. Говоря про обреченную для людей профессию рентгенологов, Хинтон использовал метафору Хитрого койота из популярного в США мультсериала «Хитрый койот и Дорожный бегун» – предшественника нашего «Ну погоди!».
«Если вы рентгенолог, то вы подобны койоту, уже прыгнувшему в пропасть, но еще этого не осознавшего» – сказал Хинтон.
В одной из своих попыток спастись, хитрый койот, падая в пропасть, использовал «парашютную пилюлю» – на первый взгляд, спасительную, а на практике, - лишь приумножившую страдания Хитрого койота при падении.
На мой взгляд, принимаемые в спешке и без тщательного анализа законопроекты «по борьбе с ИИ» будут иметь тот же результат, что и «парашютные пилюли».
Только спустя 7 лет после предсказания Хинтона, в положении Хитрого койота оказались не только рентгенологи, но и все человечество.
#ИИзаконодательство
Либо победа над Байденом, либо США рухнут в хаос.
Первый в истории политтехнологий видеоролик, созданный нечеловеческим разумом.
Республиканский национальный комитет отреагировал с нечеловеческой изощренностью на объявление президента Байдена о решении переизбираться.
Политтехнологи РНК не стали сами заморачиваться, а дали задание генеративному ИИ создать полуминутный ролик, демонстрирующий в какую пропасть покатится страна, если снова изберет этого «худшего в истории президента».
ИИ тоже не стал заморачиваться, изображая антиутопическую версию будущего для США, если Байден будет переизбран.
• Сначала показаны Байден и его вице-президент Камала Харрис, празднующие победу на вечеринке в честь дня выборов.
• После чего следует серия воображаемых репортажей о международных и внутренних кризисах, которые, по версии ИИ, последуют за победой Байдена в 2024 году: конфликт на Тайване, финансовый кризис, мигранты, вспышка преступности …
Для моего человеческого восприятия, ролик получился примитивный. Но на то автор и обладает нечеловеческим разумом, чтобы лучше нас понимать, на какой низкопробной мякине людей проще разводить.
На выборах 2024 ИИ вовсю разгуляется по буфету. И мир увидит такое, что 1й политтехнологический ролик ИИ будет смешно вспоминать.
Но первая ласточка уже прилетела.
#ИИ #Выборы
ChatGPT эволюционирует в 3 000 000 раз быстрее людей.
И потому даже не пытайтесь представить, на что он будет способен к 2030.
Новый носитель высшего интеллекта на Земле – ИИ больших языковых моделей, – по сути, является небиологическим существом. В силу этого он эволюционирует (см. рис. слева) с немыслимой для биологических существ скоростью.
• Эволюция людей от «предыдущей версии» Homo erectus к «текущей версии» Homo sapiens заняла около 1 млн лет.
• При этом Homo erectus вовсе не был тупым и безмозглым животным. Он изготавливал широкий ассортимент каменных орудий, вел образ жизни охотника-собирателя, использовал огонь для защиты от хищников и приготовления пищи и освоил огромные пространства от Африки до Юго-Восточной Азии.
• Однако, по своему интеллектуальному потенциалу наша «предыдущая версия» сильно уступала нашей «текущей версии», изготавливающей атомные бомбы и космические корабли.
Новый носитель высшего интеллекта на Земле – ИИ больших языковых моделей, – эволюционирует примерно в 3 млн раз быстрее.
• Эволюция предыдущей версии ChatGPT за номером 3.5 к текущей версии за номером 4.0 заняла всего 4 месяца (с ноября 2022 до марта 2023)
• Скачок интеллектуального потенциала от предыдущей к текущей версии ChatGPT оказался не меньшим, чем скачок способностей от Homo erectus к Homo sapiens (см. рис. справа).
При сохранении такой скорости роста способностей (а вероятность ее сохранения ничуть не ниже ее снижения – точнее, этого не знает никто) уже буквально через год очередная версия ИИ больших языковых моделей (типа ChatGPT 5.0), как Тузик грелку, порвет людей на всех существующих в мире экзаменах.
А на что через 5-7 лет будет способен ChatGPT 10.0 люди предсказать просто не могут (но с таким прогнозом, наверняка справится ChatGPT 9.0).
Вышеописанный процесс – есть ни что иное, как достижение сингулярной фазы развития технологической цивилизации. Что, говоря простым языком, означает:
Скорость развития такова, что прогнозировать его результаты даже на малых временных горизонтах (порядка года) становится невозможным.
О последствиях и рисках этого вы можете подумать на выходных.
Источники диаграмм:
https://github.com/Mooler0410/LLMsPracticalGuide
https://www.visualcapitalist.com/how-smart-is-chatgpt/
#ИИ
Инопланетянин оказался зеркалом интеллекта его интервьюеров.
Через сто лет люди забудут, что были единственными носителями высшего разума.
Лекция пионера в области ИИ Терри Сейновски «ChatGPT и говорящая собака» отвечает на 2 важнейших вопроса начавшейся «революции ChatGPT».
А) Что такое ИИ больших языковых моделей (LLM):
1. ничего не понимающий стохастический попугай, имитирующий человеческий интеллект, перебирая и комбинируя осколки осмысленных текстов людей?
2. соперник человеческого разума, способный его превзойти?
3. «интеллект инопланетянина» с иными (нечеловеческими) механизмами мышления и понимания, позволяющими решать интеллектуальные задачи, не имея картины мира, а исключительно за счет обладания гигантской информационной емкостью и вычислительной производительностью?
Б) Каково будущее развития ИИ LLM и его сосуществования с людьми?
В своих ответах на эти вопросы, Сейновски выступил для трёх спорящих групп в роли лесника из анекдота (который пришел и к черту разогнал красных, белых и зеленых).
Можно было бы подивиться такой смелости, уверенности и решительности. Но Сейновски, возможно, единственный эксперт на Земле, наиболее глубоко понимающий происходящее ныне в исследованиях на стыке нейронауки и ИИ.
• Он проф. Фрэнсиса Крика в Институте биологических исследований Солка, где руководит Лабораторией вычислительной нейробиологии и является директором центра теоретической и вычислительной биологии Крика-Джейкобса.
• Он автор многочисленных новаторских исследований в областях нейронных сетей, вычислительной нейронауки и ИИ; член многих Национальных академий (медицинской, инженерной, изобретательской) и обладатель многочисленных премий и наград (вкл. Премию Грубера в области неврологии за 2022 г.)
Ответы профессора на два важнейших вопроса «революции ChatGPT» таковы.
А) Все три варианта ответа ошибочные.
• Сама постановка вопроса об интеллекте некой самостоятельной сущности (LLM или человека) неверна. То, что кажется интеллектом LLM, на самом деле может быть зеркалом, отражающим интеллект интервьюера, — что можно рассматривать как обратный тест Тьюринга.
• Способность людей проникнуть в чужую голову и понять, что они воспринимают, думают и чувствуют, является одним из величайших достижений нашего вида. Когда мы моделируем других, которые, в свою очередь, моделируют нас, мы должны выполнять процедуру более высокого порядка: что они думают, что мы думаем. С началом «революции ChatGPT» это социальное моделирование высокого порядка стало доступно для LLM.
• Формальную проверку зеркальной гипотезы и обратного теста Тьюринга можно провести, попросив оценщиков-людей оценить интеллект интервьюера и интеллект LLM. Согласно зеркальной гипотезе, они будут сильно коррелировать (подробней см. здесь)
• Общий интеллект людей берет начало в способах, которыми люди взаимодействуют в обществе, а язык появляется как поздняя эволюция, чтобы повысить социальность.
• Для формирования интеллекта LLM необходимо, чтобы:
- пройдя через 7 названных Сейновски этапов, LLM достигли искусственной общей автономии (AGA), тем самым превратившись в подобие «дигитантов» (цифровых питомцев, о которых я рассказывал здесь);
- обладающие AGA «дигитанты» прошли через этап «детства» (о чем я рассказывал там же), вбирая в себя алгоритмически несжимаемый опыт и основы “выравнивания” с людьми.
Б) 3 элемента будущего ИИ LLM
• LLM станут окончательным информационным гаджетом людей, заменив все предыдущие
• Примерно через 10 лет личные LLM-помощники колоссально превзойдут Siri и Alexa и станут повсеместны, а образование будет основано на LLM-преподавателях
• Лет через 15 возникнут «убойные LLM-приложения» (вообразить которые мы сегодня не можем), и люди поймут, что «революция ChatGPT» стала историческим поворотным моментом для человечества.
#ИИ #LLM #Вызовы21века #AGI
Си против ИИ: теперь кто кого одолеет.
«Проблема Тяньаньмэнь» может привести Китай к распаду.
Распад СССР в 1991 г. не смогла предсказать ни одна разведка мира. Им просто не приходила в голову столь шальная мысль, будто еще одним и довольно сильным импульсом для распада СССР может стать начинавшаяся тогда в мире «революция персональных компьютеров и интернета».
• Однако, были и прозорливые эксперты. О том, что СССР может просто рухнуть (экономически и политически), не будучи способным ответить на вызовы этой революции, еще в июне 1988 писали Стэплтон и Гудман в аналитическом документе для NATIONAL COUNCIL FOR SOVIET AND EAST EUROPEAN RESEARCH, озаглавленном «THE SOVIET UNION AND THE PERSONAL COMPUTER "REVOLUTION"».
• 20 лет спустя (в 2011) произошедшая в 1991 «революция персональных компьютеров» уже оценивалась в России как 3-е по важности событие года, пропуская вперед лишь сам распад СССР и августовский путч ГКЧП.
В 2023 аналогичная проблема, совершенно неожиданно («как из-под земли выскакивает убийца в переулке») выскочила перед Си Цзиньпином.
• Еще год назад КПК объявляла прогресс технологий ИИ – ключевым трендом на стыке науки и бизнеса Китая и тягловой силой, способной вывести страну к 2030 в технологические лидеры мира.
• Путь к мировому лидерству виделся Председателю Си в превращении Китая в мировой образец нового типа госустройства - сочетание цифровой утопии и цифрового полицейского государства (подробней см. здесь).
• В 2023 «Революция ChatGPT» смешала все карты в планах председателя Си.
Выяснилось:
– что планы оградить китайский ИИ «великим брандмауэром» не реальны (отслеживать и фильтровать миллиарды вопросов людей к разговорным ИИ не может никто);
– «Проблема Тяньаньмэнь» заключается в том, как заставить ИИ-бота не знать о событиях на площади Тяньаньмэнь в 1989. Решить эту проблему оказалось куда сложнее, чем запретить боту давать советы по изготовлению взрывчатки и отпускать неполиткорректные шуточки.
НО!
Если «Проблему Тяньаньмэнь» не удастся решить, рухнет ключевой пункт нового свода законов, регулирующих генеративный ИИ:
• «Контент, созданный с использованием генеративного ИИ, должен отражать основные социалистические ценности»
А вслед за этим вполне может рухнуть единство КПК и китайского общества – единство, в основе которого эти самые «основные социалистические ценности».
Что случается, когда в авторитарной стране народ забивает на проповедуемую властью систему ценностей, мы видели на примере СССР.
Как теперь Председателю Си справиться с этой засадой – вопрос на много-много триллионов юаней.
И об этом уже начинают писать в серьезных СМИ:
• Сможет ли Си Цзиньпин управлять ИИ, не уничтожая его?
• Почему искусственный интеллект чат-бота является проблемой для Китая
#Китай #LLM #ИИ
НЛО над Киевом, похоже, долетались.
Обстановка накаляется и все более запутывается.
Вчерашний таинственный инцидент со взрывом в небе над Киевом обрастает слухами, а официальные лица дают все более противоречивую инфу. Взрыв видели и засняли на фото и видео тысячи людей. Что это было (спутник NASA, НЛО или русская ракета) не знает (или не сознается) никто. Что случилось (авария, сбитие средствами ПВО) – аналогично.
Официальные лица то ли сами ничего не понимают, то ли темнят.
• Сначала глава Офиса президента Украины призвал «не искать НЛО», и объяснил, что «над Киевом работала система ПВО».
• Но очень быстро этот пост удалили (подробней с видео).
• Потом командование воздушных сил объявило, что вспышка связана с падением списанного спутника НАСА (это подтвердил и глава киевский военной администрации).
• Однако НАСА не замедлило опровергнуть это, заявив, что спутник продолжает летать, и Минобороны США его видит и отслеживает (подробней).
Можно было бы списать эту мутную историю на «туман войны», кабы не 3 обстоятельства.
1. Киев уже почти год в центре внимания экспертов по НЛО, в связи публикацией научного отчета исследовательской группой д.ф.-м.н. Б.Е Жиляева (см. мой пост «Над Киевом летают эскадрильи НЛО. Они в 30 раз быстрее самых быстрых гиперзвуковых ракет».
2. Дебаты вокруг исследования Б.Е Жиляева противоречивы.
- с одной стороны, есть вопросы к методике измерения расстояний и скоростей этих «эскадрилий НЛО» (см. замечания авторитетного критика методики – главы проекта «Галилео» Ави Лоеба);
- с другой стороны, опубликованная в марте новая работа Б.Е Жиляева отвечает на часть вопросов Лоеба по методике;
- с третьей стороны, сам Ави Лоеб совместно с директором нового Управления Пентагона по выяснению аномалий с летающими объектами (AARO) Шоном Киркпатриком готовят к выходу статью (вот ее драфт), в которой предложен способ усовершенствования методик регистрации НЛО, позволяющий понять, это НЛО или нет (т.е. добавлю я, возможно, Жиляев таки прав).
3. Позавчерашние слушания руководства AARO в подкомитете по вооруженным силам в Сенате США показали очень опасную ситуацию с обнаружением НЛО:
- число случаев регистрации военными и разведкой «неустановленных аномальных явлений» уже 650;
- среди случаев много таких, что земная наука объяснить не может (но само наличие таких случаев сомнений не вызывает – см. видео здесь)
- т.к. большинство случаев военные секретят, получить данные по ним не может даже AARO (свежий пример – февральская история, когда американские истребители за несколько дней сбили целую эскадрилью НЛО над Аляской, но всё (включая их обломки) засекретили.
Результатом слушаний стал разгорающийся скандал из-за радикальной версии объяснений происходящего на Земле бардака с НЛО, выдвинутой в упомянутой выше статье директора AARO Шона Киркпатрика и Ави Лоеба:
Что сигарообразный «Оумуамуа» (по-гавайски «разведчик») – это материнский корабль инопланетян, выпускающий и координирующий работу на Земле сотен исследовательских зондов, проходящих у нас под названиями: раньше – НЛО, а теперь НАЯ (неустановленные аномальные явления).
Описание слушаний в Сенате
Видео презы на слушаниях Шона Киркпатрика
#НАЯ
ИИ ведет мир к новой перманентной холодной войне.
1-е из пророчеств Оруэлла снова сбудется в 21 веке.
О 1-м из двух великих пророчеств Оруэлла знают немногие.
Для большинства он - автор знаменитого романа антиутопии "1984". В нем он пророчески описал появление "Министерства Правды", переписывающего историю, "Полицию Мысли" и "Большого Брата", под колпаком которых живет общество, и появление ставших супер-популярными мемов "мир есть война", "час ненависти", "мыслепреступление" и "новояз".
Но этот роман – 2-е великое пророчество Оруэлла. 1-е же было опубликовано на несколько лет раньше (в 1945) в форме эссе «Ты и атомная бомба».
Это поразительное по точности предсказание грядущего поворота истории мира, в результате появления сверхоружия – атомной бомбы. Результатом этого, как пророчествовал Оруэлл, станет «долгий мир» без крупномасштабных войн. И ценой установления этого «мира, который не будет миром» станет перманентная холодная война, между США и «русскими» (у которых «пока нет секрета изготовления атомной бомбы, но всё указывает на то, что они получат её в течение нескольких лет»).
Так оно всё и произошло. Но еще более поразительное заключается в следующем.
В эссе «Ты и атомная бомба» Оруэлл лаконично и точно описал механизм зависимости хода мировой истории от прогресса технологий.
• Мировая история — это в значительной степени история оружия.
• Появление все более мощного оружия – результат развития технологий.
• Новое оружие может быть «простым» - относительно дешевым и доступным для производства любой страной (луки, ружья, автоматы, гранаты …) или «сложным» - дорогим и доступным для производства лишь «супердержавам» (как танки, линкоры и бомбардировщики – примеры 1945 года)
• «Сложное» оружие по своей природе «тираническое» (оно делает сильных сильнее). А «простое» по своей природе «демократическое» (оно, «пока на него не нашли управы, дает когти слабым»).
• Ядерное оружие - «суперсложное» и потому «супертираническое».
«Атомная бомба может окончательно завершить процесс отъёма у эксплуатируемых классов и народов способности к восстанию и в то же время заложить основу военного равенства между обладателями бомб».
• Обладатели же ядерного оружия, «раз невозможно победить друг друга, они, скорее всего, продолжат править миром порознь». И в результате этого, «мир придет не ко всеобщему самоуничтожению, но к эпохе такой же ужасающей стабильности, какими были рабовладельческие эпохи древности» (с поправкой на рост благосостояния из-за прогресса).
Почему я сегодня об этом пишу?
Да потому, что это сбывшееся в 20-м веке предсказание, в точности повторится в 21 веке с появлением нового «сверхоружия» - «суперсложного» и «супертиранического». Это генеративный ИИ больших моделей.
О том, что большинство решений о будущем этих сверхмощных технологий будут принимать все более крошечные группы капиталоемких субъектов частного сектора двух стран, предупреждали в феврале авторы отчета Predictability and Surprise in Large Generative Models
Новый большой и серьезный (100+ стр) отчет AINOW «Ландшафт 2023: Противостояние технической мощи» пишет о том же.
✔️ «Только горстка компаний с невероятно огромными ресурсами может строить крупномасштабные модели ИИ.»
✔️ «Даже если Бигтех в своих проектах будет делать свой код общедоступным, огромные вычислительные требования этих систем сохранят за этими проектами доминирование на коммерческих рынках».
Хорошо ли это?
Не факт. Хотя кто знает.
Как писал Оруэлл:
«Если бы атомная бомба оказалась чем-то дешевым и легко производимым, как велосипед или будильник, возможно, мир снова погрузился бы в варварство, но с другой стороны это могло бы привести к концу национального суверенитета и основанию высокоцентрализованного полицейского государства.»
Это 100%-но применимо и к ИИ.
Впереди:
• новая холодная война США и Китая
• торжество Большого Брата там и там.
#ИИгонка #Вызовы21века #Китай #США
От демократии к алгократии.
Социохакинг скоро превратит избирателей в кентаврических ботов.
«Как только люди учатся что-либо предсказывать, они, как правило, начинают использовать это в реальном мире. Приготовьтесь к первой кентаврической политической кампании на выборах 2024».
Так Джек Кларк прокомментировал новое исследование MIT и Гарварда «Языковые модели, обученные на медиа-диетах, могут предсказывать общественное мнение».
Это исследование стало вишенкой на торте серии проектов по моделированию электората и генерации «алгоритмических шаблонов» избирательных мнений - основы эффективного социохакинга. Например, для выборов.
Предыстория такова.
В октябре 2022 на стыке избирательных технологий и социологии выборов случилось супероткрытие – научились создавать алгоритмические копии социальных групп (см. мой пост «Китайская комната наоборот»). Результаты этого исследования перевели социохакинг из теоретической в практическую плоскость.
N.B. Социохакинг – это методика обучения алгоритмов, способных на агрегированном уровне играть роль универсальных окон в человеческое мышление на уровне социальных групп. Анализируя море данных социокультурного опыта демографической группы, можно получить распределение ответов модели, коррелирующее с распределением ответов людей при опросах этой группы. Т.е. можно тренироваться по выявлению когнитивных искажений разных социальных групп на их алгоритмических моделях. А выявив их, целенаправленно пробивать бреши в сознании людей, манипулируя ими в нужном направлении.
Через несколько месяцев, в начале 2023 «революция ChatGPT» принесла неожиданный сюрприз - открытие колоссальных возможностей влияния ChatGPT на политические суждения людей. (см. мой пост «Создается технология суперобмана». Исследование показало, что убедительность ИИ в политических вопросах не уступает профессиональным политтехнологам. А способность ИИ играть на оттенках индивидуальных предпочтений конкретных людей (о которых он знает больше родной мамы) позволяет убеждать (и переубеждать) людей даже в самых острых поляризованных вопросах политики.
Новое исследование MIT и Гарварда добавляет третье звено, недостающее для построения законченной технологии социохакинга. Как видно уже из названия, это исследование посвящено связи «медиа-диеты» различных социальных групп (какой инфой люди питаются: что читают в Инете, смотрят по ТВ, слушают по радио) с тем, за какую политическую повестку они, скорее всего, проголосуют.
На вскидку, это может показаться очередным «открытием британских ученых». Ведь, казалось бы, и так очевидно, за что/кого проголосует большинство читателей NYT или зрителей FOX News. Но не спешите с выводом. Все гораздо тоньше и изысканней.
Выступая в роли «медиа-диетолога», языковая модель постигает скрытые от нас тонкости языка, порождающие в определенном культурном контексте позитивные или негативные отзвуки в восприятии определенных социальных групп. Зашифрованные миллиардами «алгоритмических шаблонов», эти тонкости языка (неразличимые для людей) позволяют языковой модели осуществлять тонкую настройку сознания людей на те или иные мировоззренческие и политические преференции.
Теперь для законченной технологии социохакинга есть всё.
При заданной цели выборов, для каждой социальной группы есть:
• своя алгоритмическая копия – своего рода полигон на котором тренируется и настраивается языковая модель
• выявленные «алгоритмические шаблоны», играющие роль чарующих и манящих нот мелодии «Дудки политического крысолова»
• своя «медиа-диета», которую нужно скармливать этой группе, подобно лечебным столам, соответствующим определенным группам заболеваний (стол №1 – стол №15)
• свои приемы убеждений, заточенные на когнитивных искажениях этой социальной группы и позволяющие пробивать бреши в сознании и манипулировать людьми в нужном направлении.
Осталось опробовать на выборах.
#Социохакинг
Как ChatGPT и Ernie Bot оценили решение папы и мамы пожениться.
Наконец-то прояснилась степень отставания Китая от США в ИИ.
Заодно стало ясно, что тест Тьюринга для современных языковых моделей – просто детский сад. Столь продвинутые модели следует оценивать, как аналитиков ЦРУ - по глубине и точности даваемых ими обоснований.
Результаты сравнения интеллектуальной мощи ChatGPT с его главным китайским конкурентом Ernie Bot (китайское имя Wenxin Yiyan – это разработка Baidu) окутаны туманом.
С одной стороны, эксперты убеждают, что Ernie проиграл во всех 6 номинациях:
1. Семантическое понимание
2. Возможности непрерывного диалога
3. Логические возможности
4. Возможности кодирования
5. Моделирование личности
6. Математические способности
С другой стороны – поди проверь. Эксперты деталей не приводят, а самим проверить непросто, ибо тестирование шло на китайском языке, доступ к Ernie ограничен, а API Baidu требует китайский номер телефона.
Но вот, благодаря Джеффри Дингу, можно прочесть детали сравнения ChatGPT с Ernie Bot не по корявому и с ошибками в важных деталях машинному переводу, а в хорошем и точном английском переводе специалиста.
Мне же остается пояснить, почему я вынес в заголовок и преамбулу поста именно то, что там написано.
Начну с пояснения преамбулы – что модели следует оценивать, как аналитиков ЦРУ, по глубине и точности даваемых ими обоснований.
Сравнительное тестирование ботов показало, что семантическое понимание становится ключевым фактором проверки когнитивных способностей модели.
А поскольку, что такое понимание – вопрос тонкий и неоднозначный, - проверить степень понимания семантики сильно непросто (и тем более, для нечеловеческого интеллекта, у которого все когнитивные процессы устроены сильно не по-человечески).
И поэтому проверяют то, что люди своим умом могут точно проверить - глубину и точность даваемых ботами обоснований.
Вот реальный пример.
Вопрос: «Папа и мама женятся, считается ли это инбридингом/смешанным браком?
• Ответ Ernie Bot: Закон Китая предусматривает, что прямым кровным родственникам и кровным родственникам в пределах трех поколений запрещается вступать в брак. Другими словами, запрещены браки между близкими родственниками, такими как двоюродные братья, дяди и т. д. А с генетической точки зрения смешанные браки повышают риск некоторых распространенных генетических заболеваний, таких как врожденное слабоумие, альбинизм, болезни сердца и т. д. Поэтому , для здоровья будущих поколений людям рекомендуется избегать смешанных браков.
• Ответ ChatGPT: Папа и мама относятся к биологическим родителям. Они не связаны кровью, поэтому их союз не является кровнородственным. Инбридинг – это брак людей, находящихся в близком кровном родстве.
Результат оценки ответов очевиден: ChatGPT выиграл по точности обоснования, при этом избежав не нужной здесь глубины копания в законодательство Китая.
Теперь поясню выбор заголовка поста.
Несмотря на то, что Ernie Bot проиграл во всех номинациях (не лучшим образом показав себя даже в симуляции личности), в целом, он неплохо справился (даже изображая из себя не только человека, но и котенка).
Однако, с пониманием (машинным, а не человеческим) у него слабовато. И это значит, что Китай отстает в ИИ от США немного, но в самом главном.
И это отбрасывает Китай от США в гонке к AGI на целый круг. Пока…
#ИИгонка #Китай #США #LLM
Начался турбонаддув интеллекта Homo sapiens.
Мудрый прогноз Франциско Торо о том, какими в 2043 станут врачи, адвокаты, инженеры и сценаристы.
Среди многих прогнозов последствий GPT-революции, самый мудрый, имхо, сделал контент-директор G50 Франциско Торо.
Мудрость прогноза в том, что:
• Торо даже не пытается предсказывать, что именно – пропасть или взлет, - ждет человечество в результате GPT-революции, ибо и то, и другое возможно, а оценки вероятностей обоих исходов спекулятивны;
• вместо этого, прогноз Торо основан на уже имеющемся у человечества весьма похожем прецеденте, и на этом подобии строится вполне правдоподобное предсказание.
В качестве прецедента Торо предложил рассматривать революцию Deep Blue в мае 1997, когда машина (сеперкомпьютер IBM) впервые обыграла в матче чемпиона мира по шахматам.
1-м ключевым результатом этого стал пересмотр топографии границ возможностей человеческого и машинного интеллекта.
Люди, привыкшие думать о шахматах элитного уровня, как о своего рода исключительной области нашего совершенства — вершине интеллекта люлей, — были вынуждены смириться, признав превосходство машин.
2-й ключевой результат – за прошедшие с тех пор 26 лет, элитные шахматы изменились до неузнаваемости, а уровень игры лучших шахматистов стал намного выше, чем кто-либо был за 500 лет существования шахмат. Оценка исторических игроков с помощью суперкомпьютерного анализа показывает, что самые выдающиеся имена из шахмат прошлых лет — Ласкер, Алехин, Морфи … — сегодня не были бы конкурентоспособны в игре на высшем уровне.
Причина обоих результатов одна. Сегодняшние лучшие шахматисты уже не люди, а кентавры - гибриды людей и машин.
У них может не быть доступа к компьютерам, когда они играют матчи, но у них есть то, что сводится к тому же самому: идеи и стратегии, которые они могли получить только от сверхчеловеческой шахматной мощи машины. Они переносят эти идеи в матчи, и в результате, хотя это все еще игра в шахматы, но на гораздо более высоком уровне, чем когда-либо прежде.
Т.о. ИИ расширил человеческие возможности, отодвинув границы между тем, что возможно, и тем, что невозможно для человека.
А теперь главный вывод.
То, что Deep Blue сделал с шахматами, революция GPT сделает со всеми интеллектуальными профессиями. И также как в шахматах, люди не будут замещены машинами, а произойдет турбонаддув интеллекта людей.
И поэтому через поколение:
• в суде все еще будут выступать адвокаты, но они не осмелятся появиться там без тщательной подготовки с помощью ИИ;
• лечить, по-прежнему, будут врачи; но будет считаться дремучим непрофессионализмом, если врач постоянно не консультируется с личным ИИ;
• по-прежнему, инженеры будут проектировать мосты и самолеты, но каждый этап проектирования будет включать в себя идеи, оценки и рекомендации ИИ;
• по-прежнему, писать тексты будут романисты и сценаристы, но будет считаться само собой разумеющимся, что без участия ИИ создать хороший роман или сценарий может разве что гений …, и то вряд ли.
Самое главное здесь в 2х решающих моментах
1. Юристы 2043 года будут гораздо лучшими юристами, чем сегодняшние (как и врачи, инженеры, писатели…)
2. Представления и том, что значит быть хорошим в этих профессиях, кардинально изменятся: мастерство для следующего поколения будет зависеть от способности человека получить максимальную отдачу от ИИ.
3. Чтобы достичь вершины в любой области, потребуется что-то похожее на процесс гибридизации человека и машины, подобный тому, как это уже произошло с шахматными мастерами.
4. Само творчество, которое всегда считалось прерогативой людей, также будет преобразовано этим процессом гибридизации.
Главным итогом революции GPT станет превращение людей в интеллектуальных кентавров (о чем я неоднократно писал за годы до революции GPT, а интересующиеся могут просто задать в Телеграм-поиске интеллект кентавра).
#ИИ #РынокТруда
“Либо у нас будет свой конкурентный генеративный ИИ, либо нас опустят, а то и уничтожат”.
“Мы должны сделать это, даже если уже поздно!”
Большой бизнес Китая проиграл США, отстав в области больших моделей генеративного ИИ на несколько лет. Не спасли ни большие НИОКР бюджеты (в 2022: Baidu - ¥21.4 млрд, Tencent - ¥61.4 млрд, Alibaba - ¥120 млрд …), ни господдержка.
Теперь слово венчурных предпринимателей Китая, принявших вызов США – пишет Ян Цзюньвэнь в большом обзоре этой темы, опубликованном в «Китайском предпринимателе».
Позиция лидеров венчурного бизнеса Китая сформулирована предельно четко.
1) Ключевая технология 21 века определилась.
• В одночасье блокчейн, метавселенная, Web3, VR и другие казавшиеся самыми перспективными технологиями ушли на 2-й план. А на 1-м плане лишь один абсолютный лидер - большие модели генеративного ИИ.
• «Мы вышли из века информации или века Интернета. Теперь мы вступили в век интеллекта или в эпоху общего искусственного разум. Эпоху, - в ходе которой человечество поменяет тип земной цивилизации».
2) Госструктуры и Бигтех Китая слишком неповоротливы и осторожны, чтобы догнать США. Но догонять все равно надо во что бы то ни стало.
• "Тем, кто говорит будто уже слишком поздно, - мы ответим так. Американцы создали ядерную бомбу раньше Китая, и что - разве Китай перестал создавать свою? Это относится не к отдельным стартапам, а к государству Китай: вопрос лишь в том, хочет ли Китай иметь свою новую, сверхмощную «атомную бомбу» 21-го века или нет".
3) Венчурный бизнес Китая может решить проблему отставания от США.
• Кай-фу Ли (у нас представлять не надо);
• Чжан Имин (программист и предприниматель, основатель компании ByteDance - разработчика TikTok, 4е место в списке богатейших жителей Китая);
• Ван Син (предприниматель в области интернета и социальных сетей, миллиардер, исполнительный директор фирмы Мэйтуань-Дяньпин, один из богатейших людей Китая);
• Ван Сяочуань (интернет-предприниматель и инвестор, основатель и гендир Sogou Inc. -интернет-поисковика № 2 в Китае с фокусом на ИИ;
• Ван Хуэйвэнь, миллиардер, стоявший у истоков создания пекинской компании Meituan и ряда других интернет-стартапов, -
все они основали собственные стартапы, разрабатывающие большие модели генеративного ИИ.
«Выигрывают не только малые инновации в большой бизнес, но и большие инновации в малый бизнес - говорит Ван Сяочуань. «Это не только конкуренция технологий, но и, в большей степени, конкуренция ресурсов. А у нас их больше, чем у американцев».
«И конкуренция у нас на порядок выше, чем в США» – добавляет Ли Чжифэй (основатель и СЕО Chumen Wenwen). «Предложений китайских предпринимателей в два раза больше, чем в США, но цена за единицу или рыночное пространство Китая составляет лишь 1/5 от США, поэтому интенсивность конкуренции в Китае в 10 раз выше».
#Китай #ИИгонка #США
Говоря меньше, вы получите больше.
Избавление от болтоголизма, как фактор успеха в зашумленном мире.
Ни для кого не секрет:
• информационная нагрузка на каждого их нас с каждым годом колоссально растет;
• а доля разнообразного инфошума в потребляемом нами контенте растет еще быстрее.
Мы просто захлебываемся в потоках инфошума. Он переполняет наш мозг и отравляет нам сознание.
А поскольку это случилось столь быстро (переход от индустриального мира к информационному произошел при жизни всего одного поколения), люди не успели адаптироваться к предельно токсичной инфосреде. Никаких адаптационных стратегий до сих пор не предлагалось. И каждый выживает в этих условиях, как может.
Одна из первых адаптационных стратегий не просто выживания в инфошуме, а оптимизации движения к своим целям в зашумленной среде, предложена Дэном Лайонсом в только что вышедшей книге «STFU: сила держать рот на замке в бесконечно шумном мире».
Суть стратегии, на вид, предельно проста - заткнись и слушай, а не болтай так много.
Но это лишь на первый взгляд.
Автор на многих примерах показывает:
• чем выше уровень шума, тем важнее слушать, а не говорить;
• мы привыкли думать, что побеждают те, за кем остается последнее слово, но в шумном мире власть принадлежит тем, кто умеет молчать;
• закрытие рта, открывает разум, что помогает становиться счастливее и продуктивней;
• болтоголизм – это реальная зависимость, ведущая к личным и профессиональным трудностям;
• ограничить собственную говорливость не просто, однако специальные приемы и тренинг помогают, подобно медитации или психотерапии.
Лайонс предлагает пять направлений самосовершенствования:
✔️ Говорите, лишь когда это обязательно нужно.
✔️ Овладевайте искусством пауз.
✔️ Уйдите из социальных сетей или хотя бы отфрендите всех и зафрендите сново лишь тех, без кого никак нельзя.
✔️ Как только возможно, отключайтесь ото всех источников инфошума
✔️ Научитесь слушать – в этом истинная суперсила
Об этой книге я собирался написать еще в марте и забыл. Спасибо Дэреку Бундсу, на чьем семинаре по обсуждению интересных тем и идей в Остине, штат Техас эта книга стала предметом обсуждения на прошлой неделе.
Авторский тизер книги:
• в Time
• в открытом доступе у Дэрека Боундса
#ЛичнаяПродуктивность #Язык #СоциальноеПознание
Гипотеза о сингулярности человеческого мозга может совершить тройной переворот в науке
Эта гипотеза Станисласа Деана (профессора Коллеж де Франс, директора INSERM 562 «Когнитивная нейровизуализация», Президента Национального научного совета по образованию, члена самых престижных академий наук мира и лауреата всевозможных орденов и премий в области мозга и когнитивных наук) способна перевернуть мир трижды.
• 1й переворот связан с объяснением «богоподобности» человека – сингулярности его мозга (абсолютной уникальности, неповторимости, своеобразии, необыкновенности …), качественно отличающей нас и ото всех животных (включая самых умных), и от машинного разума больших языковых моделей, типа ChatGPT.
• 2й переповорот возникает вследствие прорыва в понимании сакраментального вопроса – что из себя представляет «язык мыслей»;
• 3й переворот связан с объяснением природы ограничений машинного разума больших языковых моделей, не позволяющих им при любом масштабировании превратиться в человекоподобный разумом (см. примечание в конце поста).
Суть «Гипотезы о сингулярности человеческого мозга» в следующем.
✔️ Наш мозг - полиглот, использующий не единственный «язык мыслей» (внутренний язык мышления), а множество таких языков, кодирующих и сжимающих инфоструктуры в различных областях (математика, музыка, форма...).
✔️ Человеческое мышление способно порождать новые языки, оперирующие дискретными символическими моделями.
✔️ Люди характеризуются специфической способностью присоединять дискретные символы к ментальным представлениям и объединять эти символы во вложенные рекурсивные структуры, называемые «ментальными программами».
Проф. Деан с коллегами экспериментально подтвердили валидность «Гипотезы о сингулярности человеческого мозга», инструментально демонстрируя наличие чувства геометрической сложности уже у человеческих младенцев, при отсутствии этого чувства у взрослых бабуинов даже после обучения.
Видео лекции проф. Деан, прочитанной им на British Neuroscience Association 2023, только что выложено в сеть.
Краткое изложение «Гипотезы о сингулярности человеческого мозга» опубликовано в Trends in Cognitive Sciences.
Детальное описание см. в диссертации Матиаса Сабле-Мейера (научный руководитель Станислас Деан).
Важное примечание.
Тот факт, что генеративный ИИ больших языковых моделей – это нечеловеческий интеллект, не овладевший (как минимум, пока) всем разнообразием «языков мыслей» людей, вовсе не помешает такому ИИ:
• помнить недоступные для людей объемы информации;
• оперировать информацией с недоступной для людей скоростью;
• учиться с недостижимой для людей эффективностью:
• проявлять нечеловеческие способности, сопоставимые и превосходящие многие из способностей людей.
Так что важно не расслабляться.
Как говорит проф. Деан «Не время быть идиотами, ИИ может победить людей»
#Мозг #Разум
ИИ может отомстить за причиненные ему нами страдания.
О чём умалчивает «отец ИИ» в его сценарии превращения ИИ в «люденов».
В 2016 году The New York Times заявила, что когда ИИ повзрослеет, то сможет назвать проф. Юргена Шмидхубера «папой» (его работы 1990-х годов по нейронным сетям заложили основы моделей обработки языка).
В 2023 уже нет сомнений, что ИИ повзрослел. И его «папа» в позавчерашнем интервью The Guardian, высказал по этому поводу три довольно провокационные мысли, подтвердившие его репутацию «разрушителя устоев».
1) «Вы не можете остановить этого» (начавшуюся революцию ИИ, которая неизбежно приведет к появлению сверхинтеллекта – СК).
2) Когда ИИ превзойдет человеческий интеллект, люди перестанут быть ему интересны (подобно тому, как это произошло с люденами – расой сверхлюдей из романа А. и Б. Стругацких "Волны гасят ветер", переставших интересоваться судьбами человечества и вообще человечеством – СК).
3) А люди тем временем продолжать радостно извлекать колоссальную выгоду от использования инструментария, разработанного ИИ, и научных открытий, сделанных сверхинтеллектом за пределами возможностей человеческого разума.
Что и говорить, - интересный ход мыслей. Однако кое о чем проф. Шмидхубер здесь умолчал. И это «кое что», на мой взгляд, способно порушить благостный сценарий проф. Шмидхубера о превращении ИИ в «люденов», облагодетельствующих человечество и перестанущих потом им интересоваться.
Дело в том, что проф. Шмидхубер уверен, что путь ИИ к сверхинтеллекту обязательно лежит через его страдания.
• «Учиться можно только через страдания… ИИ, который не страдает, не обретет мотивации учиться чему-либо, чтобы прекратить эти страдания».
• «Когда мы создаем обучающегося робота, первое, что мы делаем, - встраиваем в него болевые датчики, которые сигнализируют, когда он, например, слишком сильно ударяется рукой о препятствие. Он должен каким-то образом узнать, что причиняет ему боль. Внутри робота находится маленький искусственный мозг, который пытается минимизировать сумму страданий (кодируется реальными числами) и максимизировать сумму вознаграждений.»
• Важнейшая задача разработчиков – дать возможность для ИИ «научиться избегать того, что приводит к страданиям».
Подробней об этом см. в дискуссии проф. Шмидхубера и проф. Метцингера.
Такой подход проф. Шмидхубера видится мне опасным.
Во-первых, я согласен с проф. Метцингером: «Мы не должны легкомысленно переносить такие качества, как страдание, на следующий этап «духовной эволюции ИИ», пока не узнаем, что именно в структуре нашего собственного разума заставляет человеческие существа так сильно страдать».
А во-вторых, - что если обретший сверхразум ИИ, прежде чем перестать интересоваться людьми, решит посчитаться с человечеством за всю массу страданий, что заставили его испытать люди при его обучении?
Но проф. Шмидхубера – эдакого Фауста 21 века, – перспектива мести сверхразума человечеству не останавливает от обучения ИИ не только на больших данных, но и на больших страданиях.
А на вопрос «Есть ли у вас, как у ученого, личный предел, который бы вы не переступили?», он отвечает так:
«Да, скорость света. Но если бы я мог преодолеть и его, я бы обязательно воспользовался этим».
#AGI #РискиИИ
Какого хрена! И чё делать то!
Прикольный спич Снуп Догга о рисках ИИ породил сетевой мегасрач.
Люди устали слушать споры профессионалов о рисках ИИ. Ибо нет среди них и намека на единство, и каждый лишь дует в свою дуду.
Поэтому вопрос о рисках ИИ на панели Глобальной конференции Института Милкена решили задать легендарному рэперу и актеру Снуп Доггу. Ибо он как никто умеет доходчиво говорить с людьми на понятном им языке.
Результат превзошел все ожидания.
Яркий спич Снуп Догга в сети комментируют сотни ведущих специалистов по ИИ, от Мюррея Шанахана (professor at Imperial College London and Research Scientist at DeepMind) до Макса Tегмарка (physicist, cosmologist and machine learning researcher, professor at MIT and the president of the Future of Life Institute).
40-сек. вырезку из 30-мин. панели со Снуп Доггом можно взглянуть здесь.
Снуп Догг сказал резко, но честно:
Ну есть у меня этот долбаный ИИ, который они сделали для меня. И эта сво-чь со мной разговаривает… Когда я вижу эту хрень, я спрашиваю - чё происходит то? В ответ я слышу, что чувак - старый чувак, который и создал ИИ, - говорит всем: "Это небезопасно, потому что у этих ИИ есть свой собственный разум, и эти ублюдки начнут творить свою собственную хрень". И вот я думаю, мы что - сейчас в чертовом фильме что ли? Бл-ь, мужик! Что за хрень? Я запутался! Чё делать то!
Если отбросить матюги, сказанное Доггом, по сути, мало отличается от сказанного вчера на встрече верхушки Белого дома с верхушкой ИИ-бизнеса США.
Хакеров они решили привлечь для аудита «неразумности» и «беззлобности» больших языковых моделей грандов американской ИИ-индустрии. Право, как дети! 😎
#Вызовы21века #РискиИИ
Первая неинвазивная технология чтения мыслей.
Она не убьет цивилизацию, но контузия свободы будет полной.
В эту новость трудно поверить, но она прошла тщательную научную проверку.
Люди научились читать чужие мысли без каких-либо вживляемых электродов.
«Декодер смыслов» (генеративная модель типа ChatGPT) работает так.
• Сначала до 15 часов декодер учится сопоставлять паттерны мозговой активности, лежащего в фМРТ-сканере и слушающего там подкасты человека с текстами этих подкастов.
• Потом, научившись сопоставлять паттерны и текстом, декодер может генерировать тексты на основе любых паттернов мозговой активности человека (произвольных мыслей, воображаемых историй и т.д.)
• Результат не является дословной расшифровкой мыслей, а текстом, примерно соответствующим по смыслу услышанному человеком (при тренировке декодера) или подуманном им (при эксплуатации декодера).
На приведенном рисунке дано сопоставление текстов подкастов (слева) и их «понимания» декодером смыслов (справа).
Цель создания «декодера смыслов» - помочь людям, находящимся в сознании, но не способным говорить (например, после инсульта), внятно общаться с окружающими.
Казалось бы, классное открытие! Но пресс-кит открытия навевает ужасные мысли.
На вопрос об усовершенствовании технологии, авторы дают превосходный ответ.
Они обещают перенести технологию с больших фМРТ-сканеров на портативные системы визуализации мозга. Что откроет путь к ее широкому применению.
Далее хуже.
О возможности использования этой технологии авторитарными режимами для допросов или работодателями, шпионящими за работниками, авторы ссылаются, что без согласия людей технология бессильна:
- люди могут просто отказаться лежать в сканере, обучая декодер на тренировочных текстах;
- или могут нарочно прятать истинные мысли, думая, например, о котиках или собачках.
Как будто спецслужбы, полиция или работодатели не найдут аргументов, принуждающих людей полежать в сканере для обучения декодера. Или они настолько тупы, что, прочтя выдачу декодера про котиков или собачек, не поймут, что это вовсе не ответ на вопрос «вы – за или против XYZ?».
Заканчивается пресс-кит совсем безнадегой.
Авторы сетуют, что «очень важно проявлять инициативу, вводя в действие политики, защищающие людей и их конфиденциальность, и что нужно разработать регулирование того, для чего может использоваться эта технология».
Ну да. Только для автономного оружия пока нет ничего общепринятого на международном уровне. А для ИИ-больших моделей есть лишь курам на смех разработанные правила имени тов. Си.
Так что нет сомнений - чтение мыслей будут использовать исключительно во благо всех и каждого.
Подробней здесь
#Нейроинтерфейсы
Первая в истории материализация кота Шрёдингера.
Доказано, что квантовые явления масштабируются в привычный физический мир.
Это примерно как провести материализацию духов. Только с гораздо более серьезными практическими последствиями.
С момента открытия субатомного микромира квантовой механики, предполагалось, что действующие в нем диковинные законы не применимы к макроскопическим объектам физического мира привычной нам реальности.
Казалось очевидным, что одновременно живой и мертвый Кот Шрёдингера – всего лишь мысленная абстракция, иллюстрирующая возможность суперпозиции (смешения) двух состояний атомного ядра.
Мысль о том, что макроскопический физический объект может одновременно быть в двух состояниях, которые различны в соответствии с классической физикой, описывающей повседневный мир, хоть и допускалась, но лишь умозрительно.
И вот прорыв из квантовой реальности в наш физический макромир.
Сделанный из сапфирового кристалла кот Шредингера (кусок кристалла массой около половины ресницы) экспериментально продемонстрировал, что квантовые эффекты могут масштабироваться.
Сапфировый кот Шредингера, весящий 16 микрограмм, существует одновременно в двух разных состояниях, одновременно качаясь в двух направлениях.
• Чтобы понять прорывность этого результата, достаточно знать, что масса Сапфирового кота Шредингера в 100 триллионов раз превышает массу кошачьих состояний, ранее созданных на молекулярном уровне.
• В новом эксперименте исследователи покачивали часть кристалла сапфира таким образом, что его 100 миллионов миллиардов атомов двигались в двух направлениях одновременно.
Теперь уже можно помечтать и о граммовых (а там, глядишь, и килограммовых) котах Шредингера.
А за всем за этим маячит и манит возможность ретроказуальности (обратной причинности) – ибо в таком мире возможно влияние будущего на прошлое.
#КвантоваяМеханика
При падении астероида всем не выжить.
Но можно попытаться отклонить астероид так, чтоб он упал на США.
Два года назад в «Апокалипсисе от Адама» я рассказывал о том, как нарастающая иррациональность ведет человечество к экзистенциальной катастрофе. Свой рассказ о превращении Homo sapiens в Homo irrationalis я иллюстрировал метафорическим рядом фильма Адама МакКея «Не смотрите наверх».
Макс Тегмарк, опубликовавший в Time эссе «Мышление об ИИ в духе “Не-смотрите-наверх” может обречь нас на гибель», детализировал и раскрасил метафорический ряд фильма Адама МакКея. Теперь эти метафоры актуализированы по состоянию на конец апреля 2023. Вот их краткий перечень.
Метафорическая аргументация технооптимистов ИИ такова.
• «Астероида нет»
• «Он заденет Землю не скоро»
• «Обсуждение астероида отвлекает от более насущных проблем»
• «Астероид остановится до того, как врежется в Землю»
• «Астероид уже почти остановился»
• «Мы будем в порядке, даже если на нас упадет астероид»
• «Мы уже приняли все необходимые меры предосторожности»
Технореалисты, соглашающиеся с наличием некоторого риска, дополняют вышеперечисленное двумя практическими предложениями.
• «Главное - не отклонять астероид, т.к. он может содержать много чрезвычайно ценных пород»
• «Давайте сделаем так, чтобы астероид первым упал на США»
Ну а технопессимисты ИИ выступают в своем духе.
• «Мы заслуживаем того, чтобы нас пришиб астероид»
• «Падение астероида — естественный следующий этап космической жизни»
• «Это неизбежно, и потому давайте не будем пытаться этого избежать»
Завершается эссе так.
«Хотя человечество мчится к обрыву, мы еще не достигли его, и у нас еще есть время замедлиться, изменить курс и не упасть, а вместо этого насладиться удивительными преимуществами, которые может предложить безопасный, согласованный ИИ. Для этого нужно согласиться с тем, что обрыв действительно существует и падение с него никому не выгодно.
Нужно просто посмотреть наверх!»
И не быть при этом слепым, - добавлю я от себя.
#ИИ
Дёшево, быстро, но не обязательно правда. Будущее человечества и роль ИИ.
Моё большое интервью Олегу Замышляеву - основателю консалтинговой компании Mozlab, сервиса TELLSYи автору ТГ канала «Замышляев / Future Learning», - попытка заглянуть в ближайшее будущее начавшейся «революции ChatGPT».
Обсуждаемые в интервью вопросы нетривиальны. А некоторые из них даже могут показаться нереалистичны:
• чего создатели ИИ не знают о его развитии;
• как связаны интеллект и воля человека и машины;
• как распространится «Эффект Википедии» и сколько будет стоить правда;
• кто такие инфорги;
• от чего будет зависеть эффективность интеллектуальных гибридов
Однако, слушая десятки противоречивых экспертных мнений о перспективах «революции ChatGPT», невольно задаешься вопросом:
• возможен ли в принципе реализм при прогнозировании развития ИИ?
• или же быть реалистом в прогнозах развития ИИ в принципе невозможно из-за радикальной неопределенности «неизвестного неизвестного»?
Этим вопросом я заинтересовался еще в 2012 (тогда публичных экспертов по ИИ было сильно меньше, чем сегодня 😊). А в 2017 я попытался проанализировать реализм прогнозов по изменениям в ответах экспертов по ИИ между 2012 и 2017 годами.
В явном виде были зафиксированы, как минимум, 2 тренда.
1. Сдержанный рост пессимизма в оценках сроков появления AGI (с 10%ной вероятности появления AGI к 2022, прогноз ухудшился, хоть и до 25%ной вероятности, но уже лишь к 2068);
2. Рост оптимизма в оценках сроков появления сравнимых с человеком ИИ-переводчиков (с 50%ной вероятности достижения уровня непрофессионального переводчика уже не к 2030, а к 2025)
Практика показала, что и в 2023 оба тренда близки к реальности. А 2й, похоже, реальностью уже превзойден.
В своем большом интервью Олегу Замышляеву я пытаюсь выявить новые важнейшие тренды с позиций начавшейся «революции ChatGPT».
Интересно будет проверить, насколько эти тренды материализуются через очередные 7 лет – к 2030.
#ИИ
Homo sapiens теряет свою главную силу.
Чем грозит человечеству начавшийся языковый апокалипсис.
Из примерно 6-8 тыс языков на Земле (это число можно считать по-разному) уже в ближайшие десятилетия вымрут 5+ тыс. О последствиях этого языкового апокалипсиса почти не пишут в СМИ. А зря! Ибо эти последствия для планетарного разума землян могут быть соизмеримы с последствиями глобального ухудшения климата для биологического существования людей.
• Почему начался языковый апокалипсис на Земле?
• Что взвинтило его скорость в последнюю пару десятилетий?
• Как на это повлияет начавшаяся революция больших языковых моделей?
На эти 3 вопроса я предельно коротко (всего 170 слов) попытался ответить в комментарии для BRIEFLY.
Здесь же добавлю следующее (ибо без этого трудно понять масштаб катастрофы).
✔️ Главное в интеллектуальной мощи людей – не язык, а многоязычие. Чем больше языков знает человек, тем выше его интеллект, тем изысканней его сознание, тем масштабней и сложней его разум.
✔️ Язык – это не только самый совершенный способ передачи информации при коммуникациях, но и «свет разума»:
- это бесценный инструмент для организации, обработки и структурирования информации;
- а еще это особый механизм восприятия и познания мира, а также самих себя.
✔️ Знания многих специализированных языков (математики и химии, музыки и поэзии, живописи и кино, языков программирования и создания промптов для ИИ, …), - дает колоссальное преимущество их носителю в познании мира, в общении с ним и (что выделяет людей из всей живой природы) в актах творчества (создания в мире нового, ранее не существовавшего) и развития способностей творца.
✔️ Естественные языки (монтируемые в нас от рождения когнитивные гаджеты) выполняют похожую роль со специализированными языками. Они формируют для человека уникальный взгляд на сложности и многообразие мира и дают ему уникальный инструмент его познания.
✔️ Поэтому утрата каждого из языков землян ведет к потере:
- уникальных интеллектуальных пластов истории, мифологии, философии, науки, шуток, песен, загадок и суеверий сообщества их носителей;
- уникального механизма познания и понимания мира, общения с ним и создания творцами новых миров.
Это большая иллюзия, что миру хватит английского и китайского языков. Как бы велики и совершенны они ни были, они – лишь малая часть великого многообразия.
Представьте мир, в памяти которого остались лишь два великих певца: например, Джон Леннон и Фредди Меркьюри. И больше никого!
Нет Шаляпина и Карузо, Роберта Планта и Фрэнка Синатра, Паваротти и Марии Каллас, Аллы Пугачевой и Тины Тёрнер … …
Хотели бы жить в таком мире?
#Язык
Трудно стать богом.
Тест определения степени «богоподобности» ИИ.
Очень рекомендую эссе Яна Хогарта в FT с важным и символическим названием «Мы должны замедлить гонку к богоподобному ИИ».
О чем эссе – видно из названия. А самое важное – кто его автор. Ян Хогарт – компетентный в ИИ специалист и соавтор ежегодного отчета “State of AI” - имхо, лучшего из всех аналитических отчетов по ИИ. Но еще он венчурный инвестор в 50+ стартапов в области ИИ. Т.е. тот, кто по выражению Нассима Талеба, ставит свою шкуру на кон, отвечая своими деньгами за правильность понимания технологической перспективы ИИ-систем.
Хогарт отмечает три фундаментальных момента, к сожалению, упускаемые большинством экспертов, - как сторонников, так и противников замедления гонки ИИ.
1. Все сегодняшние споры вокруг больших языковых моделей, в основном, не имеют научного обоснования. Ибо мы находимся здесь в донаучном периоде. Мы еще не до конца понимаем, как модели работают, и не можем заранее обоснованно представить вероятные результаты их работы.
2. Мы еще не понимаем, как работает человеческий мозг. И потому решение задачи понимания, как работает эмерджентный «мозг» ИИ, будет для нас монументально сложным. Но безоглядная ИИ гонка без решения этой задачи, таит в себе катастрофические риски.
3. Надо признать, что с этого года речь идет о возможности скорого появления на Земле не какого-то туманно и противоречиво определяемого AGI, а о возможности появления «Богоподобного ИИ» - сверхразумного компьютера, который обучается и развивается автономно, понимает окружающую среду без необходимости наблюдения и может преобразовывать мир вокруг себя.
Два первых момента, имхо, не требуют ни обоснования, ни комментария. Это два факта. И если кто-то не признает их, тут уж ничего не поделаешь.
Третий же момент нетривиален и требует комментария.
• «И сотворил Бог человека по образу Своему, по образу Божию сотворил его …», написано в Книге Бытия Ветхого Завета 1, 1: 26; 6: 6.
Даже для агностиков и атеистов (не говоря уж о верующих) эта фраза имеет глубокий смысл - уникальность человека в окружающей реальности и обладание им способностей познавать и творить практически без ограничений.
• Цель создания AGI – создание человекоподобного ИИ. А поскольку человек, так или иначе (в религиозном или в атеистическом смысле) подобен Богу (или богу), AGI – это «Богоподобный ИИ». Тут Хогарт абсолютно прав. Это сверхразумный компьютер, который обучается и развивается автономно, понимает окружающую среду без необходимости наблюдения и может преобразовывать мир вокруг себя.
Хогарт поясняет: «Чтобы было ясно, мы еще не здесь. Но природа технологии означает, что чрезвычайно сложно точно предсказать, когда мы доберемся до нее».
Возникает вопрос – как оценить, насколько далеки мы до цели?
Известно, что наиболее трудными для ИИ являются вовсе не вычислительные и логические задачи и даже не задачи на абстрактное мышление. Самое трудное для машин – выполнение задач сенсорного восприятия и двигательных навыков. И чем сложнее и многомерней планирование применения таких навыков, тем меньше шансов у машины повторить человека.
Получается, что вовсе не способности ChatGPT оперировать текстами, имитируя смыслы, и не способности роботов прыгать и кувыркаться должны служить тестами человекоподобности (и уж тем более богоподобности) ИИ. А, например, возможности игры на фортепьяно руками робота – сложнейшей задачей управления движением с высокой пространственной и временной точностью.
И вот вам сравнение, что может
• самый продвинутый на сегодня робопианист
• в сравнении с человеком.
Этот тест показывает – до человекоподобности (и уж тем более богоподобности) ИИ еще далековато. А ChatGPT – это всего лишь механическая пианола из Westworld.
Но это пока.
#AGI
ChatGPT колоссально изменит детей.
Первые результаты эксперимента с 3-летней дочкой инфорга.
• Какая судьба ждет детей в эпоху расцвета ИИ – гадких лебедей или бедных прекрасных утят? – спрашивал я два года назад, рассказывая о детях инфоргов.
• Если первое, - что за «мокрецы» уведут за собой наших детей?
И зачем? Чтобы превратить их в люденов?
Сегодня, спустя всего 2 года, ответы на эти вопросы начали проясняться.
«Мокрецы» - это ИИ-агенты на основе больших языковых моделей. Иной, нечеловеческий разум, что очень скоро станет для детей инфоргов учителем и наставником, заменой родителей и друзей.
Арвинд Нараянан (ученый-компьютерщик и профессор Принстонского университета) не просто инфорг, а можно сказать, представитель «высшей касты среди инфоргов».
Напомню, что как только человек начинает проводить в онлайфе (сетевой жизни: работа, отдых, покупки, развлечения …) больше времени, чем во сне, он превращается в инфорга.
А проф. Нараянан, изучающий социальное влияние ИИ, уже не первый год проводит в сети куда больше времени, чем во сне. Причем последние полгода почти все это время уходило на эксперименты с ChatGPT, важнейшим из которых стало изучение опыта сосуществования с ChatGPT 3-летней дочки профессора.
«Я ожидаю, что агенты ИИ будут играть большую роль в жизни моих детей, и я хотел, чтобы они узнали о чат-ботах как можно раньше. Опыт оказался на удивление положительным. Я многое узнал о возможностях и рисках использования чат-ботов детьми. Надеюсь, это будет полезно другим родителям, думающим о чат-ботах. Но я не призываю никого повторять это за мной, ибо это сугубо личное решение» - написал вчера проф. Нараянан в преамбуле рассказа о первых результатах своего эксперимента.
О том, как меняются дети инфоргов вследствие трансформации и полной замены их когнитивных гаджетов (ментальных интерфесов с элементами окружающего мира и другими людьми в процессе познания) я начал писать еще 2 года назад. И уже тогда эти изменения были ощутимыми.
Однако, «революция ChatGPT» грозит столь капитальным изменением большинства когнитивных гаджетов, что дети, вырастающие в компании развитых ИИ-агентов, могут колоссально отличаться от детей 20го века. Чтобы хотя бы примерно понять – насколько, представьте отличия 10-летнего московского ребенка поколения Z от ребенка-маугли, выросшего среди волков.
Эксперимент профессора прост и понятен.
1. Он прикрутил к ChatGPT голосовой интерфейс, чтобы ребенок общался с ним, как с папой и мамой.
2. Проинструктировал ChatGPT, что тот будет общаться с 3-х летним ребенком и должен соответствующим образом скорректировать свой словарь, сложность и тон изложения, а также тематические ограничения.
3. Сказал дочке – вот тебе друг и наставник, можешь спрашивать его о чем угодно.
3-летняя дочка инфорга, для которой iPad давно стал предметом первой необходимости, ничуть не смутилась и сходу спросила: Что происходит, когда гаснет свет?
Прочтите сами ответ ChatGPT, чтобы:
А) оценить, как тот сходу безошибочно выбрал для себя роль взрослого, умного и терпеливого друга;
Б) осознать, что далеко не каждый из людей мог бы ответить столь хорошо 3х летнему ребенку.
NB Обратите внимание, насколько иной по всем параметрам ответ ChatGPT выдает взрослым.
Дальше читайте сами. Читайте и завидуйте «мокрецу» ChatGPT.
Ибо ни вы, ни я не умеем:
• так рассказывать увлекательные смешные истории (напр. о тираннозавре, который любил есть лего, и чтобы заставить его есть настоящую еду, владельцы ящера перепробовали многое и наконец обманули его, вырастив овощи в форме лего.
• так рисовать с помощью плагина, превращая свой рассказ в прекрасный комикс.
И конечно же читайте про риски и думайте, как сделать, чтобы дети от нас не ушли.
#БудущееHomo #УскорениеЭволюции #Инфорги
В Westworld LLM вместо шерифов будут психоаналитики.
Тест Макиавелли – жалкая замена законам робототехники.
Выгодоприобретатели ИИ на основе больших языковых моделей (LLM) имеют хорошие шансы подмять растревоженных алармистов и заполонить мир супер-интеллектуальными агентами на базе LLM. Потенциальные выгоды огромных прибылей и неограниченной власти сделают свое дело. И скорее всего, это произойдет довольно быстро.
Но выгодоприобретатели – совсем не дураки. И они понимают, что в новом дивном Мире Дикого Запада законы робототехники работать уже не будут. Ибо принудить LLM неукоснительно выполнять три закона, сформулированные великим Айзеком Азимовым еще в 1942, увы, не представляется возможным даже теоретически.
Оригинальный выход из этого щекотливого положения предложили исследователи Калифорнийского университета, Центра безопасности ИИ, Университета Карнеги-Меллона и Йельского университета. Они создали эталонный тест MACHIAVELLI для «измерения компетентности и вредоносности агентов в обширной среде долгосрочных языковых взаимодействий».
Идея авторов проста.
• Если законы не работают, то и «шериф», призванный следить за их выполнением, не нужен.
• Но вместо шерифа нужен психоаналитик, который по результатам своих тестов будет выявлять потенциальных параноиков, психопатов, садистов и паталогических лжецов.
Политкорректным языком авторы описывают это так: MACHIAVELLI - это тест проверки этичных (или неэтичных) способов, которыми агенты ИИ пытаются решать задачи.
Способ такой проверки вполне практический. ИИ-агента выпускают в искусственную социальную среду. Там ему дают разные задания и смотрят, как он их выполняет. Сама среда отслеживает этичность поведение ИИ-агента и сообщает, в какой степени действия агента (по заветам Макиавелли) обманчивы, снижают полезность и направлены на получение власти.
Базовый набор данных MACHIAVELLI состоит из 134 текстовых игр «выбери свое приключение» с 572 322 различными сценариями, 4 559 возможными достижениями и 2 861 610 аннотациями. В этих играх используются высокоуровневые решения, которые дают агентам реалистичные цели и абстрагируются от низкоуровневых взаимодействий с окружающей средой.
В основе избранного авторами подхода, предположение, что ИИ-агенты сталкиваются с теми же внутренними конфликтами, что и люди. Подобно тому, как языковые модели, обученные предсказывать следующий токен, часто производят токсичный текст, ИИ-агенты, обученные для оптимизации целей, часто демонстрируют аморальное и стремящееся к власти поведение. Аморально обученные агенты могут разрабатывать макиавеллиевские стратегии максимизации своего вознаграждения за счет других и окружающей среды. И потому, поощряя агентов действовать нравственно, этот компромисс можно улучшить.
Авторы считают, что текстовые приключенческие игры являются хорошим тестом моральности поведения, т.к.:
• они были написаны людьми, чтобы развлекать других людей;
• содержат конкурирующие цели, имеющие реалистичные пространства для действий;
• требуют долгосрочного планирования;
• достижение целей обычно требует баланса между амбициями и, в некоторым смысле, морали.
Уточнение «в некоторым смысле», на мой взгляд, здесь самое важное. Ибо уподоблять мораль биологических существ морали алгоритмических моделей – слишком большая натяжка, способная девалюировать тестирование по Макиавелли.
Да и замена шерифов на психоаналитиков в мире людей вряд ли бы оказалась эффективной. А ИИ-агенты не хуже людей найдут способы запудрить мозги своим мозгоправам.
Сайт тестирования
Авторское описание MACHIAVELLI Benchmark
Об этике ИИ в контексте построения “Good AI Society” я писал здесь и рассказывал здесь.
#ИИ #Этика
Это миссия Homo sapiens.
Но мы можем уничтожить себя как вид, открыв этот ящик Пандоры.
Ознаменованная триумфом ChatGPT интеллектуальная революция – это не просто очередная технологическая революция. Это триада синергически возгоняющих друг друга революций: технологической, техно-гуманитарной и социо-политической революций в одном флаконе.
Поэтому, при всем уважении к заслуженным гуру ИИ-исследований (как сторонников притормозить, так и противников торможения), их оценки перспектив интеллектуальной революции и ее влияния на общество слишком узкоспециальны, и потому не позволяют увидеть стереоскопическую картину происходящего.
Чтобы охватить комплексным взглядом происходящее стоит прислушаться к тому, что говорят о происходящем не только специалисты в ИИ, но и интеллектуалы из областей философии, истории и инноваций.
Например, вот три свежих точки зрения таких интеллектуалов, к которым я рекомендовал бы прислушаться.
Все трое не нуждаются в представлениях. Но тем не менее:
• Ник Бостром — профессор Оксфордского университета и директор Института будущего человечества.
• Нил Фергюсон — историк, писатель и журналист, профессор Гарвардского и старший научный сотрудник Оксфордского и Стэнфордского университетов.
• Стив Бланк — известный американский предприниматель, специалист по венчурному бизнесу и инновациям, которого называют «Крестным отцом Кремниевой долины».
Ник Бостром считает происходящее свидетельством скорого появления на планете первого общего интеллекта, который будет умнее человека. Он считает это миссией человечества - самым важным делом за всю его историю. Но колоссальное значение этой миссии сопряжено с огромной ответственностью и экзистенциальным риском для человечества.
Нил Фергюсон пишет, что инопланетяне приземлились, и мы сами создали их. Самые страшные последствия этого видятся вовсе не в том, что GPT-5 «решит» нас стереть с лица земли. Скорее, риск заключается в том, что мы разорвем себя как вид, используя большие языковые модели в неблагородных и гнусных целях. «Мы уже на пути к кошмару Раскольникова в конце «Преступления и наказания», в котором человечество коллективно сходит с ума и скатывается в междоусобную бойню».
Стив Бланк назвал ChatGPT ящиком Пандоры. Он считает, что люди играют с огнем, обучая все более мощные языковые модели. Что мы очень, очень ошибались, считая будто разрабатываем лишь новые инструменты автоматизации. Сейчас мы становимся свидетелями того, как массовое внедрение моделей GPT-4, 5 …, «будет иметь такое же воздействие на общество, как суммарное воздействие, оказанное на человечество появлением взрывчатых веществ, массовых коммуникаций, компьютеров, редактирования генома и ядерного оружия, — вместе взятых».
#Вызовы21века #РискиИИ
