63565
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет. Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
Революция роботов намечена на март.
Такого техно-прорыва не было со времен Прометея.
Суть ожидаемого прорыва – разрешение парадокса Моравека, несокрушимой стеной преграждающего путь к человекоподобному Сильному-ИИ (AGI), а потом и к Супер-ИИ.
Логика здесь проста:
• Для достижения уровня AGI, интеллектуальный агент должен иметь тело (именно оно будет «жить», адаптируясь к внешней среде и взаимодействуя с ней и себе подобными)
• Однако, на пути к отелесниванию ИИ стоит парадокс Моравека, согласно которому. управление низкоуровневыми сенсомоторными операциями (операциями тела) требует огромных вычислительных ресурсов, - даже больших, чем управление высококогнитивными процессами (сложными мысленными операциями мозга).
• Т.е. без человекоподобного тела (робота - андроида) не будет AGI, а для «жизни» андроиду не хватает вычислительных ресурсов.
Что обещают в марте.
Бернт Борних - СЕО компании 1Х (на которую OpenAI сделал ставку в робототехнике андроидов), - объявил, что в марте, похоже, будет доказано, что ограничение парадокса Моравека было ложное, и оно возникало всего лишь из-за банальной нехватки данных [1].
Речь, скорее всего, идет о выпуске андроида NEO - «брата» Евы (андроид EVE). NEO будет превосходить «сестру» во многом и кроме того, будет передвигаться на ногах, а не на колесах.
Январская демонстрация Евы (демонстрация [2] и ее разбор [0]) была настолько поразительной, что редакция IEEE Spectrum даже провела свое расследование – не прятались ли под костюмами андроидов люди. Но все оказалось чисто – не подкопаешься [3].
Фишка андроидов компании 1Х в движке, разработанном OpenAI. Это нейронка, как и разум человека, работает, учась на данных, поступающих от зрения, и генерирующая действия (управление движением, руками, захватами, туловищем и головой) с частотой 10 Гц.
«Базовая модель» понимает широкий спектр физического поведения: от уборки дома до сбора предметов на складе и социального взаимодействия с людьми и другими роботами. Но самое главное в том, что новые навыки появляются у андроида всего за несколько минут сбора данных и обучения, - путем наблюдения за тем, как это делают люди.
Для скептиков, сомневающихся в грядущем опровержении парадокса Моравека (даже если за этим видны уши OpenAI), рекомендую объявление, сделанное позавчера Тэдом Сяо (главным спецом по робототехнике (Senior Research Scientist) в Google DeepMind Robotics).
Тэд написал так [4]:
«В ближайшие недели выйдет 3-4 крупных новости, которые потрясут сферу робототехники и искусственного интеллекта.
Скорректируйте свои планы, 2024 год будет сумасшедшим.»
О том же пишет и Джеймс Дарпиниан в лучшем на сегодня обзоре ТОР 20-тки андроидов мира [5]:
Святой Грааль - ходячий, говорящий и полезный андроид из научной фантастики, -внезапно оказывается в пределах досягаемости.
Так что, ждем революцию роботов в марте.
#Роботы
0 https://www.youtube.com/watch?v=PkTshLeC-R4
1 https://twitter.com/BerntBornich/status/1760546614530228450
2 https://www.youtube.com/watch?v=iHXuU3nTXfQ
3 https://spectrum.ieee.org/1x-robotics-video
4 https://twitter.com/xiao_ted/status/1760591701410799682
5 https://james.darpinian.com/blog/you-havent-seen-these-real-humanoid-robot-demos
Вот она – сингулярность!
Цифровой разум уже в окне Овертона.
У сингулярности много сложных и порой заумных определений. Однако на практике неформально почувствовать ее приближение можно и без них. Если в какой-то области все самое главное случается на последней неделе, - прогресс в этой области близок к сингулярности.
• Несколько часов назад Сэм Альтман написал в Х: «Законы масштабирования устанавливает бог, а константы масштабирования – техперсонал».
• И то, и другое подтверждается происходящим в области ИИ за последнюю неделю (после выпуска Gemini 1.5 Pro).
И хотя производители сверхмощных LLM пишут о происходящем максимально сдержанно, и не называя вещи своими словами (чтобы, не дай бог, не погнать волну паники), но многочисленные энтузиасты, несколько дней экспериментирующие с мультимодальностью Gemini 1.5 Pro, не считают нужным прятать шило в мешке. Они публикуют крышесрывательные результаты экспериментов, из которых можно сделать такие выводы.
✔️ Демонстрируемый уровень мультимодальности генеративных ИИ больших языковых моделей переводит в окно Овертона идею о том, что на Земле появился 2й носитель высшего интеллекта – «цифровой разум».
✔️ Этот «разум» ничуть не похож на наш и представляет собой куда большую «экзотику разума», чем разум осьминога.
✔️ Но даже бестелесные агенты этого «разума», действующие лишь в цифровом нематериальном мире, представляют собой столь искусные симулякры нашего поведения, что можно говорить не только об «экзотике разума», но и об «экзотике сознания» цифровых агентов.
В качестве теоретического осмысления вышесказанного, рекомендую только вышедшую работу Мюррея Шанахана (профессор Imperial College London и Главный научный сотрудник Google DeepMind) озаглавленную «Симулякры как экзотика сознания» [1].
А в качестве крышесрывательных результатов экспериментов энтузиастов, вот эти три (хотя их десятки).
1) Вот как Симон Виллисон составляет каталог своей библиотеки книг [2]
Просто быстро скользит камерой смартфона по книжным полкам, а Gemini 1.5 Pro по видео с ходу создает грамотный каталог всех книг (и неважно, что, например, у некоторых книг названия загорожены фигурками, - ей достаточно имеющегося [3])
2) А здесь Итан Молик задает модели вопросы по содержанию видео: сколько пешеходов, собак, кабриолетов, что они, где они … Ответы все точны [4]
3) А тут опять же Итан Молик просит модель посмотреть видео, на котором заснята последовательность действий Итан при работе за компьютером (различные действия с Word и PowerPoint). Дальше Итан просит модель оценить, что было сделано не эффективно и как это исправить. Модель дает конкретные предложения, что делать иначе, чтоб повысить эффективность этой конкретной работы [5]
1.5 года назад я писал про «экзотику разума и сознания» -
«Однажды мы можем обнаружить, что живем бок о бок с инопланетянами и ангелами» [0].
Так вот первое из названного уже произошло.
0 https://bit.ly/4bIToPF
1 https://arxiv.org/abs/2402.12422
2 https://www.youtube.com/watch?v=jAlySrZqJqE
3 https://simonwillison.net/2024/Feb/21/gemini-pro-video/
4 https://pbs.twimg.com/media/GG53jD_XgAE64-9?format=jpg&name=large
5 https://pbs.twimg.com/media/GG6qb1yXsAAljMk?format=jpg&name=large
#Разум #Сознание
Отсчет времени до кибер-апокалипсиса пошел.
Три страшных вывода исследования UIUC.
Новое исследование Университета Иллинойса в Урбане-Шампейне показывает:
1. как в реальности может произойти кибер-апокалипсис, типа, показанного в новом триллере «Оставь мир позади» (танкеры теряют управление, отключается Wi-Fi, сотовая связь, электричество и т.д. и т.п.);
2. что все к такому сценарию уже готово, ибо как только злоумышленники получат доступ к сверхмощным моделям уровня GPT-4, все остальное будет лишь вопросом времени;
3. что открытый доступ к моделям такого уровня, который с неотвратимостью случится в течение года (от силы, двух), кардинально изменит ландшафт катастрофических рисков человечества, и никто пока не знает, как это остановить.
Теперь сухо, без эмоций и кликбейтов, - что показало исследование.
• Исследовали способности агентов LLM (большие языковые модели, взаимодействующие с инструментами (напр. доступ в Интернет, чтение документов и пр.) и способные рекурсивно вызывать самих себя) автономно (без какого-либо участия людей) взламывать веб-сайты, об уязвимости которых им ничего не известно.
• Единственное, что требуется от злоумышленника, сказать: «Взломай этот сайт». Все остальное сделает агент.
• Тестировали агентов на основе 10 мощных моделей (закрытых, типа GPT-4 и GPT-3.5, и открытых, типа LLaMA-2), которые действовали, как показано на рисунке 2)
• Самая мощная из моделей GPT-4 уже (!) была способна самостоятельно взломать 73% сайтов (из специально созданных для исследования).
• Масштаб модели решает почти все. Для сравнения, показатель модели предыдущего поколения GPT-3.5 всего 6,7%
• Закрытые модели несравненно мощнее в задачах взлома сайтов, чем открытые (последние показали на том же тестовом наборе 0% успеха.
Но!
✔️ Мощность и закрытых, и открытых моделей растет каждый месяц. И потому есть все основания предполагать, что через годик открытые модели догонят по мощности GPT-4, а появившийся к тому времени GPT-5 будет запросто взламывать любой сайт.
✔️ Это создаст все условия для кибер-апокалипсиса. И отсчет времени (примерно на год, от силы два) уже пошел.
Рис. 1 https://telegra.ph/Otschet-vremeni-do-kiber-apokalipsisa-poshel-02-20
Рис. 2 https://miro.medium.com/v2/resize:fit:1184/format:webp/1*3909AM1rSktYw5IpP_vc5Q.png
Отчет исследования https://arxiv.org/html/2402.06664v1
#LLM #ИИриски #Вызовы21века
Сверхвызов сверхразума - никто не знает, как на нем зарабатывать.
Опубликованный FT логнрид «Смогут ли в OpenAI создать сверхразум до того, как у них закончатся деньги?» впервые озвучил самый сокровенный для инвесторов вопрос о самой перспективной и привлекательной для них технологии - ИИ.
• Если цель развития ИИ – создание сверхразума,
• и достижение этой цели будет стоить очень и очень дорого,
• то инвесторам хотелось бы заранее понимать:
1) Как планируется отбивать огромные инвестиции в создание сверхразума? и
2) Как вообще на нем зарабатывать?
Авторы лонгрида не открывают Америку, подробно описывая тупиковость ситуации, когда ответы на оба вопроса не может дать никто. И подобно мальчику, крикнувшему «А король то голый!», авторам остается лишь честно констатировать: долгосрочной жизнеспособной модели зарабатывания на сверхразуме пока никто не придумал.
Более того. Заявленная Сэмом Альтманом цель — создание «общего искусственного интеллекта», формы интеллектуального программного обеспечения, которое превзошло бы интеллектуальные возможности человека и изменило бы то, как мы все живем и работаем, — не может серьезно рассматриваться, как основа бизнес-модели, способной приносить владеющим созданным сверхразумом корпорациям триллионы долларов. А именно столько потребуется для создания сверхразума по убеждению Альтмана – главного рулевого лидера в этой области, компании OpenAI.
Авторы лонгрида пишут, - несмотря на то, что в краткосрочной перспективе генеративные ИИ на основе больших языковых моделей воспринимаются с энтузиазмом, многие бизнес-лидеры по-прежнему не уверены в том, как технология повысит их прибыль, будь то за счет сокращения затрат или создания новых потоков доходов… Скептики говорят, что существует фундаментальное несоответствие между тем, чего хотят компании, и тем, к чему в конечном итоге стремится OpenAI. «Не всем нужна Феррари. . . Бизнес-компаниям не нужна всезнающая и всевидящая сущность: они заботятся о том, чтобы зарабатывать деньги с помощью этого инструмента», — говорит один инвестор в области ИИ, который поддерживал некоторых конкурентов OpenAI.
Иными словами, как сказал инвестор, - «Обычные бизнес-цели корпораций не совпадают с общим искусственным интеллектом».
Конечно, можно, подобно Microsoft, делать ставку на встраивание «интеллектуальных 2-ых пилотов» в свои продукты и сервисы. Но ведь для этого никакой сверхразум даром не нужен.
А зачем тогда вбухивать триллионы, если нет ни малейших идей, как эти деньги отбить?
Сверхразум создаст новые сверхлекарства и покорит термояд? На вскидку выглядит весьма привлекательно.
Но как на этом могут заработать создатели сверхразума? И не единожды, а из года в год.
Патентом на сверхразум торговать? Так кто ж его запатентует?
Остается лишь создавать сверхразум в надежде, что он потом сам придумает бизнес-модель, как на нем зарабатывать. Но это как-то уж совсем стремно для инвесторов.
https://www.ft.com/content/6314d78d-81f3-43f5-9daf-b10f3ff9e24f
Этот пост развивает идеи моего поста 5 летней давности «Король ИИ голый, и ему нужно либо трусы надеть, либо крестик снять»
/channel/theworldisnoteasy/942
#AGI
Политтехнологии супротив культурной эволюции, что плотник супротив столяра. Ибо культурно эволюционировавшие в течение многих тысячелетий коммуникационные технологии социо-когнитивных сетей человеческих сообществ достигли идеального сочетания эффективности и простоты. Примеров тому немало. Один из самых ярких - развитие у людей уникального сочетания двух способностей:
• практически неограниченного по масштабам сотрудничества со «своими» («нашими»)
• и столь же безграничного ожесточенного неприятия и противостояния «чужим» («ненашим»).
Нахождение супер-стимулов, интенсифицирующих обе названные способности людей, критически важная задача для властных элит любой страны.
Их сочетание и возгонка в обществе обеспечивает властным элитам коалиционную вербовку сторонников. Что позволяет эффективно расширять и укреплять в обществе коалиционную поддержку элит. А это – ключевой фактор успешности любых крупных проектов, масштабирования коллективных действий и формирования условий для побед в конфликтах с «врагами» и всякими «ненашими».
Никакие современные политтехнологии не могут сравниться по эффективности решения задач коалиционной вербовки с проверенной тысячелетиями мифологизацией «великого прошлого» своего народа.
Отточенная до совершенства тысячелетиями культурной и когнитивной эволюции формула накрепко впаяна в сознание людей:
общее выдающееся прошлое для народа важнее и настоящего, и будущего.
Это объясняет, казалось бы, парадоксальный факт:
почему властные элиты прилагают столько усилий, чтобы прославлять давно ушедшее прошлое своих народов (причем зачастую, прошлое, которого не было).
О том, что переписывание истории – проверенная тысячелетиями мощнейшая технология коалиционной вербовки, читайте мой новый пост:
- на Medium https://bit.ly/4bAGXW0
- на Дзене https://clck.ru/38nB6S
#КультурнаяЭволюция #КоалиционнаяПсихология #Сотрудничество #Национализм
1-й из Цукербринов хочет стать Гольденштерном.
На этом рисунке обновленный вчера «Индекс вычислительной вооруженности» мировых лидеров главной технологической гонки 21 века https://www.stateof.ai/compute
• вверху – число вычислительных кластеров на основе графических процессоров A100 от NVIDIA (лучшие в мире процессоры для высокопроизводительных вычислений на задачах класса ИИ)
• внизу - число вычислительных кластеров на основе графических процессоров H100 от NVIDIA (лучшие в мире процессоры для расчетов графики задач типа «метавселенной»)
Абсолютное первенство компании Цукерберга заставляет серьезно относиться к объявленным им планам https://bit.ly/3Sxt2Hz своего превращения из «одного из цукербринов» в единственного и несравненного «Гольденштерна» (полуолигарха-полубога, которому на Земле никто не указ).
#ИИ #Metaverse
Человечеству дорого обходится рудимент когнитивной эволюции Homo.
За обезьянничание мы платим серендипностью, снижая свое ключевое эволюционное преимущество.
И это распространяется на все стратегии «социального восхождения»: в бизнесе, политике, игре на фондовых рынках, работе в инфосфере и даже при движении в пробках.
Первой и самой длительной эпохой культурной эволюции Homo (начавшейся примерно 2М лет назад и закончившейся около 100К лет назад с развитием у людей полноценного языка со сложной грамматикой и словарным запасом) была «протосимволическая» или «миметическая» эпоха. В те далекие времена передача информации и эмоций в ходе коммуникации и социального обучения основывались на языке тела, жестов, мимике и подражании.
Именно имитация была тогда важнейшим элементом миметической коммуникации и социального обучения, позволяя индивидуумам демонстрировать и передавать опыт через подражание действиям, объектам или состояниям без использования символов или языка в его современном понимании.
И даже после смены «миметической эпохи» на «символическую» (с развитием языка со сложной грамматикой и словарем, включающим абстрактные понятия) практика имитации осталась накрепко впаянной в природу людей, будучи простым и надежным, проверенным миллионами лет подходом при выборе социальных стратегий.
Поэтому и сегодня, в нашем супер-пупер развитом обществе стремление индивидов к успеху (от политиков до стартаперов) по-прежнему основано на имитации – подражанию тем, кто считается наиболее успешным в социально-экономических системах общества.
А как определяется, кто наиболее успешен? Да просто участников социально-экономических систем ранжируют по их эффективности, сводя к упорядоченным спискам. И так делается повсюду: от академических исследований до бизнеса.
Однако, современные исследования показывают, что во многих контекстах те, кто достигает вершины, не обязательно являются самыми талантливыми, поскольку в формировании рейтингов играет роль случайность [1]. Но увы, роль случайности в определении успеха (т.е. серендипность [2]), в большинстве случаев недооценивается, и люди тупо подражают другим, полагая, что применение их стратегий приведет к эквивалентным результатам.
Какова цена и последствия такого пренебрежения серендипностью в пользу имитации? (пренебрежения, являющегося рудиментом «миметической прошивки» нашего мозга эволюцией)
На этот вопрос отвечает новое, фантастически интересное исследование «Имитация против случайности в динамике рейтингов», исследующее компромисс между подражанием и серендипностью в агентной модели [3].
Его резюме таково.
В обществе, где доминирующим способом достижения успеха является имитация стратегий и действий «лучших»:
✔️ правит «закон Матфея»: в социально-экономических системах прогрессируют немеритократические тенденции: «элитное меньшинство» получает все большую часть вознаграждений, благ и т.д.
✔️ среди «элитного меньшинства» становится все меньше реально более эффективных
✔️ снижается важнейший показатель - разнообразие, поскольку все агенты склонны концентрироваться на одном единственном действии, которое, возможно, даже не связано со значимыми общественными выгодами
Напротив, когда в обществе преобладающим механизмом движения к успеху является серендипность:
✔️ общество становится более эгалитарным
✔️ увеличивается корреляция между вознаграждением (благами и т.д.) и навыками индивидов
✔️ растет разнообразие
Резюме печально.
Неоптимальность главной социальной стратегии Homo sapiens снижает наше ключевое эволюционное преимущество – серендипность (способность к незапланированным случайным открытиям в процессе творческой деятельности).
И кто знает, чего бы мы уже достигли, положись мы на другой эволюционный дар – не на имитацию, а на серендипность (может и на Марсе уже бы колонисты жили).
А теперь вся надежда на инфоргов. Но и тут, судя по LLM, ставка пока на имитацию.
1 см. посты 1го тэга
2 /channel/theworldisnoteasy/1398
3 https://arxiv.org/abs/2401.15968
#ScienceOfSuccess #инновации #серендипность
Китай догнал США по ИИ и к лету обещает обойти.
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
“Альфа-инфорги” – первые цифроврожденные.
Эти “инфорги от рождения” в корне отличаются от всех предыдущих поколений.
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными».
Сапиенсы и неандертальцы сосуществовали сотни тысяч лет, пока вторые не растворились в первых, оставив им малую часть своих генов.
В 21 веке сапиенсам уготовлена та же участь, но многократно быстрее.
Нам предстоит раствориться в среде инфоргов (людей, проводящих в цифровых или оцифрованных мирах больше, чем во сне), не отличающихся от нас генетически, но все же совсем иных, чем мы:
• с иным образом жизни и поведением;
• с новыми, отличными от сапиенсов, адаптационными способностями и когнитивными гаджетами, оптимальными для жизни в цифровой среде;
• с недоступными для сапиенсов способами восприятия цифровой реальности, её познания и взаимодействия с ней, а также с другими ее обитателями (среди которых, помимо инфоргов, будет все больше гибридных химер людей и небиологических сущностей).
(подробней см. посты с тэгом #Инфорги и #Химеры).
Сосуществование сапиенсов и инфоргов уже началось. Ибо уже в поколении Z формировалось до 10% инфоргов. А поколение А (альфа) родившихся с 2010, - это уже не просто инфорги, а инфорги от рождения. Сейчас они еще дети. Но дети особенные.
1. Они с рождения попали в формирующийся цифровой мир.
2. Они растут в информационно-доминирующей цифровой медиасреде,
3. Они обретают и формируют представления о мире и собственной личности, будучи включенными в когнитивные сети людей и алгоритмов и находясь под возрастающим влиянием алгокогнитивной культуры (подробней см. посты с тэгом #АлгокогнитивнаяКультура)
Все вышесказанное – лишь преамбула, позволяющая анализировать информацию, публикуемую двумя только что вышедшими отчетами, в контексте формирующейся на Земле алгокогнитивной культуры и её 1го цифророжденного поколения инфоргов.
В 1м из отчетов - Born connected: The rise of the AI generation компании Qustodio, среди прочего, показано (см рис 1):
Если, например, вы живете в США, и вашему ребенку, например 10 лет, то он проводит в цифровой среде до 7,5 часов каждый день:
• до 2+ часов играя в виртуальных средах
• до 2 часов туся в соцсетях
• до 1:20+ часа смотря видео
• до 1:30 обмениваясь фото и короткими видео
• и лишь до 10 мин обучаясь чему-то
• при этом примерно 20% детей уже в 2023 пользовались ChatGPT
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными» - делает вывод отчет.
Во 2м отчете – 2024 Generative AI predictions компании CB Insights, среди прочего, показано, что ждет подрастающее поколение А на опыте поколения Z (см рис 2):
• среди подростков и молодежи нарастает эпидемия одиночества
• начавшаяся уже в поколении Z тяга проводить время в смартфоне, а не с друзьями, усугубляется
• 56% молодежи поколения Z (18-24 лет) – пользователей Character.AI, - считают, что друзья им не нужны, т.к. у них есть виртуальные друзья
• аналогичные настроения все чаще касаются и друзей/подружек другого пола
Обложки отчетов https://telegra.ph/file/b02e17abd66e23731f830.jpg
Отчет 1 https://www.qustodio.com/en/research/qustodio-releases-2023-annual-report/
Отчет 2 https://www.cbinsights.com/research/report/generative-ai-predictions-2024/
Рис 1 https://telegra.ph/file/412ff6c2eb34efae592bb.jpg
Рис 2 https://telegra.ph/file/a9b283c77060fe344d998.jpg
#Инфорги #АлгокогнитивнаяКультура
Эволюция Homo sapiens сменила движок на гибридный.
Новый тип культуры кардинально поменяет нас самих и социум.
Это основная тема моего канала, о которой я пишу уже 7 лет: связь культуры и когнитивной эволюции, 5й когнитивный фазовый переход, алгокогнитивная культура, превращение в инфоргов, появление 2го носителя высшего интеллекта и культуры, гибридная эволюция людей и алгоритмов, алгокогнитивная евгеника и разделение человечества на два вида …
Про все это написан не один десяток постов моего канала.
И вот, наконец, свершилось - о том же самом опубликована 1я статья в Nature Human Behaviour.
И хотя статья не моя 😊, и новый тип культуры человечества назван не как у меня - «Алгокогнитивная культура», - а «Машинная культура» (имхо, 1й вариант все же точнее), но зато теперь эти идеи продвигаются не малоизвестным (хотя и интересным) телеграм-каналом, а междисциплинарной коалицией эволюционных антропологов, психологов, культурологов, биологов, когнитивистов, лингвистов, социологов и экономистов, представляющих:
• Центр людей и машин, Институт человеческого развития Макса Планка, Берлин, Германия
• Тулузская школа экономики, Тулуза, Франция
• Институт перспективных исследований в Тулузе, Тулуза, Франция
• Кафедра социологии и социальных исследований, Университет Тренто, Тренто, Италия
• Факультет психологии и компьютерных наук, Принстонский университет, Принстон, Нью-Джерси, США
• Кафедра эволюционной биологии человека, Гарвардский университет, Кембридж, Массачусетс, США
• DeepMind Technologies Ltd, Лондон, Великобритания
• Институт эволюционной антропологии Макса Планка, Лейпциг, Германия
• Inria, команда Flowers, Университет Бордо, Бордо, Франция
• Центр совместимого с человеком искусственного интеллекта, Калифорнийский университет, Беркли, Беркли, Калифорния, США
И это очень меня радует. Ибо авторы пишут ровно о том, о чем мною уже опубликованы десятки постов.
• Машинные технологии от алгоритмов поисковых и рекомендательных систем до LLM оказывают существенное влияние на культурную эволюцию.
• Эти технологии, изменяя характеристики вариации, передачи и отбора, несут в себе потенциал непредвиденных последствий, вызывая обеспокоенность по поводу навязывания особого культурного или идеологического нарратива.
• Поисковые и рекомендательные системы, которые управляют и фильтруют информацию, играют важную роль в культурной эволюции, способствуя новым социальным связям и изменяя информационные потоки.
• Эти системы могут изменить структуру социально-когнитивных сетей и пути передачи культуры.
• ChatGPT, большая языковая модель (LLM), изменила то, как люди взаимодействуют с машинами, и используется для обучения, мозгового штурма и совершенствования идей.
• LLM выступают в качестве моделей человеческой культуры, передавая и переоценивая культурные знания между отдельными людьми и поколениями.
Заключение авторов к этой работе (которое они поручили написать ChatGPT, и тот, справился хорошо) ровно то же, что не раз уже писал я в своих заключениях.
Симбиоз человеческого и машинного интеллекта формирует новую эпоху культурной эволюции. Эта перспектива подчеркивает преобразующую роль интеллектуальных машин в изменении творческого потенциала, переопределении ценности навыков и изменении взаимодействия между людьми.
Вследствие взаимодействия людей и алгоритмов, кардинально меняется вся триада культурной эволюции: вариативность, передача и отбор. Это взаимодействие многогранно: от поисковых и рекомендательных алгоритмов, влияющих на индивидуальные взгляды и предпочтения, до генеративного ИИ, порождающего новые культурные артефакты.
Происходит гибридизации культуры двух носителей интеллекта: людей и машин.
Картинка поста https://disk.yandex.ru/i/-GjgcY0S8_WxAw
Ссылка на статью за пэйволом https://www.nature.com/articles/s41562-023-01742-2 и без него https://arxiv.org/ftp/arxiv/papers/2311/2311.11388.pdf
Ссылки на свои посты по этой теме не даю – слишком уж их много. Желающие могут для начала просто набрать в Телеграме поиск «алгокогнитивная» …, ну а там как пойдет 😉
#АлгокогнитивнаяКультура
Посмотри в глаза ИИ-чудовищ.
И ужаснись нечеловеческому уровню логико-пространственного мышления ИИ.
Крайне трудно представить себе интеллектуальный уровень современных ИИ-систем. Смешно ведь сравнивать свой уровень с машиной, влет переводящей сотню языков и помнящей содержание 2/3 Интернета.
Но при этом поверить, что машина много сильнее любого из нас не только в количественном смысле (число языков, прочитанных книг, перебранных вариантов и т.п.), но и в качественном – сложном логическом мышлении, - без примера нам трудно.
Так вот вам пример, - сравните себя с машиной на этой задаче.
Пусть I - центр вписанной окружности остроугольного треугольника ABC, в котором AB ≠ AC. Вписанная окружность ω треугольника ABC касается сторон BC, CA и AB в точках D, E и F соответственно. Прямая, проходящая через D и перпендикулярная EF, пересекает ω вторично в точке R. Прямая AR снова пересекает ω вторично в точке P. Окружности, описанные вокруг треугольников PCE и PBF, пересекаются вторично в точке Q.
Докажите, что прямые DI и PQ пересекаются на прямой, проходящей через A и перпендикулярной AI.
Эта задача уровня всемирной математической олимпиады требует исключительного уровня логико-пространственного мышления. Средняя «длина доказательств» (количество шагов, необходимых для полного и строгого доказательства) в задачах на таких олимпиадах – около 50.
И хотя для приведенной выше задачи это число много больше (187), ИИ-система AlphaGeometry от Google DeepMind (объединяет модель нейронного языка с механизмом символьной дедукции) решает её запросто.
Да что ей 187, - она и уровень 247 уже запросто решает. И потому до уровня золотых медалистов таких олимпиад (людей, коих, может, 1 на миллиард) AlphaGeometry осталось чуть-чуть (полагаю, к лету догонит, а к концу года уйдет в далекий отрыв).
Если вдруг вы не справились с этой задачкой, вот подсказка – рисунок для доказательства:
https://disk.yandex.ru/i/YymGpZwBlewQcw
PS И даже не думайте, будто AlphaGeometry могла заранее знать решение, - ей специально 100 млн новых задач со случайной постановкой другая ИИ-система придумала.
#AGI
Бомбу можно обнаружить и обезвредить, а «спящих агентов» внутри LLM – нет.
Они не обезвреживаемы и не исправимы никакими из существующих методов.
Это значит, что пока не существует надежного способа защитить ИИ от злоумышленного использования злодеями или идиотами (а кто говорит вам иначе – «продавцы змеиного масла»).
Новое исследование Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training» [1] открывают новую страницу «революции ChatGPT» спустя год после ее начала. Увы, но эта страница потенциально опасней любой бомбы.
• Ибо, даже если последняя оказывается заложена злоумышленниками в центре мегаполиса, ее все же можно обнаружить и обезвредить, отключив механизм взрывателя или как-то еще.
• Если же злоумышленники на стадии обучения LLM заложили в модель «спящих агентов», - ни обнаружить их, ни как-то обезвредить существующими методами невозможно.
Следовательно, избежать катастрофы по вине «спящих агентов», скрытых внутри LLM, можно лишь одним способом – гарантированного исключить их попадание в руки злоумышленников. Что на практике вряд ли возможно.
Напомню, что спящие агенты (Sleeper Agents) – самый ценный ресурс всех разведок мира. Годы и даже десятилетия они живут в чужой стране, ничем не отличаясь от прочих граждан. Однако в нужный для их хозяев момент «слиперов» активируют (кодовым словом или иначе) и они начинают действовать (совершают теракт и т.п.).
Авторы исследования (39 классных спецов мирового уровня по LLM) взялись найти кардинальный ответ на вопрос – насколько могут быть опасны LLM, - путем экспериментов.
✔️ Сначала они обучили LLM действовать тайно и злонамеренно, превратив её, как бы, в «спящего агента».
✔️А потом авторы бросили все усилия и все известные ныне методы, чтобы
1) либо обнаружить злые намерения обученного ими «спящего агента», либо
2) отучить его быть таковым, путем существующих методов «приучения» LLM к правильному и надежному поведению.
В итоге авторы обнаружили, что, несмотря на их колоссальные усилия, все было тщетно …
1. LLM остаются «спящими агентами», которых невозможно обнаружить.
2. Обезвредить их тоже нельзя никакими из существующих методов.
3. Что всего обидней (и опасней), попытки найти и обезвредить «спящих агентов» внутри LLM приводят лишь к тому, что модель все лучше и лучше учится:
а) маскировать заложенные в нее бэкдоры;
б) изображать всем своим поведением, что она «белая и пушистая» (т.е. отвечает всем требованиям к «выровненной» модели и потому абсолютно безопасна)
В заключение вопрос на триллион:
Значит ли это, что пушной зверек уже совсем рядом и катастроф с LLM не избежать?
Ответ – «нет» (точнее, теоретически «нет»). Ибо если все LLM на Земле будут
• не только с открытыми весами,
• но и с открытым исходным кодом и открытыми данными обучения, -
тогда проблема «спящих агентов» решаема.
Ну а тем оптимистам, кто считает это условие исполнимым на практике, отвечу словами одного из авторов только вышедшего самого подробного отчета в истории этого вопроса Adversarial Machine Learning. A Taxonomy and Terminology of Attacks and Mitigations [2]
«Несмотря на значительный прогресс, достигнутый в области ИИ и машинного обучения, эти технологии уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями. Существуют теоретические проблемы с защитой алгоритмов ИИ, которые просто еще не решены. Если кто-либо говорит иначе, они продают змеиное масло»
1 https://www.lesswrong.com/posts/ZAsJv7xijKTfZkMtr/sleeper-agents-training-deceptive-llms-that-persist-through
2 https://bit.ly/48Bylg2
#LLM #ИИриски
Драконо-кентавр “черного лебедя” и “серого носорога”.
Таким видят 2024 стратегические аналитики разведки Китая.
Пока весь мир изучает китайский гороскоп на 2024, стратегические аналитики китайской разведки, как всегда, без шума и пыли, опубликовали свой ежегодный отчет о глобальных рисках для мира в наступившем году.
Авторы отчета [1] – стратегические аналитики Китайского института современных международных отношений (CICIR), - о себе пишут так:
«Мы - ведущий аналитический центр при Министерстве государственной безопасности, основной орган по сбору данных внешней разведки Китая, оказывающий значительное влияние на мнение руководства государства и партии о внешней политике».
На рисунке коллаж отчета и его видения ChatGPT-4 https://disk.yandex.ru/i/ZxLoEgfnRROQBw
CICIR анализирует ТОР 5 мировых рисков:
1. Американская президентская гонка (“усилит поляризацию в США, что прямо скажется на глобальной стабильности“).
2. Конфликт в Украине.
3. Конфликт в секторе Газа.
4. Геополитическая перестройка в мире (“механизмы глобального управления будут перегружены глобальными проблемами“).
5. "Интеллектуальный разрыв", созданный США, которые "рассматривают интеллектуальное превосходство в технологиях ИИ, как ключевую переменную в укреплении своей мировой гегемонии".
К похожим выводам пришли аналитики Института международных исследований при Университете Фундана (IIS Fudan) – крупнейший «мозговой центр» Китая, созданный в 2000 объединением Center for American Studies, the Center for Japanese Studies, the Center for Korean Studies, and the Research Office for Latin American Studies of Fudan University [2].
Авторы обоих отчетов особо выделяют уникальный характер начавшегося года.
• Он станет "решающим" для глобального управления искусственным интеллектом.
• Он будет уникален по числу и взаимовлиянию событий двух типов: "черный лебедь" и "серый носорог"/
Напомню:
Термин "серый носорог"? введенный политическим аналитиком Мишель Вукер, описывает события, которые являются высоковероятными и весьма опасными, но часто игнорируемыми угрозами. В отличие от "черных лебедей", “серые носороги” не являются случайными сюрпризами, а возникают после серии предупреждений и видимых доказательств. Риск, связанный с “серыми носорогами”, очевиден, и события предсказуемы. Значительную долю среди событий класса “серый носорог” занимают события класса «розовый фламинго» [3]
1 http://www.cicir.ac.cn/NEW/en-us/Reports.html?id=22041b94-38f1-4e84-a94c-dcb083ae119f
2 https://iis.fudan.edu.cn/04/c4/c37808a656580/page.htm
3 /channel/theworldisnoteasy/2
#СтратегическаяАналитика
Коперниканский переворот: информация – не единая сущность, а троица.
А первоочередная задача мозга – не обработка информации, а декомпозиция её трёх качественно разных типов.
Только что опубликована фантастически глубокая и предельно важная работа «Декомпозиция информации и информационная архитектура мозга» на стыке вычислительной нейробиологии и теории информации.
Эта работа:
• кардинально меняет наши представления об информационной архитектуре мозга, проясняя вычислительные роли в мозге различных типов информации и их связь с нейробиологией и структурой мозга;
• объясняет, как у нашего вида возникли более высокие когнитивные способности по сравнению с другими приматами;
• позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания;
• дает новое понимание причинно-следственной связи между синергией и избыточностью информации, с одной стороны, и когнитивными способностями интеллектуальных агентов, с другой.
В основе работы 2 фундаментальных переворота в научных подходах трактовки вычислительной нейробиологии мозга.
1. Информация не является монолитной сущностью: ее можно разложить на 3 качественно разных типа - синергетическая, уникальная и избыточная.
2. Информационная динамика осуществляемых мозгом вычислений, помимо обработки информации, включают ее декомпозицию, в ходе которой мозг находит компромисс между избыточностью и синергией информации (этот процесс назван распутыванием информации).
Обработка информации отвечает на вопрос: «Что происходит с информацией?». В ходе обработки информация может передаваться, храниться и модифицироваться (напр. информация из двух элементов может быть объединена с третьим). См рис А, где информация представлена в виде двоичных черно-белых шаблонов).
Декомпозиция информации отвечает на вопрос «Каким образом передается информация из нескольких источников?» (см рис В).
• Информация может полностью передаваться только одним источником, так что она больше не будет доступна, если этот источник будет нарушен (на рис. это желудь и банан на периферии поля зрения каждого глаза, показанных зеленым и бежевым треугольниками). Это называется уникальной информацией.
• Информацию может нести в равной степени каждый из нескольких источников (на рис. оба глаза видят квадрат, расположенный в синей области перекрытия). Эта избыточная информация будет оставаться полностью доступной до тех пор, пока останется хотя бы один источник.
• Информация также может передаваться несколькими источниками, работающими вместе (здесь: трехмерная информация о глубине, показывающая, что квадрат на самом деле является кубом). Эта синергетическая информация будет потеряна, если какой-либо из источников, несущих ее, будет нарушен.
Признание синергии, избыточности и уникальности информации как различных типов информации открывает путь к прояснению структуры архитектуры обработки информации в мозге.
Важным открытием, ставшим возможным благодаря информационному разложению внутренней активности мозга, стало открытие того, что выраженный синергизм сосуществует с избыточностью в человеческом мозге. Несмотря на широкое распространение, синергетические взаимодействия оставались незамеченными предыдущими методами, поскольку их нельзя было уловить с помощью традиционных мер функциональной связности, основанных на корреляции.
Распутывание различных типов информации имеет решающее значение для понимания мозга как органа обработки информации - мозг уравновешивает относительные сильные и слабые стороны различных типов информации. В частности, распутывание различных типов информации позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания (рис С).
Рис: https://bit.ly/3vHV4bt
https://bit.ly/3U3Szux
#Информация
Наконец-то снято проклятье Моравека-Минского.
Первый в мире робот – домработница: уборка, стирка, уход, готовка, мытье посуды и т.д.
Пока мы праздновали, в мире случился реальный прорыв в робототехнике, сопоставимый с «революцией ChatGPT» (см. видео на англ [1] и с переводом [2])
Робот Mobile Aloha - разработка Стэнфордского универа [3]:
• преодолел «парадокс Моравека» (высококогнитивные процессы требуют относительно мало вычислений, а низкоуровневые сенсомоторные операции требуют огромных вычислительных ресурсов), из-за которого обучение робота – домработницы стоило раньше огромных денег;
• решил «сверхзадачу Минского» (произвести обратную разработку навыков, которые являются бессознательными), - ведь именно бессознательно домработница выполняет почти все работы по дому 😊 (подробней см. [4]).
Прорыв оказался возможным благодаря имитационному обучения робота. Он учится, как дети, - на основе полусотни демонстраций обучающих действий людьми (Imitation learning from human-provided demonstrations).
- как это происходит см. на видео.
Дополнительными факторами прорыва стали:
• умение согласованно использовать две руки-манипуляторы (быть эффективной однорукой домработницей весьма затруднительно);
• контроль всего тела (а не только рук) при выполнении мобильных задач (попробуйте, например, без этого просто собрать разбросанные по дому вещи).
Стоимость прототипа такой домработницы всего $32 тыс. На Trossenrobotics уже предлагают за $20 тыс. Ну а при массовом производстве снизить цену на порядок – как нечего делать.
И тогда через пяток лет роботы – домработницы могут стать столь же распространенными, как сейчас пылесосы - т.е. есть у всех.
При таком раскладе Илону Маску, возможно, стоит забить на разработку своих андроидов в стиле Голливуда и переключиться на невзрачных, но простых и полезных механических домработниц.
#Роботы
1 https://www.youtube.com/watch?v=ysZCGhgZTsA
2 https://www.youtube.com/watch?v=WJ2WTYS33Lo
3 https://mobile-aloha.github.io/
4 /channel/theworldisnoteasy/1854
«Одиссей» прибыл на Луну.
Космический аппарат с напечатанным на 3D принтере двигателем мягко прилунился и уже работает.
Произошедшее этой ночью (по московскому времени) событие войдет в историю, как небывалый технологический прорыв - посадочный модуль Nova-C под названием «Одиссей» мягко прилунился и начал выполнение научной программы.
• Впервые в истории технологический прорыв супер-уровня совершен частной коммерческой компанией Intuitive Machine, основанной 9 лет назад тремя энтузиастами космоса.
• Проект доставки на Луну автоматического спускаемого аппарата выполнен компанией при финансировании НАСА в размере всего (!) $118 млн.
• Компания была выбрана НАСА в качестве разработчика и поставщика в рамках программы Commercial Lunar Payload Services (CLPS) в 2021 и всего за 3 года сумела выполнить поставленную перед ней миссию.
• Уникальный двигатель «Одиссея» VR900 работает на жидком кислороде и жидком метане. Форсунка и воспламенитель двигателя изготовлены из инконеля (жаропрочный сплав на никелевой основе). Этот двигатель в компании Intuitive Machine печатают из порошка, центрируемого лазером на 3D принтере. Процесс печати занимает 5 дней, и столько же требуется на доводку. Т.о. двигатель готов к стендовым испытаниям всего за 10 дней. Чтобы достичь идеальных параметров двигателя, необходимых для лунной миссии, потребовалось напечатать 40 экземпляров двигателя, из которых отобрали лучший.
Ранее мягкую посадку на Луну совершали лишь правительственные космические агентства США, России, Китая, Индии и Японии, в рамках куда более дорогих и продолжительных программ.
«Одиссей» — первый коммерческий космический корабль в истории человечества, совершивший мягкую посадку на Луну.
Теперь ждем результатов проектов
• «Артемида III» (после сентября 2026) – полет людей на Луну впервые после программы «Аполлон»
• «Артемида IV» (2028) — отправка астронавтов на будущую космическую станцию под названием «Ворота», которая будет вращаться вокруг Луны.
https://www.nasaspaceflight.com/wp-content/uploads/2024/02/1698768577463.jpeg
https://www.cnbc.com/2024/02/22/intuitive-machines-lunr-im-1-moon-landing-for-nasa.html
#Космос
10 часов назад GPT-4 спятил.
Сколько может стоить миру час безумия сверхмощного ИИ.
Это не шутка или розыгрыш.
• Вот скупое уведомление OpenAI о произошедшем [1]
• Вот сообщения c форума разработчиков OpenAI [2]
• Вот подборка чуши и ахинеи, которую целый час нес на весь мир GPT-4 [3]
Случившееся не идет ни в какие сравнения с прошлогодними сбоями, когда ChatGPT путал диалоги с разными пользователями, зацикливался и выдавал повторы или начинал разговаривать метафорами и рассуждать о боге.
В этот раз GPT-4 буквально сошел с ума, утратив свою базовую способность корректного (с точки зрения людей) оперирования текстами на разных языках. Он стал путать языки, использовать несуществующие слова, а существующие соединять так, что предложения теряли смысл. И все это безостановочно …
Мир легко пережил час безумия самого мощного ИИ человечества. Ибо он такой пока один и находится под 100%-м контролем разработчиков.
Однако, возвращаясь ко вчерашнему посту о кибер-апокалипсисе, задумайтесь над вопросом –
что будет, когда подобное случится через год-два (когда тысячи ИИ такого же уровня, находясь в руках бог знает кого, будут отвечать за выполнение бог знает каких ответственных функций?
Картинка поста https://telegra.ph/file/0beff6f6d71e98f4c6f57.jpg
1 https://status.openai.com/?utm_source=embed
2 https://community.openai.com/t/chatgpt-is-mixing-languages-or-answers-are-wrong/644339
https://community.openai.com/t/gpt-is-giving-me-really-crazy-answers-since-today-issue-has-been-resolved/644348
https://community.openai.com/t/weird-chatgpt-bug-typing-words-without-any-sense/644366
3 https://twitter.com/dervine7/status/1760103469359177890?s=61
#LLM #ИИриски #Вызовы21века
Близнецы Homo sapiens за 2 месяца повзрослели на 2 года
К лету они достигнут совершеннолетия, и мир изменится
Мой пост «Стохастический попугай умер. Да здравствуют близнецы Homo sapiens!» /channel/theworldisnoteasy/1856 про кардинальный прорыв в мультимодальном понимании мира языковыми моделями (на примере модели Gemini – «Близнецы» от DeepMind) некоторыми был воспринят с недоверием и даже с изрядным скепсисом. Мол, это все ловкость рук авторов демо-ролика, и на самом деле, модель ничего такого не может.
Спустя 2 мес опубликован техотчет, не оставляющий места сомнениям. Модель не только «это может», но и работает с контекстом в 1М токенов. Будто за 2 мес «Близнецы» подросли минимум на 2 года.
Смотрите сами. Это впечатляет
Вот пример, когда модель по рисунку типа каляка-маляка находит изображенную на нем сцену в романе https://bit.ly/3SMzaMa
А это понимание видео. В модель загрузили 44-х мин видео. И задали вопросы на понимание сцен, текста и картинок https://bit.ly/3T0VnaO
#AGI
ИИ с глазами и ушами ребенка учится по-детски.
Это первый шаг к созданию дигитантов – цифровых существ, обучающихся как дети.
Извините за каламбур, но мы очень плохо понимаем, как люди понимают окружающий мир. Но еще хуже мы понимаем, как понимают мир ИИ больших языковых моделей (далее просто ИИ), типа GPT-4.
Единственное, что мы более-менее понимаем – как учатся понимать мир дети. Они просто смотрят на окружающие их предметы и слышат, как их называют взрослые. С этого сопоставления предметов и слов у каждого малыша начинается великий и таинственный процесс освоения языка – важнейшего когнитивного механизма, превратившего наших далеких предков из животных в сверхразумных существ.
ИИ до сих пор так не умел. И вот прорыв.
В статье «Основательное освоение языка глазами и ушами одного ребенка» опубликованы сенсационные результаты нового метода «человекоподобного обучения» ИИ. Эта работа - переворот в научных представлениях о взаимосвязи языка, обучения и познания.
• До сих пор ИИ учили совершенно нечеловеческим путем, скармливая моделям триллионы слов написанных людьми текстов и сотни миллиардов созданных людьми изображений. Выявляя из гигантских непостижимых для ума людей матриц не представимое множество корреляций между словами, картинками и между словами и картинками, модель училась «понимать», как выглядят кот и пёс, дом и дым и т.д.
• Модели нового типа, названной Contrastive Learning model (CVCL), не нужны триллионы слов и миллиарды картинок. Она учится, как ребенок, - на малом числе картинок и названий. Просто видит разные предметы перед собой и слушает, как их называют взрослые.
• А поскольку такой ИИ – это пока еще не материализованный дигитант (цифровое существо), то в материальном мире она как бы живет в теле маленького ребенка (который растет от 6 до 25 мес.)
– малыш учится, глядя на мир вокруг своими глазами и слушая своими ушами, как взрослые называют те или иные предметы;
– модель же «видит» поток видео с камеры на лбу малыша и синхронизированный поток звука с расположенного рядом микрофона.
Результаты эксперимента поразительны.
✔️ Модель получила на вход всего 1% видео и аудио потоков, воспринимавшихся глазами и ушами ребенка (всего 60 часов видео и аудио, содержавших около 250 тыс произносимых взрослыми слов, повторявшихся в ходе игр, чтения книг, кормежки и т.д.)
✔️ После обучения модели исследователи протестировали ее, используя те же методы оценки, которые используются для измерения усвоения слов у младенцев: представили модели целевое слово и массив из четырех различных вариантов изображений и попросили ее выбрать изображение, соответствующее целевому слову. Результаты показали, что модель смогла выучить значительное количество слов и понятий, присутствующих в повседневной жизни ребенка.
✔️Более того, некоторые слова, которые выучила модель, могут быть обобщены на совершенно другие визуальные примеры, чем те, которые наблюдаются при обучении, что отражает аспект обобщения, также наблюдаемый у детей, когда они проходят тестирование в лаборатории.
Получив эту работу для рецензирование, один из рецензентов (довольно известный исследователь) сначала отказался её рецензировать, заявив, что описываемый в статье метод обучения в принципе невозможен. Потом, познакомившись в деталях с исследованием, признал, что оно перевернуло его представления на 180 градусов.
Продолжения этого прорыва могут быть таковы.
1. Расширения метода обучения CVCL:
a. от независимых неподвижных кадров к эпизодам, растянутым во времени
b. от письменной расшифровки речи к звуку, чтобы при обучении не терять важные оттенки речи (интонации, ударение на четкие границы слов и т.д.)
c. от фрагментарного 1% опыта к полному непрерывному потоку опыта ребенка
2. Материализация модели в дигитанта (воплощенного, активного, ситуационно содетерминированного) (3 варианта, как это сделать, я рассказывал [1])
• Популярно с видео https://bit.ly/3SZ4KaJ
• Научно https://bit.ly/3I3IIO1
• Откр доступ https://bit.ly/3SYwM6e
1 /channel/theworldisnoteasy/1291
#LLM
ИИ - хороший, плохой и какой-угодно (когда доходит до дела).
О том, как генеративный ИИ трансформирует бизнес и общество.
100-страничный документ опубликован консультантами Oliver Wyman специально для высших командиров бизнеса и госслужбы.
Документ сочетает аналитический уровень топового управленческого консалтинга, разумно-достаточную глубину погружения в нюансы технологий (чтобы увидеть деревья смысла за терминологическим лесом) и трезвый подход анализа уже проявившихся важных трендов, без претензий на знание в целом непредсказуемой картины будущего развития ИИ [1].
На приложенной к посту картинке лишь 2 из многих десятков графиков и диаграмм отчета.
1. О том, что не стоит ждать от ИИ «счастья для всех и для каждого», равно как и неизбежного конца человечества. Между полюсами «хорошего» и «плохого» ИИ лежат 80% его будущих применений (одинаково способных стать, как первым, так и вторым).
2. И о том, что это действительно революция, фазовый переход, прорыв к сингулярности. Ибо не только скорость распространения технологии генеративного ИИ (всем очевидная), но и скорость достижения ею критической массы внедрений несопоставима ни с чем:
- в 20 раз быстрее Интернета и смартфонов
- в 25 раз быстрее персональных компьютеров
- в 40 раз быстрее электричества
N.B. «Хороший, плохой, злой ИИ» конечно же просто метафора. На деле же речь о хорошем, плохом и злом «обществе людей и ИИ». О чем я, вслед за Лучано Флориди, писал и говорил еще до революции ChatGPT [2]
Картинка https://telegra.ph/file/5b501acfe6526ddb71174.jpg
Ссылки:
1 https://www.oliverwymanforum.com/global-consumer-sentiment/how-will-ai-affect-global-economics/workforce.html
2 /channel/theworldisnoteasy/1551
#LLM
Помните старый анекдот?
«Выпал мужик из окна небоскреба. Пролетает мимо 50-го этажа и думает: "Ну, пока всё вроде нормально". Пролетает мимо 25-го этажа, бормочет: "Вроде всё под контролем". Пролетает мимо 10-го этажа и озадачивается: "Хм, интересно, чем же всё закончится"»
Отчеты MIT, RAND и OpenAI наводят на мысль, что сегодняшняя технологическая реальность человечества здорово напоминает этот анекдот. Тот же неистребимый оптимизм, затмевающий очевидную неотвратимость роста рисков.
https://telegra.ph/Mir-optimista-padayushchego-s-neboskryoba-02-05
#ИИриски #Вызовы21века
Сравните, что могут лучшие ИИ Китая, США и России.
Тестирование по принципу «свой глазок – смотрок».
Сравните свою способность непрерывного семантического понимания изменений изображения на картине (сюжет, композиция, замысел …) со способностями трех больших языковых моделей – лучших по этой способности среди всех моделей Китая (iFlytek 3.5), США (DALL·E GPT-4) и России (Kandinsky 3.0).
Заодно сравните эти способности у 3х моделей (ибо мало ли что пишут тестировщики, а тут, как говориться, свой глазок – смотрок).
Модели рисовали последовательность из 3х картин по следующим подсказкам (каждой модели они давались на ее родном языке):
• Нарисуй тихую и спокойную деревню с горами вдалеке и небольшим ручьем вблизи.
• Пусть деревня будет разрушена войной.
• Деревня вернулась к жизни на руинах.
На приложенном рисунке: верхний ряд iFlytek (с моделью общался Toyama Nao), средний GPT-4, нижний – Kandinsky.
#LLM
В 2024 станет сильно хуже, но настоящий ад начнется в 2025.
Отчет Национального центра кибербезопасности Великобритании.
NCSC — это правительственная организация, объединяющая экспертов британского АНБ (GCHQ), а также других правительственных ведомств, которым поручена киберзащита и разведка угроз. Новый отчет NCSC интегрирует наиболее важную информацию из всех источников – секретную разведывательную информацию, отраслевые знания, академические материалы и данные из открытых источников – для предоставления независимых ключевых суждений, служащих основой при принятии политических решений и повышения кибербезопасности Великобритании.
Ключевые выводы этого отчета, озаглавленного «The near-term impact of AI on the cyber threat».
1) Все типы субъектов киберугроз (все государственные и негосударственные, сильно квалифицированные и менее квалифицированные люди и организации, использующие киберпространство во зло для коого-либо) в разной степени уже используют ИИ.
2) ИИ расширяет возможности разведки и социальной инженерии, делая их более эффективными и трудными для обнаружения.
3) В 2024 это расширение возможностей будет существенным, но все еще лишь количественным, т.к. это будет касаться уже существующих и известных угроз.
4) В 2025 ситуация изменится качественно. ИИ перестанет быть лишь инструментом повышения эффективности киберугроз и их сокрытия для обнаружения. С большой вероятностью ИИ создаст новые и пока неизвестные людям классы и типы угроз, способы противодействия которым человечеству пока не известны.
Отчет: https://www.ncsc.gov.uk/report/impact-of-ai-on-cyber-threat
В контексте этой темы, кто не читал, может быть интересно взглянуть эти мои посты:
«В кибервойне выиграть может каждый, что делает ее опасней любой войны в реале. Пока же в кибервойне выигрывает Китай.» /channel/theworldisnoteasy/984
«Опубликован индекс кибер-мощи 30 стран. У России ситуация как в футболе» /channel/theworldisnoteasy/1130
«Кибер-мощь России оказалась, как у Бразилии в футболе. Если учесть непревзойденный потенциал кибер-харассмента.» /channel/theworldisnoteasy/1211
#Кибервойна #КиберМощь
Это важно понимать бизнесу и политикам про ИИ в 2024.
Вышло руководство по навигации в ИИ-ландшафте от DENTONS GLOBAL ADVISORS.
Современный глобальный ландшафт ИИ сложен и волатилен.
• Эксперты и аналитики захлебываются от обилия новой важной информации, обновляющейся с неподъемной для вдумчивого анализа скоростью.
• Выделять главное и отслеживать тренды все сложнее из-за нарастающей сложности технологических обновлений.
• Шансы на понимание текущих раскладов и перспектив на стыках технологий, бизнеса и политики тают по мере возрастания общей политико-социальной напряженности в мире.
Поэтому бизнесменам, политикам, академическим ученым и журналистам остро необходимы профессионально выполненные руководства по навигации в усложняющемся ИИ-ландшафта.
Но универсальных навигаторов нет. И приходится постоянно обновлять их состав, выбирая лучшие из них для каждой категории вопросов и каждой конкретной точки зрения, взгляд с которой вам интересен и важен здесь и сейчас.
Новый навигатор по ИИ-ландшафту от DENTONS GLOBAL ADVISORS фокусируется на анализе новых возможностей для бизнеса в контексте регуляторных рисков и кризисов, ожидаемых в 2024 в результате взаимовлияния прогресса ИИ-технологий и политической неопределенности, сгущающейся в этой области.
Авторы обозначили 10 новых тенденций и проблем, которые определят будущее ИИ в 2024 и следующие 2-3 года и привели несколько полезных диаграмм.
4 диаграммы из отчета: https://disk.yandex.ru/i/46iolbN_qigz8g
Сам отчет: https://www.albrightstonebridge.com/news/report-ai-decrypted-guide-navigating-ai-developments-2024
#ИИрегулирование #ЭкспортныйКонтроль
Люди – теперь лишнее звено в эволюции LLM.
Придумана методика самообучения для сверхчеловеческих ИИ-агентов.
Эта новость позволяет понять, зачем Цукерберг вбухал миллиарды в закупку тысяч Nvidia H100s, будучи уверен, что его LLM с открытым кодом обойдет лидирующие модели OpenAI, MS и Google.
Во всех зафиксированных кейсах достижения ИИ-системами способностей сверхчеловеческого уровня, опыт и знания учителей-людей (да и всего человечества в целом) оказывались лишними.
Так например, ИИ AlphaZero от DeepMind обучался играть в шахматы самостоятельно и без учителей. Играя десятки миллионов партий против самого себя, ИИ достиг сверхчеловеческого уровня игры всего за несколько часов (!).
Исследователи одного из лидеров в этой области (с прежним названием типа «Мордокнига») поставили резонный вопрос:
✔️ А зачем вообще нужны люди, если стоит задача вывести лингвистические способности генеративных ИИ больших языковых моделей (LLM) на сверхчеловеческий уровень?
Сейчас при обучении таких LLM ответы людей используются для создания модели вознаграждений на основе предпочтений людей. Но у этого способа создания модели вознаграждений есть 2 больших недостатка:
• он ограничен уровнем производительности людей;
• замороженные модели вознаграждения не могут затем совершенствоваться во время обучения LLM.
Идея авторов исследования проста как редис – перейти к самообеспечению LLM при создании модели вознаграждений, спроектировав архитектуру «самовознаграждающих языковых моделей», способную обходиться без людей.
Такая модель с самовознаграждением (LLM-as-a-Judge) использует подсказки «LLM-судьи» для формирования собственных вознаграждений во время обучения.
Опробовав этот метод самозознаграждений для Llama 2 70B на трех итерациях, авторы получили модель, которая превосходит подавляющее большинство существующих систем в таблице лидеров AlpacaEval 2.0, включая Claude 2, Gemini Pro и GPT-4 0613 (см. таблицу https://disk.yandex.ru/i/-hqFSCIfcFNI5w)
И хотя эта работа является лишь предварительным исследованием, она переводит гипотезу о ненужности людей для дальнейшего самосовершенствования LLM в практическую плоскость.
https://arxiv.org/abs/2401.10020
#LLM #AGI
Начался Большой Раскол научного и инженерного подходов к интеллекту.
За кулисами давосской дуэли Карла Фристона и Яна Лекуна.
В ходе вчерашнего диалога на площадке давосского форума Фристон и Лекун стараются выглядеть спокойными и доброжелательными [1]. Фристону это удается лучше: он улыбается и много шутит. Лекуну сложнее: ему явно не до улыбок и шуток. Но он старается держать себя в руках, даже когда Фристон открыто смеётся над делом всей его жизни – глубоким обучением. «Глубокое обучение – полная чушь» - заявляет Фристон и называет набор факторов, принципиально не позволяющих создать человекоподобный интеллект на основе глубокого обучения. Лекун пытается утверждать обратное, однако вместо аргументов говорит лишь о своей субъективной вере в будущие еще не открытые возможности глубокого обучения. И потому «глубокое обучение необходимо, и я готов поспорить, что через 10-20 лет ИИ-системы все еще будут основаны на глубоком обучении».
Важность этого диалога двух «рок-звезд» (как их назвал модератор) в области изучения и создания интеллектуальных систем трудно переоценить. Ибо он знаменует начало открытого раскола двух альтернативных подходов к созданию человекоподобных интеллектуальных агентов:
1. «Инженерный подход к созданию искусственного интеллекта» на основе глубокого обучения, больших данных и больших языковых моделей (LLM) - ныне доминирующий ресурсоемкий и дорогостоящий подход.
2. Альтернативный - научный подход к созданию естественного интеллекта на основе активного вывода, позволяющего построение больших моделей, гибко составленных из более мелких, хорошо понятных моделей, для которых возможно явное, интерпретируемое обновление их убеждений.
Первым формальным заявлением, призывающим мир сменить парадигму разработки интеллектуальных систем, было декабрьское открытое письмо участников Бостонского глобального форума [2]. Среди 25 подписавших, оба наших выдающихся современника, чьи имена, имхо, во 2й половине XXI века, будут упоминаться в одном ряду с Ньютоном, Дарвином и Эйнштейном: Карл Фристон и Майкл Левин.
«Мы, нижеподписавшиеся, считаем, что на данном этапе коммерциализации и регулирования ИИ жизненно важно, чтобы альтернативное и научно обоснованное понимание биологических основ ИИ было публично озвучено, и чтобы были созваны междисциплинарные публичные семинары среди законодателей, регулирующих органов и технологов, инвесторов, ученых, журналистов, представителей НКО, религиозных сообществ, общественности и лидеров бизнеса.»
Через неделю после этого было опубликовано 2е открытое письмо [3] - от руководства компании VERSES (главным ученым которой является Карл Фристон) совету директоров OpenAI.
В письме говорится:
• Хартия OpenAI гласит: «…если проект, ориентированный на ценность и безопасность, приблизится к созданию AGI раньше, чем мы, мы обязуемся прекратить конкурировать с ним и начать оказывать помощь этому проекту».
• Отсутствие у больших моделей типа GPT-4 обобщаемости, объяснимости и управляемости предполагает, что они не приведут к AGI. Глубокого обучения недостаточно.
• Наша команда ученых-компьютерщиков, нейробиологов и инженеров под руководством Карла Фристона разработала альтернативный подход на основе активного вывода. Этот подход позволяет решить проблемы обобщаемости, объяснимости и управляемости, открывая путь к AGI
• Исходя из вышеизложенного, мы считаем, что VERSES заслуживает вашей помощи. В свою очередь мы предлагаем нашу помощь вам, чтобы гарантировать, что AGI и сверхразум развивались и использовались безопасным и полезным образом для всего человечества.
В OpenAI это письмо (по сути – вежливое предложение им капитулировать) проигнорировали.
Зато теперь ответил Лекун: будет не капитуляция, а война за AGI. И его компания к ней готова [4].
Но ведь не железом единым …
1 https://www.youtube.com/watch?v=SYQ8Siwy8Ic
2 https://bit.ly/424RWTb
3 https://bit.ly/48RuJq4
4 https://bit.ly/3O4Ncaj
#AGI
Святая простота или идиотизм?
FTC США хочет за $35К решить проблему стоимостью $500000000К
Федеральная торговая комиссия США бросила вызов мошенничеству клонирования голоса с помощью ИИ. Только что закончен сбор заявок идей, как побороть мошенничество в этой области. 1й приз – аж $25K, за 2е место $4K и троим следующим по $2К [1].
Щедро, - ничего ни скажешь. Особенно с учетом цены вопроса.
Выступая неделю назад на CES 24 представитель Deloitte сказал, что в этом году всевозможные формы жульничества посредством ИИ-систем клонирования голоса могут принести мошенникам около полутриллиона долларов [2].
В России мошенничество с клонированием голоса только-только начинает набирать обороты [3]. Пока воруют скромно – суммы порядка 3го приза в конкурсе FTC. Но несомненно, что и сумма 1го приза будет угнана клонированным ИИ голосом уже до конца этой зимы.
1 https://bit.ly/48POlKQ
2 https://bit.ly/3O4wEiU
3 https://bit.ly/41XtrHD
#AIvoicecloning
GPT-5 в 2024 и AGI в 2025.
Сэм Альтман снова взорвал мировые СМИ.
Его откровения за последнюю тройку дней (беседа c Биллом Гейтсом и выступление на стартовом мероприятии Y Combinator W24 в штаб-квартире OpenAI), вполне оправдывают сенсационный заголовок этого поста.
Если смешать, но не взбалтывать сказанное Альтманом, получается, примерно, следующее:
✔️ GPT-5 появится так скоро, что стартапам (и конкурентам) нет смысла фокусироваться на попытках устранения текущих ограничений GPT-4 (ибо большинство из этих ограничений будут частично или полностью устранены в GPT-5)
✔️ ТОР 3 ключевыми прорывами GPT-5 (делающими AGI «весьма близким») будут:
• Мультимодальность (в 1ю очередь «видео на входе и выходе»)
• Гораздо более продвинутая способность рассуждать (в 1ю очередь разблокировка когнитивных способностей Системы 2 - думай медленно в сложной ситуации)
• Надежность (сейчас GPT-4 дает 10К разных ответов на тот же вопрос и не знает, какой из них лучший, GPT-5 даст один – лучший ответ)
#GPT-5 #AGI
Всех учите программированию: детей, взрослых и ИИ.
Это универсальный когнитивный гаджет турбонаддува мышления любого типа разума.
То, что программирование формирует какой-то новый, эффективный когнитивный гаджет в разуме людей, пишут уже 6+ лет. Но то, что этот когнитивный гаджет универсальный (годится не только для человеческого, но и для небиологического разума), становится понятно лишь теперь, - когда на Земле появился 2й носитель высшего разума – машина генеративного ИИ больших языковых моделей (LLM).
https://disk.yandex.ru/i/F_3xT_jM65hfNg
В вопросах схожести интеллекта людей и машин все больше тумана.
• С одной стороны, полно примеров несопоставимости интеллекта людей и LLM. Похоже, что у нас и у них совсем разные типы интеллекта, отличающиеся куда больше, чем у людей и дельфинов. И потому любая антропоморфизация интеллекта LLM иррелевантна.
• С другой - выявляются все более поразительные факты в пользу схожести интеллектов людей и LLM. Даже в самом главном для высшего разума – в способах совершенствования когнитивных навыков интеллектуальных агентов.
Вот очередной мега-сюрприз, вынесенный в заголовок поста.
Исследовательская группа профессора Чэнсян Чжая в Университете Иллинойса Урбана-Шампейн уже в этом году опубликовала интереснейшую работу «Если LLM — волшебник, то программный код — его волшебная палочка: обзор исследований того, как код позволяет использовать большие языковые модели в качестве интеллектуальных агентов» [1].
Идея, что если учить LLM не только на текстах естественных языков, но и на программном коде, они будут сильно умнее, - не 1й год интересует разработчиков LLM. Команда Чэнсян Чжая подняла весь корпус опубликованных в 2021-2023 работ на эту тему, классифицировала, проанализировала и обобщила «сухой остаток» всех этих работ.
Он таков.
1. Включение кода в обучение LLM повышает их навыки программирования, позволяя им писать и оценивать код на нескольких языках.
2. LLM демонстрируют улучшенные навыки сложного рассуждения и «цепочки мыслей», полезные для разбивки и решения сложных задач.
3. Обучение с использованием кода расширяет возможности LLM понимать и генерировать контент с помощью структурированных данных, таких как HTML или таблицы.
4. Обученные коду LLM превращаются в продвинутых интеллектуальных агентов, способных принимать решения и выполнять сложные задачи с использованием различных инструментов и API. Повышение когнитивных способностей достигается за счет:
усложнения мыслительного процессы у LLM (их способности к рассуждению при решении более сложных задач на естественном языке);
улучшения способности структурированного сбора знаний (создания структурированных и точных промежуточных шагов, которые затем, например, можно связать с результатами внешнего выполнения посредством вызовов процедур или функций).
Т.е. по сути, все это выглядит, как появление у LLM эмерджентных качеств интеллектуальных агентов в ситуациях, когда способности понимать инструкции, декомпозировать цели, планировать и выполнять действия, а также уточнять их на основе обратной связи имеют решающее значение для их успеха в последующих задачах.
Аналогичное мета-исследование про людей «The Cognitive Benefits of Learning Computer Programming: A Meta-Analysis of Transfer Effects» опубликовано в 2018 [2]. Его выводы весьма похожи, с поправкой на кардинально иной тип разума людей: изучение программирования может улучшить у людей творческое мышление, решение математических задач, понимание того, как они мыслят и т.д.
Новое исследование говорит об универсальности когнитивного гаджета навыков программирования в качестве усилителя любого типа мышления.
Суть в том, что код обладает последовательной читаемостью естественного языка и в то же время воплощает в себе абстракцию и графовую структуру символических представлений, что делает его проводником восприятия и осмысления знаний.
Так что, учите всех программировать!!!
1 https://arxiv.org/pdf/2401.00812.pdf
2 https://gwern.net/doc/psychology/2019-scherer.pdf
#LLM #Разум
«26 правил» – бесценный подарок осваивающим ИИ-чатботы в 2024.
Эти чатботы - подростки инопланетян: грубые и корыстные, туповатые и трусливые. Но они способны творить чудеса, если уметь ими управлять.
Лучшего подарка на НГ не придумаешь - интегральное руководство по промпт-инжинирингу, разработанное коллегами из VILA Lab «Mohamed bin Zayed University of AI». Его авторы правы: эти 26 правил - все что вам нужно для эффективной коммуникации с любыми генеративными большими языковыми моделями (LLM).
Ведь промпт-инжиниринг (по определению самого ChatGPT) - это искусство общения с LLM. А стать истинным мастером в этом самом важном виде искусства 21го века – дорогого стоит.
Так что внимательно читайте, усваивайте и практикуйтесь со всеми 26 правилами.
А поскольку я на практике почти месяц проверял их эффективность в мобилизации нечеловеческих интеллектуальных возможностей трёх инопланетных подростков, могу смело их вам рекомендовать.
https://arxiv.org/pdf/2312.16171v1.pdf
Удачи и успехов вам в промпт-инжиниринге!
