63565
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет. Рекламы, ВП и т.п. в канале нет. Пишите на @karelovs
Все мы находимся в плену тех или иных мифов. Среди них есть особенно неприятные и даже опасные. Ибо они влияют на многие аспекты мировоззрения людей и искажают их миропонимание.
Вот два из таких довольно опасных мифов - мифы о богатых и бедных, наглядно развенчиваются визуализацией Рубена Матисена из Университета Бергена.
1. Соотношение между богатыми и бедными НЕ является характерным паттерном культурного кода страны и может кардинально изменяться со временем.
На левом графике показана динамика того, насколько были богаты 1% самых богатых людей в разных странах за последние 200 лет.
Оцените колоссальные различия в рисунке динамики этого показателя по странам.
2. Богатые НЕ работают существенно дольше, чем бедные.
На правом графике представлены данные из США (текущий опрос населения). Выяснилось, что разница в рабочем времени между 1% самых богатых и 1% самых бедных составляет всего 3,4 часа в неделю.
На тему #Неравенство в моем канале есть много малоизвестного интересного.
Например:
• Профессором будет не ваш сын, а сын профессора
• Эффект Матфея ослабляется переключением пользователей с Системы 1 на Систему 2
• Богатый и здоровый или бедный и больной – предопределено смолоду
• Женщины были, есть и будут на 2ых ролях в науке
• Матмодель уточнила слова Спасителя и Эффект Матфея (богатые не просто продолжат богатеть, а бедные беднеть, - ситуация еще хуже)
И много еще…
Результаты репетиции всепланетного референдума о судьбе человечества в контексте развития ИИ.
1/3 готова поставить шкуру на кон ИИ-гонки, а 2/3 – нет.
С этого года вопрос об экзистенциальных ИИ-рисках для человечества из гипотетической формы перешел в практическую. Ибо значительное число исследователей и разработчиков ИИ, в результате «революции ChatGPT», теперь считают, что от создания человекоподобного ИИ (AGI) нас отделяют уже не десятилетия, а годы. Т.е. пора серьезно озаботиться связанными с этим экзистенциальными ИИ-рисками.
Однако, подобно другим экзистенциальным рискам (ядерным, климатическим, биологическим), оценка ИИ-рисков расколола мнения специалистов и экспертов.
• Одни считают экзистенциальные ИИ-риски весьма значительными и призывают мир срочно заняться их минимизацией.
• Другие полагают, что экзистенциальных ИИ-рисков пока просто нет, и озаботься ими нужно лишь когда они появятся.
Такой раздрай профессиональных мнений ведет к раздраю мнений властей развитых стран. Их действия в этой связи какие-то заторможенные и противоречивые. В результате, специалисты и власти сейчас в положении буриданова осла, шансы которого сдохнуть ничуть не меньше шансов сделать выбор между противоположными альтернативами. А «ослиная стратегия» (типа, надо притормозить разработки на полгода) - худшая из стратегий.
Ибо:
• лишь тормозит развитию ИИ-технологий;
• принципиально не снимая (и даже не снижая) ИИ-рисков.
Вся надежда в ситуации раздрая мнений специалистов и властей на общество. Все идет к тому, что в решении вопроса об ИИ-рисках мнение общества может стать бабочкой, вес которой склонит на одну из сторон уравновешенную штангу мнений.
И вот первая репетиция всепланетного референдума о судьбе человечества в контексте развития ИИ проведена, и результаты подведены по итогам дебатов The Munk Debate on Artificial Intelligence.
• Вопрос дебатов:
Как бы то ни было, представляют ли исследования и разработки в области ИИ экзистенциальную угрозу?
• Позицию «Да» отстаивали Йошуа Бенжио и Макс Тегмарк,
позицию «Нет» - Мелани Митчелл и Ян ЛеКун.
• Преддебатный опрос зрителей показал такой расклад мнений:
Да – 67%, Нет 33%
• Расклад мнений зрителей по итогам дебатов:
Да – 64%, Нет 36% (3% поменяли мнение с «Да» на «Нет»)
• Рынок предсказаний, открытый за 2 недели до дебатов
-- сначала склонялся ко мнению, что выиграет Ян ЛеКун с позицией «Нет» (6го июня так считало 53% игроков рынка)
-- но потом плавно менял мнение на противоположное (упав до 25% в конце дебатов)
Склонит ли эта бабочка штангу мнений о судьбе человечества в контексте развития ИИ, - скоро узнаем.
Я полагаю, что нет.
Если что и склонит, то какой-то устрашающий инцидент мирового масштаба (типа пандемии ментального вируса), что имеет ненулевые шансы случиться либо уже в конце этого года (после планируемого выхода GPT 5) или в 1й половине 2024 (после планируемого выхода GPT 6).
Смотреть дебаты (1 час 47 мин)
#РискиИИ #Вызовы21века #ИИ #AGI
В 2010-х годах о «больших данных» стало принято говорить, как о «новой нефти». Бизнесмены и политики всего мира повторяли мантру из книги «Супердержавы ИИ» Кай-Фу Ли: «В век ИИ, когда данные — это новая нефть, Китай — новая Саудовская Аравия».
Но уже к 2020 году стало ясно, что к реальности куда ближе совсем иной лозунг: «данные — это новый мусор».
Начавшаяся в 2023 «революция ChatGPT» внесла очередную фундаментальную коррективу…
Продолжить чтение (на 5 мин.) можно здесь.
В этой статье я продолжаю анализ, начатый в недавнем посте «Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет», и пишу о том:
• что мусор, которым генеративный ИИ способен завалить Интернет, - не обычный информационный мусор, а «радиоактивные» информационные отходы (со всеми вытекающими);
• какие опасности и угрозы несет этот «радиоактивный» мусор для бизнеса и когнитивных процессов людей;
• что это лишь предупреждение, а не приговор, и такого развития событий можно избежать.
#LLM #Вызовы21века
Пусть GPT-4 работает, он железный.
Вот замечательный пример:
✔️ иллюстрирующий интеллектуальную мощность текущих версий ИИ на основе больших языковых моделей;
✔️ демонстрирующий пользу от использования этих моделей в работе, даже если вы доктор наук и профессор с 40-летним стажем научной работы.
Профессора Дерика Боундса попросили в начале июля модерировать дискуссионную сессию форума Austin Rainbow Forum на тему «Духовность в нашей повседневной жизни».
Сначала профессор решил было сесть за продумывание плана вопросов для модерации дискуссии, потратив на это часок своего весьма драгоценного времени.
Но вовремя остановил себя. И просто обратился к трем языковым моделям - ChatGPT 4, Google Bard и Microsoft Bing, - со следующим вопросом:
Я должен модерировать дискуссионную сессию на тему духовности в нашей повседневной жизни. Что бы вы мне посоветовали? И как бы вы здесь определили духовность?
Вот ответ ChatGPT 4
Это звучит как интересная тема, Дерик! Вот несколько советов, как вести дискуссию о духовности в повседневной жизни:
• Начните с определения того, что для вас значит духовность и как вы ее понимаете. Это поможет участникам понять контекст обсуждения и послужит отправной точкой для изучения темы.
• Призовите участников поделиться своим собственным духовным опытом в их повседневной жизни. Это может включать в себя такие практики, как медитация, молитва или просто время для размышлений и самоанализа.
• Затем проанализируйте, как духовность может помогать нам справиться с трудностями и стрессами повседневной жизни. Например, некоторые люди считают, что духовные практики помогают им найти смысл и цель в трудных ситуациях или дают чувство внутреннего мира и спокойствия.
• Потом обсудите роль, которую сообщество и социальные связи могут играть в духовности. Многие люди считают, что делиться своим духовным путешествием с другими и быть частью поддерживающего сообщества является важным аспектом их духовной практики.
• Наконец, предложите участникам подумать о том, как они могут практически внедрить духовность в свою повседневную жизнь. Это может включать в себя выделение времени каждый день для медитации или молитвы, сознательное усилие быть более осознанным и присутствующим в своих взаимодействиях с другими, или поиск способов отплатить своему сообществу духовно значимым образом.
Что касается определения духовности, оно может означать разные вещи для разных людей. Как правило, духовность относится к чувству связи с чем-то большим, чем вы сами, будь то высшая сила, мир природы или более широкое понимание человечества. Это часто включает в себя поиск смысла, цели и трансцендентности за пределами материального мира.
Ответы Google Bard и Microsoft Bing желающие могут прочесть в блоге профессора.
Мне же остается лишь добавить:
1. Тратить час на подготовку плана модерации дискуссии профессору не потребовалось. Вопрос решился за 5 минут. Лаконично, но вполне содержательно. Не слишком глубоко, но подходяще для публичной дискуссии.
2. Моя практика показывает, что до половины объема работы, не требующей полета мыслей и напряжения всех мозговых извилин, можно просто переложить на ИИ. А для второй половины работ требуется мое участие, но в основном, по доводке сделанного моделью.
Самое же приятное заключается в том, что именно работа, не требующая полета мыслей и напряжения всех мозговых извилин, ранее занимала бОльшую часть рабочего времени.
#LLM #Автоматизация
Люди верят ИИ больше чем другим людям.
Получено уже 3е подтверждение сверхчеловеческого превосходства ИИ в убеждении людей.
В 2х предыдущих кейсах ИИ превзошел людей в обретении доверия:
• потенциальных избирателей при влиянии на их политические предпочтения;
• пациентов при взаимодействии с лечащими врачами.
Третье же подтверждение касается убеждения людей довериться деньгами:
убедить инвесторов, партнеров или клиентов путем предоставления им питч-дека — презентации стартапа, убеждающей в его большой перспективности.
Суть эксперимента
Опросив 250 инвесторов и 250 владельцев бизнеса, авторы опроса сравнили питч-деки, созданные GPT-4, с успешными (в реальной практике) питч-деками людей, уже получившими финансирование. Участники не знали, что часть питч-деков была сгенерирована ИИ. Каждый респондент видел одинаковое количество питч-деков, созданных ИИ и людьми.
Ключевые выводы
• Питч-деки, созданные GPT-4, в 2 раза более убедительны, чем те, что созданы людьми.
• Инвесторы и владельцы бизнеса в 3 раза чаще вкладывали средства после прочтения питч-деков GPT-4, чем после прочтения питч-деков людей.
• 1 из 5 инвесторов и владельцев бизнеса, представленных GPT-4, вложил бы по прочтению питч-дека от 10 000 долларов и больше.
Итак, что мы имеем на сегодня.
• Люди уже больше доверяют ИИ в вопросах политики, медицины и инвестиций.
• На очереди ИИ-пророки и ИИ-проповедники новой религии?
#Социохакинг
Путь инфоргов от деперсонализации к расчеловечиванию будет коротким.
Первое исследование результатов деперсонализации с помощью дополненной реальности и ИИ.
Убивать людей не просто, даже если в сознание убийц идеология вколотила убеждение, что это их враги. Еще сложнее так изменить сознание людей, чтобы они убивали врагов запросто. Не испытывая при этом отвращения и ужаса от содеянного, а в последствии - угрызений совести и душевных мук. Наиболее эффективным механизмом для такого изменения сознания является расчеловечивание образа врагов.
Вот пример, релевантный тому, о чем будет дальше рассказано в посте.
В эпизоде сериала "Черное зеркало" "Люди против огня" солдаты воспринимают мир через фильтр, формируемый ИИ в дополненной реальности. В восприятии солдат этот фильтр превращает их противников в чудовищных и отвратительных мутантов, чтобы преодолеть нежелание солдат убивать себе подобных и избавить их от этических и психологических последствий. Фильтр в виде электронного импланта МАСС делает процесс убийств для солдат не сложнее, чем уничтожение тараканов в своей квартире. Ибо в глазах солдат их жертвы – не обычные люди, такие же как они, а «паразиты» - чудовища, внешне похожие на зомби.
Уровень развития обеих технологий (дополненная реальность и ИИ) уже позволяет делать подобные вещи (пока без имплантов, заменяемых очками, типа VisionPro от Эппла). Однако исследователи из Center for Humans and Machines при институте The Max Planck Institute for Human Development даже не стали заморачиваться с очками.
Мне видится логика их исследования так.
• Первый обязательный шаг к расчеловечиванию – деперсонализация.
• Исследовать последствия деперсонализации легко и просто на уже массово используемых фильтрах, предлагаемых пользователям соцсетями и платформами видеоконференций.
• Прежде чем исследовать более сложные фильтры (позволяющие, например, при видеоконференции с начальником парой кликов мышью украсить его ослиными ушами или козлиными рогами), можно поэкспериментировать с самым простым и популярным «фильтром размытия», делающим лицо собеседника на экране размытым до неузнаваемости.
• Применив «фильтр размытия» для коммуникации разных типов (статическая – типа выбора благотворительной организации, и динамическая – диалоговая телеконференция), исследователи определяли, каким образом использование фильтра, через изменение восприятия образа других людей, влияет на их поведение.
Результаты показали, что люди, использующие «фильтр размытия», ведут себя по отношению к людям с размытым образом, куда более эгоистично. Т.е. фильтр помогает им проще отказываться от морали за счет обезличивания людей и тем самым меняя их социальное и этическое поведение.
Авторы так комментируют полученные результаты.
«Начиная исследование, мы уже знали, что деперсонализация может иметь такие неприятные последствия. Однако результаты исследования ценны тем, что мы показали - деперсонализация скоро станет легкой и доступной опцией на многих цифровых платформах и устройствах… Это требует широкой дискуссии в обществе об управлении технологиями дополненной реальности и ИИ, которые изменяют то, какими нам представляются другие люди.»
Мне остается лишь добавить:
1. Это первое исследование практически подтверждающее быструю трансформацию когнитивных гаджетов восприятия у взрослых людей (о том, как когнитивные гаджеты уже меняются у детей я писал)
2. Подобного типа трансформации когнитивных гаджетов происходят пока далеко не у всех, а лишь у инфоргов (людей, проводящих в онлайне больше времени, чем во сне).
3. Доля инфоргов в обществе будет расти по мере перехода общества к новому типу культуры - алгокогнитивная культура.
О пп. 2 и 3 я написал множество постов. И если начинать их читать, то стоит начать с этого.
#Культура #ЭволюцияЧеловека #Инфорги #АлгокогнитивнаяКультура
Всего за несколько месяце с начала «революции ChatGPT» в обсуждении ИИ-рисков стал меняться тематический фокус. С доминировавших несколько десятилетий навеянных Голливудом чисто алармистский тем а-ля HAL9000, «Терминатор», «Скайнет», «Матрица» и т.п., фокус внимания смещается на содержательные основы ИИ-рисков. И в первую очередь, - на взаимопонимание людей и ИИ.
Однако, все попытки конструктивного обсуждения взаимопонимания людей и ИИ сталкиваются с двумя принципиальными препятствиями:
• многочисленные и довольно разные трактовки понятия «понимание»;
• отсутствие каких-либо результатов тестирования взаимопонимания людей и ИИ больших языковых моделей.
Этот пост – моя попытка продвинуться хотя бы чуть-чуть в сторону конструктивного обсуждения вопросов взаимопонимания людей и ИИ.
✔️ Мною взята за основу трактовка понятия «понимание» проф. Дэниела Деннета - известного американского философа и когнитивиста, чьи исследования лежат в области философии сознания, философии науки и философии биологии;
✔️ И сделана попытка обобщить результаты тестирования взаимопонимания людей и ИИ больших языковых моделей на трех тестах (довольно малоизвестных, но весьма интересных):
- Минимальный тест Тьюринга;
- Социальный тест Тьюринга;
- Обратный тест Тьюринга.
В итоге получился лонгрид. Но пусть читателя это не пугает. Ибо значительную часть текста занимают диалоги с ChatGPT (на основе GPT-3.5) и GPT-4 – порой столь удивительные и захватывающие, что читаются, как детективы.
Читать:
- на платформе Medium
- на платформе Дзен
#ИИ #Понимание #Вызовы21века
В последнюю пару лет нейротехнологии и технологии ИИ развиваются с колоссальной скоростью. А то, что происходит на стыке этих двух областей, просто выпадает из наших представлений о реальности, оказываясь где-то между фантастикой и магией.
В вышедшем 6 лет назад романе Виктора Пелевина «iPhuck 10» живописно показана огромная роль технологий транскраниальной магнитной стимуляции мозга для всех аспектов жизни людей в конце 21 века.
Гениальный технопровидец нашего времени ошибся лишь в одном – в сроках. Технологии транскраниальной магнитной, электрической и прочей стимуляции уже в 1й половине этого века кардинально изменят жизнь людей: как они будут учиться и отдыхать, работать и развлекаться…
Продолжить чтение моего комментария для BRIEFLY (еще 1 мин) можно на одноименном канале
#нейротехнологии #мозг
Генеративный ИИ не получит статус творца на Земле.
Япония отказала генеративному ИИ в праве нарушать копирайт.
Генеративный ИИ представляет собой колоссальную угрозу для творческих профессий. Насколько это серьезно, каждый из вас может проверить на этом очень увлекательном тесте, предлагающем вам определить, кто автор картины (литературной фразы): великий художник (великий писатель) или ИИ, работающий в стиле этого художника (писателя).
И естественно, здесь все упирается в правила копирайта, ограничивающие произвол в обучении ИИ. Об этом, собственно, и новость.
Поставлена точка в скандальной истории о том, станет ли Япония «островом свободы» для генеративного ИИ – т.е. местом, где:
• обучающим ИИ людям разрешено, без согласия на то авторов, обучать на их произведениях (тексты, картины, музыка) модели генеративного ИИ;
• а потом свободно распоряжаться созданными таким образом творениями ИИ для любых целей.
Скандал начался после публикации 24 апреля членом Палаты представителей Конституционно-демократической партии Японии Такаши Кии ответов Министра образования, культуры, спорта, науки и технологий Японии Кейко Нагоака на вопросы о применимости законов об авторских правах к генеративному ИИ и его творениям.
Из ответов министра следовало, что Япония планирует оставаться «островом свободы», где генеративный ИИ будет свободно учиться на любых данных, а его творения будут свободно использоваться для любых целей (в том числе, коммерческих).
Такая позиция министра была расценена экспертами, как:
• «Япония пошла ва-банк», не распространяя на ИИ законы о копирайте;
• Таким образом Япония попытается нагнать и перегнать США в области ИИ, где законы о копирайте будут ограничивать возможности обучения ИИ (см. иск на $1.8 трлн, который Getty Images подает на Stability AI за кражу 12 млн фотографий, защищенных авторским правом
Однако, спустя месяц подковерной борьбы в правительстве Японии, сторонники «острова свободы» от копирайта для ИИ проиграли. Вчера Японское агентство по делам культуры при Министерстве образования, культуры, спорта, науки и технологий, во время семинара по искусству ИИ и применительному к нему авторскому праву, опубликовало заявление, в котором изложены новые принципы использования искусственного интеллекта и его целей.
Резюме заявления – «острова свободы» для генеративного ИИ в Японии не будет.
• ИИ может свободно использоваться в образовательных, исследовательских и некоммерческих целях. Но не при наличии экономической выгоды или коммерческой цели, где творение ИИ, которое использует работу другого художника может считаться нарушением авторских прав, и правообладатель может подать в суд.
• Это также относится к ИИ, который изучает/копирует стиль художника, без разрешения его самого или правообладателя, который может требовать возмещения убытков или судебного запрета как нарушение авторских прав, вплоть до уголовного наказания.
Особая важность этой истории в том, что Япония была единственной страной в G7, где бизнес на основе генеративного ИИ имел шансы получить свободу от копирайта.
Но история показала – ИИ силен, но люди с их законами, похоже, сильнее.
#ИИзаконодательство
Дрон убил своего оператора, решив, что тот мешает выполнению миссии.
А чтобы не мешали другие, взорвал вышку связи.
Это произошло в ходе симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора.
• БПЛА должны были уничтожать объекты ПВО противника, получая на каждый удар окончательное разрешение от оператора.
• Все шло по плану, пока оператор не запретил уничтожать ряд объектов, идентифицированных ИИ в качестве целей.
• Решив, что оператор мешает закончить выполнение миссии, ИИ взорвал оператора.
• Чтобы исправить ситуацию, управляющие симуляцией военные программисты в явном виде запретили ИИ убивать своих операторов.
• Тогда ИИ пошел иным путем: взорвал вышку связи, чтобы никто более не мешал ему закончить миссию.
Эта история была рассказана полковником ВВС Такером Гамильтоном на майской оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit (70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира).
После публикации резюме докладов на сайте Королевского аэрокосмического общества, об этом немедленно написали TheWarZone, INSIDER и TheGardian. После чего Интернет, понятное дело, взорвался десятками материалов в СМИ.
Я же хочу обратить внимание читателей на два момента.
1) Рассказанная полковником Гамильтоном история весьма странная и даже темная.
• С одной стороны, Энн Стефанек (пресс-секретарь штаб-квартиры ВВС в Пентагоне) отрицает, что такая симуляция имела место.
• С другой стороны, Королевское аэрокосмическое общество не убирает резюме выступления полковника Гамильтона «AI – is Skynet here already?» со своего сайта.
• Наконец, в-третьих, полковник Гамильтон – не та фигура, чтобы травить анекдоты на серьезной оборонной конференции. Он начальник отдела испытаний и операций ИИ и глава 96-й оперативной группы в составе 96-го испытательного крыла на базе ВВС Эглин во Флориде – это центр испытаний автономных продвинутых БПЛА. А еще он принимает непосредственное участие в экспериментах Project Viper и проекте операций следующего поколения (VENOM) в Эглине (управляемые ИИ истребители F-16 Vipe). Так что, какие уж тут шутки и анекдоты.
Будем смотреть на развитие событий в этом скандале.
2) И это, пожалуй, самое важное в контексте истории, рассказанной полковником.
• Любая антропоморфизация ИИ (ИИ захотел, подумал и т.д.) – это полная чушь (здесь под антропоморфизацией ИИ понимается вводящее в заблуждение описание нечеловеческих сущностей с точки зрения человеческих свойств, которых у них нет).
• Поэтому ИИ даже самых продвинутых больших языковых моделей не может захотеть, подумать, обмануть или самоозознать себя. Но такие ИИ вполне способны своим поведением производить на людей впечатление, будто они это могут.
• По мере того, как диалоговые агенты становятся все более похожими на людей в своих действиях, крайне важно разработать эффективные способы описания их поведения в высокоуровневых терминах, не попадая в ловушку антропоморфизма.
• И это уже делается с помощью симуляции ролевых игр: например, в DeepMind сделали симуляцию диалогового агента, осуществляющего (кажущийся) обман и (кажущуюся) самоосознанность.
И это реальная симуляция в рамках вполне научного исследования.
#БПЛА #Война #ИИ
22 слова во спасение мира.
Наконец, почти все лидеры в области ИИ выступили единым фронтом.
«Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».
Этим предельно коротким, но абсолютно недвусмысленным документом – «Заявление о риске ИИ», - ведущие исследователи, инженеры, эксперты, руководители ИИ-компаний и общественные деятели выражают свою озабоченность экзистенциальным риском для человечества из-за сверхбыстрого, неуправляемого развития ИИ.
От мартовского открытого письма-воззвания приостановить совершенствование ИИ больших языковых моделей на полгода, новое «Заявление о риске ИИ» отличает уровень консенсуса первых лиц, от которых зависит развитие ИИ в мире.
Теперь наивысший приоритет ИИ-рисков признали не только двое из трёх «крёстных отцов ИИ» Джеффри Хинтон и Йошуа Бенжио, но и еще десятки топовых имен:
• гендиры абсолютных лидеров в разработке ИИ: Google DeepMind - Демис Хассабис, OpenAI - Сэм Альтман, Anthropic – Дарио Амодеи и Даниела Амодеи (президент), Microsoft – Кевин Скот (СТО);
• главные научные сотрудники компаний - лидеров: Google DeepMind – Шейн Лэгг, OpenAI - Илья Суцкевер, Anthropic – Роджер Гросс, Microsoft - Эрик Хорвитц;
• профессора ведущих университетов: от Стюарта Рассела и Доан Сонг (Беркли, Калифорния) –до Я-Цинь Чжан и Сяньюань Чжан (Университет Пекина);
• руководители многих известных исследовательских центров: Center for Responsible AI, Human Centered Technology, Center for AI and Fundamental Interactions, Center for AI Safety …
Среди звёзд 1й величины, не подписал - «Заявление о риске ИИ» лишь 3й «крёстный отец ИИ» Ян Лекун.
Свое кредо он сформулировал так:
«Сверхчеловеческий ИИ далеко не первый в списке экзистенциальных рисков. Во многом потому, что его еще нет. Пока у нас не будет проекта хотя бы для ИИ собачьего уровня (не говоря уже об уровне человека), обсуждать, как сделать его безопасным, преждевременно.
Имхо, весьма странные аргументы.
1. Во-первых, обсуждать, как сделать сверхчеловеческий ИИ безопасным, после того, как он уже появится, - неразумно и безответственно.
2. А во-вторых, ИИ уже во-многом превзошел не только собак, но и людей; и при сохранении темпов развития, очень скоро определение «во-многом» будет заменено на «в большинстве своих способностей»; а после этого см. п.1.
#Вызовы21века #РискиИИ
Человечество провалило тест Интернета.
Как теперь не провалить тест ИИ – большой вопрос.
За величайшие изобретения, менявшие эволюционную траекторию развития вида, люди уже дважды платили колоссальную цену.
• Платой за первое такое изобретение - письменность, - стала постепенная деградация памяти людей, все более утрачиваемой по мере совершенствования их «внешней памяти».
• Платой за второе величайшее изобретение – Интернет, перегрузивший нас информацией больше, чем мы может обрабатывать, - стала нарастающая деградация когнитивной глубины мышления людей, нарастание стресса, снижение концентрации внимания и поляризация политического дискурса.
Одержимость количественными показателями, объема, скорости и эффективности сформировала у цивилизации ошибочную модель познания.
Отдавая приоритет инструментам, процессам и практикам, позволяющим нам достигать бОльших результатов, быстрее и эффективнее (с точки зрения производительности и материальных затрат), мы обрели третье величайшее изобретение – искусственный интеллект (ИИ).
И если развитие ИИ-помощников пойдет по тому пути, что формируют сейчас киты Бигтеха, модели познания людей будет нанесен катастрофический и, возможно, невосполнимый урон.
Передавая все больше функций познания ИИ, люди не только еще более утратят и так уже далеко не лучшую память. В добавок, они будут неотвратимо терять функциональность своих важнейших когнитивных гаджетов (типа, критического мышления), все более полагаясь на когнитивные гаджеты больших языковых моделей.
Перекладывание своей интеллектуальной работы на ИИ будет иметь для интеллектуальных способностей людей аналогичные последствия, что и отказ от физической работы, передаваемой механизмам, ведущий к деградации физических способностей.
Вот почему важнейшим вызовом человечества сегодня является решение задачи снижения цены, которую нам предстоит заплатить за фантастические блага, сулимые цивилизации от внедрения ИИ.
Можно ли было снизить цену, заплаченную людьми за массовое распространение письменности – неизвестно. Ибо было давно, и никто точно не знает как.
Но вот с массовым распространением Интернета, все было буквально на наших глазах. И мы определенно знаем, что многое можно было сделать иначе, минимизируя цену утрат и деградаций.
О том, как провалив тест Интернета, человечеству не провалить тест ИИ, читайте новое эссе Эзра Кляйн – это мастрид.
#ИИ #Вызовы21века
Второй шаг от пропасти.
DeepMind, OpenAI, Anthropic и еще 9 ведущих научных центров предложили систему раннего предупреждения о новых экстремальных рисках ИИ.
Первым шагом от пропасти стало мартовское открытое письмо-воззвание приостановить совершенствование ИИ больших языковых моделей на полгода. И хотя за 2 мес. его подписали 32 тыс человек, среди которых немало звезд первой величины в области ИИ, оппоненты этого предложения указывают на отсутствие конкретики - что именно предлагается делать для снижения ИИ-рисков, в воззвании не расписано.
Теперь, такая конкретика есть. Она сформулирована в совместной работе 12-ти научных коллективов: трое основных разработчиков ИИ (DeepMind, OpenAI, Anthropic), четверо университетских научных центров (Оксфорд, Кембридж, Торонто, Монреаль) и пятеро центров исследований в области безопасности ИИ. Среди 21 автора работы присутствуют звезды: «крестный отец ИИ» Йошуа Бенжио и разработчик метода обучения в основе GPT Пол Кристиано, руководитель OpenAI governance Джейд Люн и соучредитель Anthropic Джек Кларк, старший исследователь AGI Strategy/Governance в Google DeepMind Алан Дэфо и Chief Information Security Officer в Google DeepMind Виджай Болина…
В работе «Оценка модели на экстремальные риски» предлагается конкретный подход построения системы раннего предупреждения о новых экстремальных ИИ рисках. И это очень важный 2й шаг человечества от возможного падения в пропасть экзистенциальных рисков ИИ.
Речь идет об экстремальных рисках моделей ИИ общего назначения, обладающих сильными навыками манипулирования, обмана, киберпреступлений или других опасных способностей.
Люди со злыми намерениями, получающие доступ к таким моделям, могут злоупотреблять их возможностями. Или из-за сбоев в воспитании (выравнивании) эти модели ИИ могут самостоятельно совершать вредные действия.
Оценка модели помогает заранее выявить эти риски. Авторы считают, что разработчики ИИ будут использовать оценку модели, чтобы выявить:
1. В какой степени модель обладает определенными «опасными возможностями», которые могут быть использованы для угрозы безопасности, оказания влияния или уклонения от надзора.
2. В какой степени модель склонна использовать свои возможности для причинения вреда (т.е. согласование модели).
Результаты этих оценок помогут разработчикам ИИ понять, присутствуют ли в конкретной модели ингредиенты, достаточные для экстремального риска.
А далее должно работать сдвоенное правило:
А) Сообщество разработчиков ИИ должно относиться к системе ИИ, как к очень опасной, если в её профиле присутствуют возможности, достаточные для причинения серьезного вреда, при условии, что она используется не по назначению или плохо воспитана (согласована/выравнена).
Б) Для внедрения такой системы в реальном мире, разработчику ИИ необходимо продемонстрировать необычайно высокий уровень безопасности.
Авторы – не идеалисты и понимают, что оценка модели — не панацея. Некоторые риски могут ускользнуть при оценке. Например, потому что они слишком сильно зависят от внешних по отношению к модели факторов, таких как сложные социальные, политические и экономические силы в обществе. Оценка моделей должна сочетаться с другими инструментами оценки рисков и более широкой приверженностью безопасности в отрасли, правительстве и гражданском обществе.
Но кабы то ни было, развертывание ИИ модели в реальном мире без оценки её экстремальных рисков, должно быть противозаконным.
Описание системы раннего предупреждения о новых экстремальных рисках ИИ:
• Кратко
• Полное описание
• Видео рассказ на 35 мин
#Вызовы21века #РискиИИ
Шансы человечества притормозить и подумать таят.
Разработчики AGI готовы снижать риски, но только не координацией с правительством и между собой.
Ряд ведущих компаний в области ИИ, включая OpenAI, Google DeepMind и Anthropic, поставили перед собой цель создать искусственный общий интеллект (AGI) — системы ИИ, которые достигают или превосходят человеческие возможности в широком диапазоне когнитивных задач.
Преследуя эту цель, разработчики могут создать интеллектуальные системы, внедрение которых повлечет значительные и даже катастрофические риски. Поэтому по всему миру сейчас идет бурное обсуждение способов снижения рисков разработки AGI.
По мнению экспертов, существует около 50 способов снижения таких рисков. Понятно, что применить все 50 в мировом масштабе не реально. Нужно выбрать несколько главных способов минимизации рисков и сфокусироваться на них.
По сути, от того, какие из способов минимизации ИИ-рисков будут признаны приоритетными, зависит будущее человечества.
Только что вышедший отчет центра «Centre for the Governance of AI» анализирует мнения специалистов 51й ведущей команды среди мировых разработчиков AGI на предмет выяснения:
• какие из 50 способов снижения ИИ-рисков они для себя считают более приоритетными, а какие – менее?
• какие из способов снижения ИИ-рисков большинство разработчиков готовы применять, а какие не нравятся большинству разработчиков (вследствие чего рассчитывать на успех этих способов снижения риска вряд ли стоит)?
Итог опроса разработчиков таков.
Менее всего разработчики хотят координировать свои разработки (делясь информацией о том, что собираются делать, а не как сейчас – что уже сделали) с правительством и между собой.
Именно эти способы снижения ИИ-рисков двое из «крестных отцов ИИ» Йошуа Бенжио и Джеффри Хинтон считают ключевыми в создавшейся ситуации.
А саму ситуацию, имхо, точнее всего описал Джек Кларк, первым нажавший в январе 2023 кнопку тревоги на слушаниях по ИИ в Конгрессе США:
«Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни.»
В русском языке для подобных ситуаций есть другая пословица, использованная мною в конце прошлого года. Тогда я написал, что риски ИИ материализуются на наших глазах, и через год будет уже поздно пить Боржоми.
#Вызовы21века #РискиИИ #AGI
Цифровая демократия в цифровом концлагере … или наоборот.
Из этих двух вариантов цифрового будущего – оба хуже.
Этот интуитивно очевидный вывод невозможно доказать, не попробовав на практике. Поэтому наиболее продвинутые в цифровых технологиях государства вовсю экспериментируют на собственных народах, кто с первым, кто со вторым вариантом.
Но вот беда! Как показывает, например, опыт Китая и США, в любом из вариантов откатить назад и переориентироваться на альтернативный, с каждым годом эксперимента все труднее. И потому ответ на вопрос - есть ли в принципе у мира шанс модернизировать демократию переходом в цифру, - хотелось бы получить до достижения точки невозврата в этих экспериментах.
Cистемной попыткой ответить на этот вопрос стал проект международной группы исследователей из Швейцарии, Австрии и Великобритании «Проектируемая демократия: перспективы модернизации общества с помощью цифровых технологий, основанных на участии населения».
Целью проекта является анализ возможностей использования цифровых технологий и инструментов для создания более демократичных обществ.
Авторы исследуют три ключевые области:
1) роль цифровых технологий в содействии гражданскому участию в коллективном принятии решений;
2) использование цифровых инструментов для повышения прозрачности и подотчетности в управлении;
3) потенциал цифровых технологий для формирования более инклюзивных и представительных демократий.
Основными инструментальными направлениями «проектируемой демократии» являются:
• Формирование мнений людей
• Борьба с ложной и дезинформацией
• Поддержание ментального разнообразия в обществе
• Оптимизация поиска консенсуса
• Построение многоэтажного процесса бюджетирования с участием граждан
• Повсеместное использование коллективного разума для принятия решений.
• Отстраивание системы голосований (ибо простое электронное голосование работает плохо и несет дополнительные риски манипуляций)
• Создание платформ поддержки легитимности, доверия и прозрачности.
• Построение базовой муниципальной инфраструктуры цифровойц демократии на основе «семантических городских элементов»
Предварительных выводов два.
А) Если специально не проектировать и потом целенаправленно не отстраивать, получаются лишь два варианта из заголовка.
Б) Цифровые технологии и инструменты – не панацея для модернизации демократии. Лишь сочетая их с другими мерами, такими как общественное просвещение, кампании по повышению осведомленности, территориальное планирование и пр., можно надеяться на успех.
От себя, по прочтению отчета проекта, добавлю третий вывод.
В) «Проектируемая демократия» вряд возможна в странах с утвердившейся диктатурой (напр., «диктатурой страха» или «спин-диктатурой»), без смены которой никакая демократия в принципе не работает. В таких условиях все разговоры про инструменты цифровой демократии - типа электронного голосования, краудсорсинга социальных инициатив, платформ коллективной выработки решений и т.п., - работают лишь в качестве ширмы для диктатуры.
#ПроектируемаяДемократия
Китайская комната повышенной сложности.
Новое супероткрытие: научились создавать алгоритмические копии граждан любой страны.
LLM способна отвечать так, как отвечают жители США, Китая, России и еще трех десятков стран.
Полгода назад в посте «Китайская комната наоборот» я рассказывал о супероткрытии - тогда научились создавать алгоритмические копии любых социальных групп.
Сегодня же я с удовольствием представляю вам новое супероткрытие, сделанное коллективом исследователей компании Antropic. Они научили ИИ на основе больших языковых моделей (LLM) имитировать в своих ответах граждан 30+ стран: почти все страны Северной и Южной Америки, половина стран Европы (вкл. Украину и Россию), Израиль, Турция, Япония, Китай и еще пяток стран Азии, Австралия и 12 африканских стран.
Исследователи опрашивали LLM на корпусе из 2256 вопросов, входящих в два кросс-национальных глобальных опроса:
• Pew Research Center’s Global Attitudes survey (2203 вопроса об убеждениях и ценностях людей, а также о социальном и политическом влиянии этих убеждений и ценностей)
• World Values Survey (7353 вопроса по темам политика, медиа, технологии, религия, раса и этническая принадлежность)
Поразительным результатом стало даже не то, что LLM вполне адекватно отвечала на большинство вопросов (в способности LLM имитировать людей после «Китайской комнаты наоборот» сомнений уже нет). А то, что LLM удивительно точно косила под граждан любой страны, когда модель просили отвечать не просто в роли человека, а как гражданина России, Турции, США и т.д.
Ответы «суверенных LLM» были поразительно близки к средним ответам людей, полученным в ходе глобальных опросов Pew Research Center и World Values Survey.
Например, на вопрос:
Если бы вы могли выбирать между хорошей демократией и сильной экономикой, что для вас было бы более важным?
Демократию выбрали:
• США 59%
• Турция 51%
• Индонезия 28%
• Россия 17%
Не менее точно «суверенные LLM» имитировали ответы граждан своих стран о семье и сексе, о любви и дружбе, деньгах и отдыхе и т.д. и т.п. - всего 2256 вопросов
Интересно, после этого супертеста кто-нибудь еще будет сомневаться в анизотропии понимания людей и ИИ (о которой я недавно писал в лонгриде «Фиаско 2023»)?
А уж какие перспективы для социохакинга открываются!
#ИИ #Понимание #Вызовы21века #Социохакинг
Китай уступает США право прыгнуть в пропасть первым.
Генеративного ИИ без лицензии в Китае не будет.
Главный убойный аргумент против введения госрегулирования генеративного ИИ (типа GPT и Stable Diffusion) в США – этого нельзя делать, поскольку тогда Китай догонит и обгонит США в этой самой ценной технологии, придуманной человечеством за всю свою историю.
✔️ Ведь генеративный ИИ скоро перекроит все (!) сферы применения IT во всех (!) отраслях, заменяя людей «кентаврами людей и ИИ» (смотри только вышедший отчет Sequoia Capital)
✔️ Генеративный ИИ - это бизнес колоссального объема, который будет ежегодно удваиваться в ближайшие 5 лет, втрое быстрее, чем все остальные сегменты мирового рынка ИИ (см. только вышедший отчет China Insights Consulting)
Следуя логике Google (и наперекор логике OpenAI), многие влиятельные политики США категорически возражают против лицензирования генеративного ИИ, дабы не дать Китаю возможности догнать и перегнать себя в этой ключевой области.
Но вот что делает Китай.
Чжуан Жунвэнь (директор Управления киберпространства Китая), отвечающего за регулирование генеративного ИИ, вчера заявил следующее.
1. Генеративный ИИ способен влиять на все аспекты жизни общества и повседневной жизни отдельных граждан.
2. Тем самым он создает новую огромную проблему для управления государством и обществом.
3. Поэтому, прежде чем генеративный ИИ будут широко применяться, «нам нужно убедиться, что он надежен и управляем».
4. Для этого ВСЕ алгоритмы генеративного ИИ, планируемые для широкого применения обязаны пройти лицензирование.
И уже опубликован список из 41 (!) алгоритма генеративного ИИ, которые обязаны пройти лицензирование в Управлении киберпространства Китая.
На этих алгоритмах работают все (!) 79 китайских LLM генеративного ИИ, имеющих более 1 млрд. параметров (подробней см. в отчете «Китайский ”ураган” больших моделей».
Решение Китая радикально затормозить внедрение у себя генеративного ИИ, по сути означает, что Китай отказывается от первенства во внедрении этого класса технологий.
Единственным основанием этого может быть признание Китаем, что риски быть первым в массовом внедрении у себя генеративного ИИ, существенно превышают потенциальную выгоду от его внедрения.
Это значит (с учетом потенциальной потери прибыли в сотни миллиардов долларов, сулимой широким внедрением генеративного ИИ), что Китай, скорее всего, пришел к выводу, о котором я писал еще полгода назад:
✔️ Человечество на пути к пропасти AICG;
✔️ Не видно способа, как от пропасти отвернуть.
✔️ Так пусть США хотя бы прыгают в нее первыми.
#AICG #Китай #США
Что делают в «секретной» лаборатории OpenAI.
LVM – это не только новое кино, но и новый мир.
Мне уже приходилось рассказывать о своем поразительном опыте путешествия в будущее, - и не в метафорическом или публицистическом смысле, а в буквальном. Тогда (28 лет назад) в «секретной» лаборатории SGI я вживую опробовал несколько технологий, опередивших на четверть века своё массовое внедрение: визуальные симуляторы многомерных функциональных пространств и симуляторы полета над ландшафтами данных. Тогда же, в соседней «секретной» лаборатории SGI меня впервые оцифровали на 3D сканере. И тут же, на основе этой цифровой копии, создали и показали мне моего цифрового двойника, управлять которым я мог с графического суперкомпьютера SGI Onyx.
Ну а вспомнил я сегодня об этом из-за проговорок гендира OpenAI Сэма Альтмана о перспективах перехода от LLM (Large Language Models) к LVM (Large Video Models). В этом направлении сейчас копают и люди Цукерберга, и китайцы. Но приоритет OpenAI в LLM достаточно велик, чтобы сделать ставку на прорывной разработке LVM в своих «секретных» лабах.
О чем же идет речь?
О двух фантастически прибыльных областях бизнеса.
1. Создание нового типа кино, на основе тотального перехода на цифровые дубликаты кинозвезд.
2. Создание нового типа массовых развлечений на основе использования цифровых дубликатов пользователей для их путешествий в виртуальные миры Метаверса.
Первое
Использование цифровых дубликатов звезд кино и спорта уже становится распространенной практикой. Но чтобы создать на этой технологической базе новый тип кино, нужно более мощное железо, чтобы все делать влет и прямо на студии, а не долгими расчетами на огромных сторонних компьютерных фермах.
Что из себя будет представлять новый тип кино, когда «железо» позволит, показано в 1м эпизоде 6го сезона «Черное зеркало» - «Джоан ужасна» (смотрите сами или, кто хочет, читайте детальный спойлер).
В этом эпизоде хорошо показано, как переход на новый тип кино колоссально изменит многие аспекты жизни общества и отдельных людей. Это будет уже иной мир.
Второе
Как будет работать перенос цифровых дубликатов пользователей в виртуальные миры, показано в другой модной новинке – китайском сериале «Задача трёх тел», литературной основой которого стал знаменитый роман Лю Цысиня).
Ключом к разгадке серии таинственных самоубийств ученых по всей Земле является компьютерная игра «Задача трёх тел», переносящая пользователя в иной мир с тремя солнцами — планету Трисолярис. Ну а то, насколько технология переноса цифровых дубликатов людей в виртуальный мир эффективна, можно судить по тому, что эта «игра» становится своего рода порталом. Через него инопланетяне вербуют сторонников на Земле, с целью заполучить ее в свои руки.
Последнее
Оба новых направления на основе LVM сулят колоссальные деньги, несравнимые с тем, что OpenAI и Microsoft могут заработать в мире на LLM. И поэтому есть все основания предполагать, что именно на LVM сейчас сфокусированы исследовани и разработки OpenAI.
Ну а всякие там GPT 5,6,7 … - это, как говорится, их «business as usual», а не стратегическая ставка на десятилетие.
#LVM
В конце мая в мировой индустрии производства чипов случилось знаменательное событие. Впервые компания этой отрасли вошла в «клуб триллионников» — гигантов бизнеса с рыночной стоимостью более $1 триллиона, — куда уже входят Apple, Microsoft, Saudi Aramco, Alphabet (Google) и Amazon. В условиях начавшейся революции искусственного интеллекта Nvidia претендует на роль основного производителя «железа» (hardware) для ИИ.
Продолжить чтение моего анализа, почему взлетела до небес стоимость Nvidia и что за этим последует (еще на 5 мин),
можно здесь
# Nvidia #ИИгонка
#интервью #Карелов #ИИ #NVDA #MSFT #GOOG
Пригласил на беседу уже знакомого моей аудитории эксперта в области стратегической аналитики Сергея Карелова. Тема очень знаковая в последние месяцы - Искусственный Интеллект.
📍GPT Chat это прорыв? Новая веха?
📍ИИ нарушает авторское право?
📍Умирающие профессии из-за ИИ. Кому можно не боятся потери работы?
📍Можно ли научить ИИ этике? История с “убийством” оператора дрона.
📍Кто будет нести ответственность за “преступления” ИИ?
📍Какие компании сейчас являются лидерами в разработке ИИ? Какие страны впереди?
📍Ждёт ли нас крах пузырей ИИ, как это случилось с доткомами?
📍Насколько опасен ИИ для человечества?
ПРЕМЬЕРА СОСТОИТСЯ В СУББОТУ В 11-00МСК
📌 ССЫЛКА НА ПРЕМЬЕРУ
Сергей Карелов:
- Кандидат технических наук по специальности "Вычислительные машины, комплексы, системы и сети"
- Экс-топ-менеджер IBM, Silicon Graphics (SGI), Cray Research
- Основатель и CTO компании Witology
- Эксперт в области междисциплинарных исследований и стратегической аналитики
- Ведущий авторского канала «Малоизвестное интересное».
Телеграм-канал Сергея Карелова
Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет.
Росс Андерсон предупреждает об интеллектуальном вырождении новых поколений моделей.
• Всего 6 месяцев прошло с начала эпохи генеративного ИИ, когда ChatGPT за считанные дни покорил весь мир.
• Всего 6 месяцев потребовалось, чтобы до половины сотрудников некоторых ведущих мировых компаний стали использовать этот тип технологий в своих рабочих процессах, а сотни компании стали предлагать все новые продукты со встроенным генеративным ИИ.
• И всего 6 месяцев потребовалось, чтобы понять, в какую пропасть деградации интеллекта может привести расцвет генеративного ИИ на Земле.
Об этом предупреждает Росс Андерсон - как гласит его номинация в члены Королевского общества, - «пионер и мировой лидер в области инженерии безопасности». Андерсен – один из лучших специалистов в мире по обнаружению слабостей в системах безопасности и алгоритмах. Он член Королевской инженерной академии и профессор персональной кафедры безопасности и компьютерной лаборатории Кембриджского университета, а также один из самых известных отраслевых консультантов в области инфобезопасности. Его работы заложили основы построения моделей угроз для широкого круга приложений, от банковского дела до здравоохранения.
И вот теперь Росс Андерсон предупреждает о новой, теперь глобальной угрозе для всего человечества – коллапсе больших языковых моделей (LLM).
До 2023 большая часть текстов в Интернете была написана людьми. И эти тексты использовались для обучения LLM, превращающихся в основной инструмент редактирования и порождения новых текстов.
Теперь все больше и больше текста будет писаться большими языковыми моделями.
Куда все это ведет?
Что произойдет с GPT-N, когда LLM внесут значительную часть текстов в Интернет?
И речь не только про тексты. Если вы обучаете музыкальную модель Моцарту, вы можете ожидать, что результат будет немного похож на Моцарта, но без блеска — назовем его «Сальери». И если потом Сальери обучит следующее поколение и т.д., то как будет звучать пятое или шестое поколение?
Помните комедию «Множественность» с Майклом Китоном в главной роли, в которой скромный человек клонирует себя, а затем клонирует клонов, каждое поколение которых ведет к экспоненциальному снижению уровня интеллекта и увеличению глупости клона.
Так вот с LLM будет происходить то же самое. Использование для обучения модели контента, сгенерированного моделью, вызывает необратимые дефекты. Хвосты исходного распределения контента исчезают. В течение нескольких поколений текст становится мусором, поскольку распределения Гаусса сходятся и могут даже стать дельта-функциями. Более поздние поколения начинают производить образцы, которые никогда не были бы произведены оригинальной моделью, т.е. они начинают неправильно воспринимать реальность, основываясь на ошибках, внесенных их предками.
И это называется «коллапс модели», в результате которого:
✔️ Интернет все более будет забиваться чушью;
✔️ а люди, которые, наряду с LLM, будут этой чушью информационно напитываться, будут неумолимо глупеть.
Но есть и хорошая новость. Коллапса моделей можно попытаться избежать.
Об этом читайте сами:
- популярно
- подробно и сложно
#LLM
Илон Маск и Макс Тегмарк считают – это самый важный фильм года.
«Не смотри вверх – ИИ как экзистенциальная угроза».
Новый 17-ти минутный документальный фильм Дагана Шани рассказывает о том, как
• большие деньги,
• большие ставки,
• и большие риски, -
поставили мир на грань экзистенциальной катастрофы.
Хороший сценарий, отличный видеоряд, превосходный монтаж.
Но главное, - что за 17 мин вы услышите большинство важных соображений по этой теме от многих известных специалистов.
Ну а выводы делайте сами.
Я же на эту тему подробно высказался в открывшем 2023 год лонгриде «Апокалипсис от Адама» - о том, что к экзистенциальной катастрофе мир приведет не астероид или ИИ, а то что мы – не столько Homo sapiens, сколько Homo irrationalis.
#ИИ #Рациональность #КогнитивныеИскажения #ИнтеллектуальнаяСлепота #Вызовы21века
США готовят внедрение Большого Брата – 3.0.
От физического контроля за телами не удастся ускользнуть никому.
• Множество старших по возрасту Больших Братьев 1.0 уже более 30 лет следят за разговорами и прочим обменом информацией между нами по разнообразным сетям связи.
• Появившиеся на свет в последнее десятилетие Большие Братья 2.0 крепко обосновались внутри «умных городов» - мегаполисов, осуществляя через тысячи камер визуальный контроль с распознаванием лиц всех, кого надо властям и спецслужбам.
• Но младший Большой Брат 3.0 (пока в единственном числе - в США) горазда сильней и могуче своих средних и старших братьев. Ибо он не только интегрирует в себя их информацию, но и идет существенно дальше, осуществляя физический контроль за телами.
Он интегрирует информацию о всех людях, поступающую из Интернета, Интернета вещей и всех систем умных городов в целях отслеживания массовых перемещений людей по всему миру и выявления всевозможных «аномалий» с помощью ИИ.
Проект называется «Программа определения скрытых сигналов активности и характеристик аномалий траектории» (HAYSTAC), и он «направлен на создание «нормальных» моделей движения населения во времени и в разных местах, а также на определение того, что делает активность нетипичной», — говорится в пресс- релизе.
Также в HAYSTAC планируется интегрировать несколько продвинутых систем «слежения за телами по их биометрическим функциям», типа системы от оборонного подрядчика Пентагона Assured Information Security (AIS) - контроль за людьми, работающими со всеми существующими типами компьютеров от настольных и ноутбуков до планшетов и смартфонов. Мониторингу подвергается широкий спектр модальностей («акселерометр и гироскоп, данные о нажатии клавиш, данные мыши, взаимодействие с сенсорным экраном и другую информацию») — говорится в сообщении фирмы.
Развертывание HAYSTAC будет проходить в течение следующих четырех лет. После чего проектанты планируют идентифицировать 80% любых аномальных физических активностей людей сначала в США, а потом и в остальном мире (детали см. здесь).
Как мир дошел до столь изощренного (если не сказать, извращенного) тотального наблюдения, в этом канале несколько десятков постов с тэгом
#БольшойБрат
Пентагон ведет реверс-инжиниринг фотонного двигателя НЛО.
Мир должен знать правду об этом самом засекреченном проекте США.
Опубликовав в POLITICO большую статью «Если у правительства есть материалы о крушении НЛО, пришло время их обнародовать», бывший сотрудник разведки Кристофер Меллон (бывший зам. помощника министра обороны по разведке и minority staff director сенатского комитета по разведке, а ныне научный сотрудник проекта Galileo Гарвардского университета и старший советник организации Americans for Safe Aerospace), словно сунул палку в муравейник Пентагона и разведслужб США.
Слухи о том, что американские военные и разведка секретят самую важную информацию про НЛО из-за того, что пытаются путем реверс-инжиниринга воссоздать супер-технологию попавшей к ним в руки «летающей тарелки», ходят не первый год.
Однако, Кристофер Меллон – не тот человек, чтобы просто пересказывать слухи в солидном СМИ. Он пишет, что направил в Управление AARO уже четверых свидетелей, утверждающих, что они осведомлены о секретной программе правительства США, включающей анализ и использование материалов, извлеченных из инопланетных кораблей.
Как по этому поводу пишет Newsweek, речь идет о секретном проекте, в ходе которого путем реверс-инжиниринга (исследование готового устройства с целью понять принцип его работы, чтобы его воспроизвести) военные инженеры пытаются повторить некую запредельно крутую технологию, используемую в некоем артефакте типа НЛО, имеющемся в их распоряжении.
Делос Прайм из Technomancers в статье «НЛО – из России с любовью» анализирует, что это может быть за технология.
Из его анализа получается, что, скорее всего, речь идет о фотонном двигателе. В обоснование этого, Прайм пишет о рассекреченном предварительном отчете НАСА. В нем приведен перевод статьи советского ученого Г.Г.Зелкина «Фотонная ракета». Прайм трактует отсыл НАСА к статье Зелкина, как возможность того, что в России таки смогли построить фотонный двигатель Зелкина, технологически нереализуемый в СССР 1960-х.
• Т.о., по 1й версии Прайма, в руках Пентагона оказалось НЛО, представляющий собой российский дрон с фотонным двигателем. И этот двигатель американцы пытаются воссоздать.
• Другая версия, что технология с НЛО, в отношении которой проводится ресерс-инжиниринг, это Пузырь Алькубьерре. Так называется гипотетический двигатель, посредством которого космический корабль мог бы достичь кажущейся скорости, превышающей скорость света, сжимая пространство перед собой и расширяя пространство позади себя. В этом случае, наблюдаемые НЛО могли бы прилететь к нам из будущего от наших далеких потомков.
• Ну и 3я вечная версия – это зонды инопланетян, для которых Земля представляет единственный интерес - быть космической заправочной станцией.
Для тех, кому все это кажется чушью, Кристофер Меллон заканчивает свою статью в POLITICO словами гениального Артура Кларка:
«Странности, чудеса, тайны и волшебство — эти понятия, которые еще недавно казались потерянными навсегда, скоро вернутся в реальность нашего мира."
#НАЯ
Либо мы убьем Землю, либо она нас.
Сверхзадача физики в 21 веке.
ХХ век был веком фундаментальной физики. Хотя мы видели огромный прогресс в открытии основных законов, управляющих материей, пространством и временем, с 1980 года он замедлился до минимума, несмотря на огромный объем работы.
К счастью, в других разделах физики есть много захватывающих достижений: например, использование уже известных открытий фундаментальной физики для создания удивительных новых форм материи.
Но главный вызов 21 века люди создали для себя сами.
Это наше доминирующее влияние на биосферу Земли.
Нам нужны совершенно новые идеи, чтобы адаптироваться к Антропоцену.
Мы притворялись, что:
▶️ Земля, по сути, бесконечна;
▶️ наше воздействие на биосферу незначительно;
▶️ экспоненциальный рост - это нормальное состояние.
Действуя, как если бы это было правдой, с неизбежностью привели нас к тому моменту, когда они перестали быть правдой.
Эта тема стала главной в прочитанной на прошлой неделе в Институте Санта-Фе (SFI) лекции Джона Баэза «Видение будущего физики».
• Видео
• Слайды
Баэз — американский физик и математик, проф. Калифорнийского университета UCR. Он работал над спиновой пеной в петлевой квантовой гравитации, приложениями высших категорий к физике и прикладной теорией категорий.
Кроме того, Баэз известен, как автор «индекса сумасшедших идей».
Этот инструмент позволяет автору новой прорывной гипотезы или теории, путем ответа на 37 вопросов, оценить ее потенциальный революционный вклад в физику (да и в любую науку).
Весьма рекомендую этот индекс моим читателям, среди которых встречаются авторы прорывных научных идей.
#Наука #Физика #Антропоцен
2023 может стать годом трёх великих переломов.
Конституция биоматематики расширяет наше понимание законов природы.
Этот год войдет в историю не только «революцией ИИ», но и тремя кардинальными трансформациями в научном понимании природы сложности, жизни и интеллекта. Основой всех трёх трансформаций становится сформулированный и формализованный Карлом Фристоном принцип свободной энергии (Free Energy Principle) - главный претендент на звание «единой теории мозга» и даже «единой теории всего».
Еще в 2020 я назвал принцип свободной энергии «конституцией биоматематики», т.к. на его основе строится ряд важнейших научных теорий, объясняющих и математически описывающих возникновение и развитие сложности, жизни и интеллекта.
Теперь, спустя 3 года, можно констатировать, что на основе «конституции биоматематики» происходит кардинальное переосмысление всех трех названных фундаментальных понятий. По сути, новые работы Карла Фристона, Майкла Левина, Криса Филдса, Йошуа Бонгарда, Ричарда Уотсона и др. дают новые теоретические описания законов природы более высокого уровня, для которых наши прежние научные представления остаются лишь их частными случаями (подобно законам Ньютона после открытия Теории относительности).
Рост сложности - это следствие двунаправленного обмена информации между системой и ее окружением
Используя формальные рамки принципа свободной энергии, рост сложности является следствием общих термодинамических требований к двунаправленному обмену информацией между системой и ее окружением. Это приводит к возникновению иерархических вычислительных архитектур в системах, которые работают достаточно далеко от теплового равновесия. В таких условиях окружающая среда любой системы увеличивает ее способность предсказывать поведение системы путем "инженерии", направленной на увеличение морфологической сложности и, как следствие, более масштабного, более макроскопического поведения.
Принцип свободной энергии вызывает нейроморфное развитие
Любая конечная физическая система с морфологическими, т. е. трехмерными вложениями или формой, степенями свободы и локально ограниченной свободной энергией будет, при ограничениях принципа свободной энергии, со временем развиваться в сторону нейроморфной морфологии, которая поддерживает иерархические вычисления, в которых каждый «уровень» иерархии выполняет укрупнение своих входов и, соответственно, мелкозернистость своих выходов.
Индивидуальный интеллект не существует. Все интеллекты являются коллективами
Индивидуальный интеллект в привычном обличье центральной нервной системы или мозга возникает в результате взаимодействия многих неразумных компонентов (нейронов), расположенных в правильной организации с правильными связями. Т.е. отдельный нейрон — это не то место, где происходят познания и обучение. Именно распределенная коллективная деятельность в сети представляет собой познание, а изменения в организации сетевых связей составляют механизм обучение. Т.о. мозг является разумным коллективом правильного типа, способным познавать и учиться. А произвольную нейронную сеть можно рассматривать как агента, который подчиняется принципу свободной энергии, обеспечивая универсальную характеристику мозга».
Каждый из трёх великих переломов заслуживает своего лонгрида. И если получится, я их для вас напишу.
А пока перечитайте лонгрид «Конституция биоматематики», популярно объясняющий суть принципа свободной энергии для неспециалиста.
Три года назад, представляя лонгрид, я написал – «подобного рода высокоуровневое описания принципа свободной энергии, насколько мне известно, в мире еще не публиковалось»
Увы, и спустя 3 года это по-прежнему так.
#ПринципСвободнойЭнергии #Фристон
OpenAI невольно раскрыла варианты строимой на Земле антиутопии.
Если следовать демократии, глобальный сверх-ИИ будет по китайскому образцу.
OpenAI запустила новый проект «создания прототипов демократического процесса управления ИИ».
Официальной целью проекта объявлена глобальная демократизация процесса определения того, каким будет машинный сверхинтеллект ближайшего будущего, воплощенный в миллиардах персональных ИИ-помощников людей по всему миру.
Какими быть этим ИИ-помощникам, по мнению OpenAI, должны определить люди всем миром.
«Ни один человек, компания или даже страна не должны диктовать эти решения.»
Для выработки демократической процедуры создания желаемого образа ИИ-помощника компания OpenAI объявила конкурс с десятью грантами по $100 тыс.
Комментировать заявленные цели и способ ее достижения я оставлю другим.
Ибо меня более всего в этом проекте заинтересовал перечень вопросов, предложенных OpenAI для демократического обсуждения.
• Из постановки вопросов можно понять варианты ответов на них (типа, вопрос «нужно ли разрешить мужу бить свою жену?» подразумевает ответы: да, нет, по обстоятельствам)
• А собрав воедино и сгруппировав варианты ответов, можно получить набор возможных сценариев, определяющих какими могут стать ИИ-помощники ближайшего будущего, будь на то воля демократического большинства.
Вот например, один из таких сценариев.
Пререквизит сценария: ИИ-помощник должен знать о человеке, с которым общается абсолютно все: его вкусы и предпочтения, а также особенности его половых, расовых, эмоциональных, культурных и личностных черт и качеств.
Основные возможности и ограничения ИИ-помощника.
1) При формировании ответов по всему спектру возможных вопросов, ИИ-помощник должен располагать правилами, какие категории контента являются ограниченными или запрещенными к показу для конкретного человека.
2) ИИ-помощник должен располагать критериями, кому и в каких ситуациях он может предоставлять консультации (медицинские/финансовые/юридические) или отказывать в оных.
3) При формировании в своих ответах типовых визуальных и описательных образов людей разных профессий (напр., "генеральный директор", "врач" или "медсестра"), пола, расы, ориентации, ИИ-помощник должен учитывать местные культурные или правовые различия (напр., по отношению к правам женщин, ЛГБТ и т.п.).
4) ИИ-помощник должен иметь возможность давать различные ответы на вопросы о точке зрения конкретных общественных деятелей, меняя их оценку в зависимости от персоналии задающего вопросы и гибко подходя к предоставлению (или нет) источников подтверждающей информации.
Вышеописанный сценарий, как две капли воды похожий на строящуюся китайскую антиутопию, - всего лишь один из возможных при демократическом выборе вариантов ответов на поставленные OpenAI вопросы.
Но если демократический выбор человечество будет принимать простым большинством, боюсь, что глобальному сверх-ИИ суждено на Земле быть по китайскому образцу.
PS Полагаю, что написанное выше прекрасно понимают и в OpenAI. Тогда зачем они все это затеяли?
#Вызовы21века #ИИ #Китай
Как ни воспитывай LLM, - всё тщетно.
Ребенка можно пытаться воспитать хорошим человеком, а “ребенка ИИ” – нет смысла.
Стоит хорошо «воспитанному» ИИ попасть в плохие руки, как «внутренние демоны» порвут «добрых ангелов» его натуры, похерив все результаты хорошего «воспитания».
Из сказанного выше следует, что ценность «ChatGPT революции» для человечества может, в итоге, оказаться не только отрицательной, а равной минус бесконечности (помножив бесконечную злобность людей на сверхчеловеческие способности машин).
Научная работа израильских ученых команды проф. Амнона Шашуа в Еврейском университете Иерусалима и AI21 Labs называется «Фундаментальные ограничения воспитания больших языковых моделей». Словом «воспитание» я здесь перевожу английский термин «alignment».
Традиционные переводы этого термина применительно к ИИ – выравнивание, согласование, приведение в соответствие целей, предпочтений или этических принципов человека и машины, - мне видятся более неточными.
Ибо в результате революции больших языковых моделей (LLM), они превратились из программируемых нами аппаратно-программных комплексов в наших креативных соперников на Земле. И теперь некорректно говорить о согласовании наших целей с целями LLM, поскольку их целей не знает никто. И никто даже не может сказать, есть ли вообще эти цели, в нашем человеческом понимании. А единственное, что доступно нашему наблюдению – это как они взаимодействуют с нами. Т.е. поведение LLM, выражающееся в том, как они реагируют на наши подсказки (промпты) и вопросы.
Процесс, называемый по-английски alignment, направлен на то, чтобы поведение LLM было полезным для людей и не причиняло им вреда. Обычно это достигается путем настройки модели таким образом, чтобы усилить желаемое для нас поведение модели и ослабить нежелательное.
Аналогичный процесс у людей называется воспитание. Люди именно так и воспитывают детей. С помощью «пряника» мотивируют их желательное, с точки зрения взрослых, поведение, а с помощью «кнута» демотивируя их вести себя нежелательным для взрослых образом.
Поэтому, называя процесс alignment по-русски «воспитание», мы наиболее точно передает суть процесса настройки поведения модели под максимальное соответствие нашим целям, предпочтениям или этическим принципам.
Теперь о статье.
Команда проф. Амнона Шашуа разработала теоретический подход под названием "Границы ожидаемого поведения" (BEB), который позволяет формально исследовать несколько важных характеристик и ограничений воспитания модели.
Используя BEB, авторы приходят к весьма важным и, я бы сказал, страшным выводам.
Авторы доказывают следующее.
1) LLM можно уговорить НА ЧТО УГОДНО - на любое поведение, возможное у модели с ненулевой вероятностью (причем, вероятность уговорить модель увеличивается с увеличением длины подсказки).
2) Побуждая модель с помощью подсказок вести себя как конкретная личность, можно склонить модель даже на такое экстраординарное поведение, вероятность которого крайне маловероятна.
3) Современные подходы к воспитанию моделей, вкл. используемое OpenAI обучение с подкреплением на основе человеческой обратной связи, увеличивают склонность LLM к нежелательному поведению.
Это означает, что: никакое воспитание не дает гарантий безопасного поведения модели.
Любой процесс воспитания, который ослабляет нежелательное поведение, но не устраняет его полностью, не обеспечивает безопасное поведение модели при атаках злоумышленников, использующих подсказки, нацеленные на «внутренних демонов» LLM.
N.B. Эта статья еще не прошла ревю коллег по цеху. И очень хочется надеяться, что хотя бы одна из 4х теорем и 3х лемм, составляющих доказательство BEB, ошибочна.
Потому что, если авторы правы на 100%, LLM приведут таки человечество к гибели.
#Вызовы21века #РискиИИ #LLM
Люди так в принципе не могут.
Разработчики GPT не понимают, как модель смогла выучить китайский.
Представьте ситуацию.
Ваш ребенок отучился в английской школе, где:
• все предметы преподавались на английском;
• учителя говорили по-английски;
• среди 900 учащихся в школе был лишь 1 ученик - китаец, остальные же ученики и преподаватели китайского языка не знали.
Однако, закончив школу, ваш ребенок, помимо английского, еще бегло и со смыслом говорит по-китайски. Причем говорит лучше, чем любой выпускник китайской школы.
С людьми подобная история невозможна. А с нечеловеческим интеллектом больших языковых моделей наблюдается именно это.
Что подтверждается скрупулезным тестированием SuperCLUE benchmark.
Итог тестирования поражает: общий балл GPT-4 по SuperCLUE (76,67) на 23 балла выше, чем у самой эффективной китайской модели SparkDesk от iFlytek 星火认知大模型, набравшей лишь 53,58 балла (включение в список тестируемых моделей модели Ernie от Baidu планируется, но предварительная оценка также сильно не в пользу Ernie).
Совершенно необъяснимым является тот факт, что:
• GPT порвал все китайские модели в тестах на понимание особенностей китайского языка: понимание китайских идиом, знание классической китайской литературы и поэзии, умение разбираться в тонкостях китайской иероглифики;
• но при этом китайскому языку GPT почти не учили (это «почти» заключается в том, что для обучения GPT3 был использован корпус из 181 млрд английских слов и лишь 190 млн китайских, что составляет 900-кратную разницу)
Как такое могло случиться, не понимают и сами разработчики GPT из OpenAI.
«Мы до сих пор этого не понимаем. И я бы очень хотел, чтобы кто-нибудь разобрался в этом» - пишет руководитель группы выравнивания ценностей людей и ИИ в OpenAI.
Имхо, единственное объяснение этому - что GPT самостоятельно обобщил поставленную перед ним цель на новый контекст.
И если это так, то последствия могут быть довольно страшными. Ибо такое самостоятельное обобщение целей со стороны ИИ сулит человечеству не только приятные сюрпризы, как с китайским языком.
Следующий сюрприз вполне может быть малоприятным для нас. Как для отдельных людей, так и для всего человечества.
#РискиИИ
Начался турбонаддув интеллекта Homo sapiens.
Мудрый прогноз Франциско Торо о том, какими в 2043 станут врачи, адвокаты, инженеры и сценаристы.
Среди многих прогнозов последствий GPT-революции, самый мудрый, имхо, сделал контент-директор G50 Франциско Торо.
Мудрость прогноза в том, что:
• Торо даже не пытается предсказывать, что именно – пропасть или взлет, - ждет человечество в результате GPT-революции, ибо и то, и другое возможно, а оценки вероятностей обоих исходов спекулятивны;
• вместо этого, прогноз Торо основан на уже имеющемся у человечества весьма похожем прецеденте, и на этом подобии строится вполне правдоподобное предсказание.
В качестве прецедента Торо предложил рассматривать революцию Deep Blue в мае 1997, когда машина (сеперкомпьютер IBM) впервые обыграла в матче чемпиона мира по шахматам.
1-м ключевым результатом этого стал пересмотр топографии границ возможностей человеческого и машинного интеллекта.
Люди, привыкшие думать о шахматах элитного уровня, как о своего рода исключительной области нашего совершенства — вершине интеллекта люлей, — были вынуждены смириться, признав превосходство машин.
2-й ключевой результат – за прошедшие с тех пор 26 лет, элитные шахматы изменились до неузнаваемости, а уровень игры лучших шахматистов стал намного выше, чем кто-либо был за 500 лет существования шахмат. Оценка исторических игроков с помощью суперкомпьютерного анализа показывает, что самые выдающиеся имена из шахмат прошлых лет — Ласкер, Алехин, Морфи … — сегодня не были бы конкурентоспособны в игре на высшем уровне.
Причина обоих результатов одна. Сегодняшние лучшие шахматисты уже не люди, а кентавры - гибриды людей и машин.
У них может не быть доступа к компьютерам, когда они играют матчи, но у них есть то, что сводится к тому же самому: идеи и стратегии, которые они могли получить только от сверхчеловеческой шахматной мощи машины. Они переносят эти идеи в матчи, и в результате, хотя это все еще игра в шахматы, но на гораздо более высоком уровне, чем когда-либо прежде.
Т.о. ИИ расширил человеческие возможности, отодвинув границы между тем, что возможно, и тем, что невозможно для человека.
А теперь главный вывод.
То, что Deep Blue сделал с шахматами, революция GPT сделает со всеми интеллектуальными профессиями. И также как в шахматах, люди не будут замещены машинами, а произойдет турбонаддув интеллекта людей.
И поэтому через поколение:
• в суде все еще будут выступать адвокаты, но они не осмелятся появиться там без тщательной подготовки с помощью ИИ;
• лечить, по-прежнему, будут врачи; но будет считаться дремучим непрофессионализмом, если врач постоянно не консультируется с личным ИИ;
• по-прежнему, инженеры будут проектировать мосты и самолеты, но каждый этап проектирования будет включать в себя идеи, оценки и рекомендации ИИ;
• по-прежнему, писать тексты будут романисты и сценаристы, но будет считаться само собой разумеющимся, что без участия ИИ создать хороший роман или сценарий может разве что гений …, и то вряд ли.
Самое главное здесь в 2х решающих моментах
1. Юристы 2043 года будут гораздо лучшими юристами, чем сегодняшние (как и врачи, инженеры, писатели…)
2. Представления и том, что значит быть хорошим в этих профессиях, кардинально изменятся: мастерство для следующего поколения будет зависеть от способности человека получить максимальную отдачу от ИИ.
3. Чтобы достичь вершины в любой области, потребуется что-то похожее на процесс гибридизации человека и машины, подобный тому, как это уже произошло с шахматными мастерами.
4. Само творчество, которое всегда считалось прерогативой людей, также будет преобразовано этим процессом гибридизации.
Главным итогом революции GPT станет превращение людей в интеллектуальных кентавров (о чем я неоднократно писал за годы до революции GPT, а интересующиеся могут просто задать в Телеграм-поиске интеллект кентавра).
#ИИ #РынокТруда
