Борис опять

26 February 2023 14:10

# Первый опасный ИИ часть II

Первый вопрос является открытым. ChatGPT и Bing никем не манипулируют и никаких признаков планирования не показывают. Однако недавно вышла модель Cicero, которая успешно манипулирует людьми и действовует стратегически, чтобы побеждать в Diplomacy — игре с неполной информацией про стратегию и переговоры. Так что скорее всего ответ "да".

Что запуск Bing сообщает нам про два оставшихся вопроса?

Мы узнали следующее:
* Появился пример опасной (в плане misaligned) ИИ модели.
* Корпорации способны выпустить непроверенную ИИ систему в мир.
* Корпорации способны подключить ИИ к интернету не задумываясь о последствиях.
* Началась гонка вооружений, где каждая корпорация пытается первой достичь AGI — полноценного интеллигентного агента. Крупные модели теперь выпускаются даже без научных статей, так что публика и научное сообщество потеряли какое-либо влияние на процесс.
* Умнейшие люди планеты не имеют понятия, как гарантировать, что ИИ будет делать то, что мы ожидаем.

Сильнейший аргумент в пользу того, что волноваться не о чем, такой: не произошло ничего особенного. Корпорация выкатила непроверенный релиз какого-то софта. Софтом в этот раз оказался генератор бреда под названием Syndey, который иногда говорит плохие вещи.

В следующей части расскажу, почему меня это не успокивает.