The Edinorog 🦄

26 March 2023 11:54

Lex Fridman, AI рисечер в США родом из РФ/Украины и автор подкаста взял интервью №367 на 2.5 часа у Сэма Альтмана, экс-CEO YCombinator и CEO OpenAI (там работает один из первых сотрудников моей первой ангельской инвестиции AutoFAQ)

Lex: AI это самый big прорыв в истории, exciting тк AI будет оч. массово применяться, и terrifying тк будущий super AI может уничтожить людей (намеренно или нет. А по Хаксли (Brave new world) люди могут даже обожать AI ))) Я беру интервью у представителей power, рисечеры, corps + изучаю какие есть incentives для создания AI во благо + изучаю прошлое человечества что оно делало good & bad (не оч понимаю как цивилизация открывает одновременно и knowledge, и wisdom, поэтому и волнуюсь что AI может polarize society)

GPT: Нас удивило как модель реконструировала знания из оч большого объема данных, пусть мы и вложили оч много сил в dataset + и все стадии нашего рисеча важны, и версии отличаются сотнями сложных деталей + и растим размеры сеток (в GPT3 175 млрд весов, в мозгу 100 трлн синапсов). Но модель была не оч useful и мы стали собирать фидбек от людей, и это дало феноменальный прогресс для usability: теперь она пытается помочь вам. Lex: вот вы сжали весь интернет в blackbox небольшого числа параметров (веса в нейронке) вашей модели - а есть ли магия в GPT? Мы оцениваем по Evals, полное функционирование модели мы не понимаем. Но я против приписывания нейронкам человеческих качеств, это просто tools. Зачем позволять неодушевленной tool управлять моими эмоциями?

Consciousness? Lex: в GPT есть reasoning, но struggle with ideas generation. Я думаю для consciousness нужно опыт прямого взаимодействия с миром, не просто datasets. Сэм: GPT ее фэйкает, как Sutskever (head of research в OpenAI, родом из Нижнего) формулирует - “вот если бы из всех датасетов убрать понятие сознания и модель бы его выдала/объяснила, а так…” Я считаю consciousness - самый важный субстрат вселенной. Но в Silicon Valley со своей религией о симуляции уже обогнали брахманов. Я пытаюсь максимально избегать SF Bay Area bubbles of groupthink, расширяю diversity людей с кем общаюсь

Political bias? Мы все делаем оч прозрачно + мы же всю intelligence собрали из внешнего мира, а не сами вложили + мы iterate по мере фидбека от живых юзеров: GPT5,6.. )) Универсальных истин нет, база знаний неоднозначна (e.g. значение free speech в зав-ти от страны), наш ответ - в personalised controls для каждого юзера. Дефолтную версию будем делать as neutral as possible

AI safety: Мы сразу стали давать GPT людям + чекать на AI alignment, но пока никто не понимает что это ))). Компы - это creative partner tool, amplifier, не порождатель. Мы оч стараемся, но люди - если 10 тыс раз спросить GPT, много ответов ОК, а несколько нет - их и виральнут на твиттере (clickbate journalism/pressure culture). Людям надо просто привыкать как работают модели

AGI? Если не продвигает фундаментальную науку, то это не general AI. Lex: а мне кажется как с НЛО - мы не сразу поймем что это )

Страхи про AI? Наоборот AI даст мир с material abundance и более happy people, и мы найдем удивительные пути людям feel useful в, now inimaginable, ways. Steelmanning Юдковского понятен в страхах, но миру пора апгрейдиться, а то философию про AI придумали еще аж до deep learning. Маск оч переживает про AGI safety, но нас челленджит? Мы оч стараемся, лучше бы вспомнил как критиковали SpaceX в начале. Exponents? Я сторонник slow AI takeoff - как раз успеем во всем разобраться. В целом AI будет open source + страны будут играться с regulations

Конкуренция с tech giants? Мы просто lab, у нас capped profits (чтобы сотрудники имели upside). OpenAI как НКО сделали Маск, Альтман, Sutskever. Пивотнули в стартап тк были нужны $ покупать ОЧ много compute тренить нейронки (в 2018 Маск пытался получить контроль, не удалось, отменил свой pledge $1 млрд, внес только $100 млн), спрашивает "как из НКО делают компании ценой $30 млрд?”)) Microsoft оч коллаборативны

Lex: ты писал в 2019ом пост как быть успешным, что еще посоветуешь? Игнорить чужие советы: у нас у всех слишком разные траектории