14983
Что-то про AI Research и AI образование от Танечки Сотрудничество/предложения: @atmyre
Как видите, у меня бывают периоды, когда я загружена другими делами и регулярный контент в канале делать не выходит. Как, например, сейчас. В такие моменты хочется предложить вам читать хорошие каналы моих коллег, которые тоже интересно пишут на темы, связанные с AI. Думала даже как-то сделать пост-подборку таких: в конце концов, пишем мы чаще всего про разное и по-разному, так что каналы хорошо дополняют друг друга. Ну и вы можете выбрать те, которые нравятся вам больше всего и близки вам по тематике)
А сегодня мне очень кстати написали админы нескольких каналов с предложением сделать взаимопиар. Ну я согласилась)
Список каналов с кратким описанием ниже. Все каналы из списка я читаю, мне нравятся. А три из них читаю уже прям очень давно.
- @seeallochnaya - контент вокруг ML, в основном NLP и языковых моделей. Игорь разбирает новые идеи и статьи из этой области простыми словами. Честно скажу, мне удается хоть как-то следить за тем, что там происходит в сфере языковых моделей в основном по этому каналу)
- @ai_newz - новости вокруг ML на совершенно разные темы, от CV и NLP до augmented reality и новостей про технологии и бизнес. Часто там появляются посты про новые статьи, которые я потом детально разбираю у себя. Автор — рисерчер в Meta AI, так что шарит, о чем пишет.
- @aihappens - канал предпринимателя, строящего бизнесы вокруг нейросетей. Хороший способ посмотреть на AI не только со стороны рисерча, но и со стороны бизнеса и пользователя. Также бывают разборы лекций и отдельных тем.
- @dlinnlp - контент вокруг NLP и языковых моделей. Часто бывают разборы статей из этой области. Автор также занимается NLP, поэтому знает, о чем пишет.
- @NeuralShit - здесь мемы про машинное обучение. Смешные) Нейронные волки, кстати — это проект автора канала =)
Если кому-то будет удобнее, есть ссылка на папку в тг, где собраны все эти каналы + мой: /channel/addlist/W07iyMJ-23djZmQy
UPD: Если уж на то пошло, то вот ссылка на мою личную папку с каналами по AI, которые я читаю: /channel/addlist/uE11YSl010ljZDY6
В комментарии можете скидывать свои ссылки на хорошие каналы и папки)
На канале Тани Шавриной нашла ссылку на шпаргалку по языковым моделям.
Их в последнее время, кажется, столько разных развелось, что я уже потеряла надежду в них разобраться, и даже с этим смирилась. В принципе, не страшно, я в первую очередь не NLP занимаюсь) Но если хотите разобраться вы, или хотя бы понять на высоком уровне, как шел прогресс и какие ветви есть, то гайд будет полезен. К гайду прилагается статья-обзор "Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond"
А еще в гайде есть инструкция по выбору модели для своего NLP-проекта.
📄Шпаргалка
Вот вам кое-что очень крутое: подробный гайд от Meta AI по self-supervised learning (SSL).
Это даже не просто гайд, а целая мини-книга (cookbook, как называют авторы). В ней:
- Что такое SSL и чем хорош подход;
- Как SSL придумали и как он развивался;
- Обзоры основных подходов SSL;
- Трюки, как лучше всего обучать SSL-модельки.
В разделе про трюки, кстати, рассказывают про обновление весов сети-учителя в подходе teacher-student с помощью moving average. Этим же способом обучается сеть-учитель в DINO, разбор которого я писала в посте выше. В разборе я написала, что этот трюк сейчас используется много где, но я не знаю, почему он такой успешный. А вот, в гайде от Meta как раз про это есть! (раздел 3.4.1)
В книге делается упор на SSL в картинках (computer vision), но в последнем разделе также немного говорится про использование SSL в других доменах.
Вообще, Meta AI в последнее время публикует слишком много хороших работ в computer vision. Одни SAM и DINO-v2 уже многого стоят. Кажется, они решили стать а-ля OpenAI в visual домене. А SSL — это один из многообещающих подходов к построению действительно мощных моделей, потому что он не требует разметки данных, и при этом позволяет научить модели очень много "понимать" о данных. Сами Meta в своем анонсе книги назвали SSL "темной материей интеллекта", и "ключевых ингридиентом недавних прорывов".
Что ж, вот я и нашла, что читать завтра в самолете =)
Ссылки:
📘 The self-supervised learning cookbook
Инфу о книге нашла тут
А если не понимаете, что такое SSL и нужна ли вам книга, прочитайте сначала этот краткий ликбез по SSL
Продолжая тему обучалок: меня попросили рассказать о том, что в этом году подачи заявок в Школу Анализа Даных (ШАД) открыты до 7 мая (обычно закрывались в апреле). А я в этом канале что-то про ШАД особо не писала. Хотя я там училась в 2016-2018 годах, а с 2020 даже чуть-чуть преподаю на курсе Deep Vision & Graphics. И в целом, ШАД я нежно люблю и считаю, что он много мне дал и дает до сих пор (и я сейчас не только про халявные толстовки для преподов)))
В этом посте я чуть подробнее расскажу про то, что такое ШАД, кому стоит туда идти и что там как. Если у вас появятся вопросы, пишите в комментарии, постараюсь ответить. А если ответить не смогу, спрошу у знающих людей.
Итак, ШАД — это школа, где учат машинному обучению и анализу данных. Программа длится два года, обучение бесплатное. Занятия идут по вечерам, так что учебу можно совмещать с работой. Преподаватели — известные исследователи/разработчики, в основном сотрудники Яндекса. У меня, например, преподавали Ветров, Конюшин, Лемпицкий и другие.
В ШАДе на выбор есть четыре направления:
- Data science;
- Инфраструктура больших данных;
- Разработка машинного обучения;
- Анализ данных в прикладных науках;
Выбор направления зависит от того, на чем в сфере МЛ вы хотите специализироваться. Например, больше уйти в науку или разработку, и что именно разрабатывать. Подробнее о каждом направлении читайте тут.
На каждом направлении есть обязательные курсы, а есть курсы по выбору. В каждом семестре нужно закрыть три курса, но можно брать и больше. Обязательные курсы начинаются с фундамента (математика, программирование, основы МЛ) и заканчиваются специализациями для каждого направления. На каждом курсе очень много практики.
Курсы бывают обычные (лекции-семинары-дз), а бывают проектные. Проекты — это очень крутая практика реальной работы в команде. Вот пример крутого проекта, который студенты ШАДа сделали совсем недавно — библиотека для распределения весов модели по нескольким gpu.
И вот еще два пункта, за которые я ШАД очень люблю:
- В ШАДе следят за развитием области. Стараются организовывать новые курсы и обновлять старые. Например, когда училась я, появился новый курс по self-driving cars. А мы вот только недавно обновляли курс Deep Vision & Graphics, добавляли новые темы.
- Главная ценность ШАДа — это коммьюнити. Вы познакомитесь с крутыми людьми, получите много опыта. И это коммьюнити останется с вами навсегда (по своему опыту говорю). А что еще приятно — студенты ШАД имеют доступ до всех лекций всех курсов и после выпуска.
Короче, ШАД — это круто. Но, наверное, уже понятно, что учиться в ШАДе сложно. ШАД — это основательное и интенсивное обучение, а не курс до мидла за 3 месяца левым пальцем. Нужно будет уделять учебе примерно 30 часов в неделю на протяжении двух лет. Короче, фраза на сайте школы "будет сложно, но оно того стоит" — верна.
Подытожу. ШАД — это для вас, если вы:
- Обладаете хорошей математической подготовкой и умеете кодить;
- Действительно хотите развиваться в МЛ;
- Готовы уделять учебе много времени.
Чтобы поступить, нужно сделать следующее:
- Подать заявку тут до 7 мая. Обратите внимание, что в этом году есть два варианта поступления: для студентов без опыта разработки и для IT-специалистов с опытом;
- Пройти онлайн-тестирование;
- Сдать онлайн-экзамен.
Более подробно про процесс и варианты поступления читайте на странице школы. Если остались вопросы, с радостью отвечу в комментариях⬇️
Если у вас возникло ощущение "очень интересно, но ничего не понятно" от описания consistency models выше, попробую чуть пояснить)
Когда смотришь на идею вида "просто зашумим картинку, получим x_t, x_{t+1} и будем учить сразу восстанавливать x", становится действительно странно. Типа ээ, а что так можно было? Почему так не делали раньше? Почему это вообще будет работать?
Пока скажу следующее: у меня сейчас возникают те же вопросы) Но в статье есть теоробоснования, почему такая идея вообще работает. Надеюсь, разботаю в скором времени. А еще могу сказать, что в статье объяснение идет по типу "вот у нас есть принцип генерации диффузионкой траектории картинок на основе решения ODE. А что если попробовать определить условия для успешного обучения модели генерации картинок в один шаг? Будет ли это теоретически обосновано, как это можно сделать и какие условия надо создать?"
То есть, я к тому, что в статье идея подается более натурально, не с потолка "а будем учить вот так". Там становится примерно понятно по ходу чтения, откуда идея берется и почему учить так — работает. Но я еще не разобралась в ней так, чтобы уверенно писать пост о всех нюансах, поэтому пока вышло то, что вы видите в посте наверху.
И еще вот что могу сказать (может, поможет в понимании, что произошло): после обучения consistency model у модели получается взаимно-однозначное соответствие между точками латентного пространства и точками пространства картинок (см картинку к посту). То есть, пространство разбивается на траектории, и из каждой точки одной траектории модель восстанавливает одну и ту же картинку. Это позволяет интерполировать точки латентного пространства, как в VAE. Т.е. пусть у вас есть две точки, из одной из которых модель генерит попугая, а из второй — слона. Если взять точку на пути между этими двумя точками, то из нее получится что-то среднее между попугаем и слоном.
P.S. Если где-то говорю бред, пишите, пожалуйста
Написали уже много кто, но напишу и я. Новость дня — OpenAI запустил Bug Bounty Program. Смысл такой: вы находите баги в сервисах OpenAI, а вам за это платят реальными деньгами.
Когда это выложили, показалось, что теперь можно искать баги в ответах ChatGPT (ой она меня оскорбила/выдала неверную инфу о телескопе/сгенерила код для взлома Пентагона/начала галлюционировать) и получать за каждый по $200+. Но это не так. Деньги дают за поиск уязвимостей в инфраструктуре по типу "DROP TABLE USERS..."
Например:
- безопасность интерфейса ChatGPT и плагинов, работающих на его основе. Проблемы с аутентификацией/регистрацией/платежами, утечка данных и т.п.;
- провека того, что нельзя получить доступ к конфиденциальной информация OpenAI через third-party, т.е, через компании-пертнеры вроде Notion, Confluence и т.п.;
- проверка утечек API-ключей партнеров в открытый доступ в интернет.
Короче, это больше для тех, кто увлекается security. А если хочется поджейлбрейкать ChatGPT, то фидбек о нежелательном поведении модели можно посылать сюда. Правда, денег не дадут)
Полные условия Bug Bounty Program читайте тут. Тут же можно отправить свою найденную уязвимость.
Итак, SAM (Segment Anything Model) — модель от Meta AI, обученная на огромном датасете для сегментации изображений (11 млн картинок и 1.1 млрд масок сегментации). Датасет тоже выложили вместе с моделью, кстати.
С помощью модели можно:
✔️ одновременно сегментировать огромное количество объектов разного размера на одной картинке. Включая даже те объекты, которых не было в обучающей выборке;
✔️ сегментировать объект на картинке на основе:
- точки на объекте (ставите мышкой точку на объект, который хотите сегментировать, и модель это делает);
- bounding box'а объекта;
- примерной маски объекта;
- текста-описания объекта;
✔️ с помощью хитрого построения входа и постпроцессинга выхода модели решать некоторые задачи, на которые модель напрямую не обучалась:
- edge detection;
- instance segmentation;
- object proposal.
Сами авторы считают, что SAM может стать foundation model, т.е. что-то вроде GPT-3 в сфере сегментации картинок. Foundation model — это модель, которая обучилась на какую-то задачу на огромном количестве данных, и это породило у нее способности к решению многих других задач, на которые она напрямую не обучалась, в few-shot и zero-shot режимах.
Только прочитав статью, я не уверена, что я с этим согласна. На мой взгляд, те задачи, на которых SAM показывает способности к zero-shot — это та же сегментация, только вид подачи данных на вход модели немного отличается. Т.е. не то чтобы тут у модели возникают какие-то новые неожиданные способности. Но SAM — это точно foundation model в том смысле, что обучена модель была на огромном количестве данных, и из-за этого ее должно быть очень легко дообучить под свою конкретную задачу. Это такой ImageNet для задачи сегментауии, короче.
Ссылки:
📄Статья
💻Сайт с онлайн-демо
Ниже чуть позже разберу устройство SAM подробнее ⬇️
Чтобы разнообразить лето, решила поискать себе какую-нибудь летнюю школу по DL, связанную с своей темой рисерча. В поисках нашла гитхаб-репо с набором ссылок на такие школы: awesome-mlss. Для каждой указаны даты, дедлайны подачи и тема. Есть даже российские! А еще, кажется, репо постоянно обновляется: 3 ссылки добавили 2 дня назад.
А если вы знаете еще какие-то хорошие школы, пишите в комментарии. Может, кому-то (или даже мне))) будет полезно.
Я давно обещала выложить пост о том, когда начнется весенний семестр второй части DLSchool. Но так и не выложила. А дело в том, что мы эту часть решили переделать: полностью обновить программу и перезаписать все занятия (прогресса-то в этой области с момента записи курса ого-го стало). Поэтому в этот раз вторая часть стартует намного позже, чем это было обычно.
Но я рада сказать, что обучение совсем скоро начнется! Первые лекции будут записаны уже в начале следующей недели (я вот прямо сейчас сижу и делаю к ним презентации). Поэтому приглашаю вас и ваших знакомых пройти регистрацию и записаться на курс!
Ссылки:
Регистрация тут (после нее на почу ничего не придет)
Курс будет на Степике тут
Также нужно вступить в телеграм-канал школы и чат весеннего потока второй части.
Что будет на курсе:
Вторая часть DLSchool посвящена NLP (обработке текста) и аудио. Начинаем с эмбеддингов и RNN, заканчиваем моделями Transformer, BERT, и GPT, их нюансами и деталями. Также разбираем различные задачи NLP. Последние три занятия — обработка звука.
❗️Вторая часть курса является логическим продолжением первой части. Чтобы успешно учиться, нужно знать принципы работы нейросетей и CNN. Поэтому если вы только поступили на первую часть и неуверенно чувствуете себя в DL, не рекомендуем записываться сразу и на вторую часть. Пройдите сначала первую, в следующем семестре сможете пройти вторую (набор на обе части стартует каждый семестр).
Ждем вас! В качестве затравки скажу, что для проведения занятий по BERT, GPT и Трансформерам мы пригласили новых классных людей, которые с этими моделями работают и хорошо в них разбираются 🙃
Memorizing Transformers: как приделать к языковой модели внешнюю память, чтобы расширить контекст до 260.000 токенов
Языковые модели сейчас получаются классненькие, но все равно не идеальные. Одна из главных проблем — длина контекста (количество токенов текста, на которое модель может опираться, выдавая очередную генерацию). В стандартной GPT-4, к примеру, длина контекста — 8.000 токенов. В расширенной версии — 32.000. То есть, лучшая GPT-4 "видит" только 32.000 токенов поданного на вход текста. Все, что дальше, для нее не существует.
Увеличивать контекст модели довольно дорого по времени, количеству параметров и памяти. Поэтому ищутся другие способы. Один из вариантов — вариации "внешней памяти". В эту внешнюю память в каком-то виде складируется информация из входного текста, а модель в процессе работы с помощью некого механизма вытаскивает оттуда релевантные части для текущего шага генерации.
Идея внешней памяти сама по себе даалекоо не нова, ее и в СV, и в NLP развивают много лет со всех сторон. Но ребята из Гугла придумали новую идею этого механизма, довольно простую и эффекивную.
Вот в чем идея:
Устройство показано на 1 картинке к посту. Берем обычную языковую модель (трансформер). Берем один слой attention внутри этого трансформера (авторы берут слой, близкий к концу сети). К этому слою приделываем хранилище key-value пар, механизм выделения из хранилица нужной инфы и механизм использования этой инфы — еще один attention.
Сейчас расскажу, как эти части устроены. На каждом шаге генерации языковой модели происходит следующее:
- В хранилище добавляются все значения key и value для всех поданых на вход токенов и всех голов attention этого слоя;
- Для значений query всех поданых на вход токенов с помощью KNN ищутся k ближайших key-value пар из хранилища;
- Считается attention между query всех поданых на вход токенов и этими k ближайшими key-value парами. Из k полученных значений attention для каждого токена берется взвешенное среднее — получается одно значение attention на каждый входной токен;
- Считается обычный attention между query, key и value всех поданых на вход токенов;
- Два полученных attention фьюзятся в один также с помощью взвешенного среднего.
Все. Эксперименты показывают, что такая идея позволяет модели выделять релевантную инфу из памяти, которая была записана туда много-много токенов назад. Авторы тестировали модель на разных датасетах, включая датасет статей из arxiv, кода на GitHub, а также PG-19 — это датасет книг на английском языке, который стал классическим бенчмарком для проверки long-range natural language text modeling.
В общем-то, на всех них perplexity модели с памятью вместимостью 65к токенов выигрывает у модели без памяти (2 картинка к посту). Более того, у авторов получилось, что небольшой трансформер с внешней памятью всего 8к может показывать те же результаты, что большой трансформер без памяти, у которого в 5 раз больше обучаемых параметров.
Ну и что еще круто: эту память можно приделать при дообучении предобученной модели. Дообучать придется не очень много — модель быстро учится использовать механизм памяти и улучшает результат (3 картинка к посту)
Ну вот, общая идея такая. В устройстве модели есть еще пара важных нюансов, о них читайте в разделах 3.2 и 3.3 статьи.
Сcылки:
📄 Статья
🛠 Код на GitHub (неофициальный)
Про модельку услышала тут
Теперь немного про "важно изучать нейробиологию живых организмов и применять эти знания к разработке AI"
Вообще, много идей в AI были вдохновлены устройством биологических нейронов и мозга (что бы ни говорили те люди, которые каждый раз приходят в комментарии со словами "да не похож ваш AI на биологию вообще, хватит выпендриваться, там все сложнее"). Яркие примеры — CNN, Attention. Да, это не копия реальных механизмов, но вдохновение явно было.
Авторы статьи из поста выше, правда, замечают, что подобные идеи в AI, основанные на каком-то биологическом механизме, чаще всего возникают сильно после того, как этот механизм был открыт биологами. А все потому, что люди, которые пилят AI, не сильно шарят в нейробиологии. Проходит время, пока открытия из биологии дойдут до широких масс, где их подхватят и внедрят AI-рисерчеры. А еще в последнее время AI-коммьюнити как-то не сильно обращает внимание на биологию. И даже NeurIPS, который изначально был конференцией по AI и нейробиологии (да-да), теперь известен в большинстве своем только по AI.
Конечно, тут можно сказать, что прорывы в AI далеко не обязательно должны быть основаны на идеях из биологии. Возможно, можно придумать что-то крутое совсем из других соображений. Это правда. Но биология может помочь. Эту мысль подкрепляет то, что она помогала ранее. И поэтому стоит ее изучать: вдруг выйдет что дельное.
Поэтому главный посыл статьи (кроме предложения о новом тесте Тьюринга) — начать растить поколение специалистов, разбирающихся и в AI, и в нейробиологии. И основывать проекты по тому, как использовать знания из нейробиологии в AI.
А еще у авторов есть на эту тему дополнение к предложенному embodied тесту Тьюринга: при записи поведения животных также записывать их мозговую активность. Чтобы потом ее анализировать и использовать в AI.
Проекты, соединяющие нейробиологию и AI, уже есть, если что. Вот пример — MICrONS (Machine Intelligence from Cortical Networks)
> "The MICrONS program aimed to close the performance gap between human analysts and automated pattern recognition systems by reverse-engineering the algorithms of the brain"
(внизу страницы есть список публикаций проекта и ссылка на Google Scholar)
Короче, к чему это я все. Мне лично кажется, что это круто) Да и не только мне, видимо: в последнее время я натыкаюсь на довольно много публикаций по теме "AI vs биология" или "как сделать нейрон/нейросеть более похожей на биологический или хотя бы с похожими свойствами". Наверное, вы это даже заметили по постам в канале)
В моих планах вообще получше заботать основы нейробиологии (хотя чего только там в твоих планах нет, Таня =( ). И это не только из-за идеи развивать AI в эту сторону, а просто потому что мне интересно.
Если вам тоже интересно, то под этим постом собирала ссылки на курсы/ресурсы по нейробиологии. Ну и спрошу: а вы что по этому поводу думаете?
ChatGPT Notes — канал про GPT
Тут такое дело. Мы со знакомыми-авторами каналов по AI посмотрели на все новости вокруг языковых моделей (ChatGPT, GPT-4, Bing, ...) и поняли, что их стало слишком много. Настолько много, что одному человеку за всем не угнаться, а если репостить все интересное себе в каналы, то все наши каналы превратятся в склад постов о GPT (наш внутренний чатик уже почти в такое превратился, хехе)
Поэтому мы решили создать под это дело отдельный канал: ChatGPT Notes. В нем мы будем собирать все, что нам покажется интересным по теме языковых моделей. Будут как свои тексты, так и репосты хороших постов с других каналов.
Авторы — люди, работающие AI рисерчерами/инженерами, и понимающие, что они пишут. Многие из них работают с чат-ботами напрямую и больше в этом разбираются, чем я. Никаких "у GPT появилось сознание, мы все умрем" или "покупайте курс по промптам к ChatGPT" там не будет.
К каналу есть чат. В нем можно и нужно общаться на темы вокруг GPT. Попасть в него можно из описания канала.
Больше инфы о канале и авторах — в закрепе.
Ну вот, если вам интересно знать, что там снова ковырнули в GPT, заходите! А тут, в DLStories, я продолжу писать посты о разных интересных вещах в AI, совсем не только (или вообще не) о GPT😌
Помните, в 2021 году была статья о распознавании фейковых видео людей (deepfake) по зрачкам глаз? Там была идея, что у реальных людей на видео отражения и блики в зрачках обоих глаз практически идентичны. На фейковых же видео отражения в глазах часто сильно разнятся. Впрочем, не особо удивительно, т.к. зрачки глаз — довольно low-level деталь, успешно подгонять которую модели для дипфейков научить сложно.
Так вот, оказывается, в 2020 году была еще одна работа с интересной идеей распознавания дипфейков: FakeCatcher. Идея эта — детектить некоторые биологические маркеры людей. А именно: когда сердце человека качает кровь, вены и сосуды меняют свой цвет в зависимости от стадии сердечного сокращения. Эти изменения образуют постоянный паттерн на видео, который можно детектить. Как и отражения в зрачках, еле заметные изменения цвета кожи из-за работы сердца — это low-level деталь, которая моделями для дипфейков не восстанавливается.
Причем авторы статьи утверждают, что FakeCatcher работает даже на low-resolution картинках, и что в целом система довольно устойчива к изменениям/шумам на видео. Это удивительно: казалось бы, при низком разрешении изменения цветов кожи должны становиться менее заметны.
Вообще, идея детектить подобные биологические паттерны на видео не нова. Идея возникла в медициенском домене, когда захотелось придумать неинвазивные методы мониторинга состояния пациентов. Это, к примеру, дистанционная фотоплетизмография на основе цвета. Фотоплетизмография — это ровно и есть метод регистрации изменений, возникающих при наполнении мелких сосудов кровью в зависимости от фазы кардиоцикла. Идеи оттуда и переняли ученые из Бингемтона для создания системы детекции дипфейков.
Статья про FakeCatcher была написана в 2020 году. А недавно, в ноябре 2022, Intel взяли эту работу и на ее основе выпустили полноценный продукт FakeCatcher. Ссылка с анонсом вот, но, кажется, открытого доступа к нему нет. По крайней мере, я не нашла.
Что там GPT-4
Соберу в этом посте в кучку несколько постов о GPT-4 и несколько интересных связанных новостей.
Что интересного в tech report GPT-4
Прежде чем у меня получилось сесть и более детально изучить tech report на предмет важных моментов, в паре соседних тг-каналах уже появились посты об этом. И авторы этих каналов — люди, которые занимаются NLP, т.е. лучше меня шарят, что там как. Поэтому я подумала, что вместо попыток разобраться самой лучше дать вам ссылки на эти посты (и вообще, я в отпуске!!):
- Интересные моменты тех репорта по мнению автора AbstractDL;
- Несколько постов в Сиолошной. Начинать отсюда и до конца
А теперь — пара новостей, связанных с GPT-4, которые меня удивили:
✔️ OpenAI подписали соглашение с правительством Исландии о сотрудничестве в задаче сохранения Исландского языка.
Дело в том, что Исландия активно интегрируется в глобальную экономику, и многие ее жители говорят на английском и других языках. Из-за этого исландский язык не очень распространен в интернете. И также в языке появляется много заимствований, что, как утверждают в стране, ставит исландский язык под угрозу вымирания.
Из-за этого GPT-4 в исландский умеет не очень. Даже специальное дообучение на корпусе исландских текстов не особо помогает. И партнерство Исландии с OpenAI направлено на то, чтобы лучше научить GPT-4 этому языку. Добровольцы будут исправлять ошибки модели и учить ее тонкостям языка и грамматики.
Планируется, что подобными усилиями можно будет работать над сохранением и других вымирающих языков на планете.
Блогпост OpenAI о сотрудничестве
Пост в Твиттере президента Исландии
✔️ Сonor Grogan (Head of Product @ Coinbase) скормил GPT-4 смарт-контракт Эфира (Ethereum). Моделька смогла найти уязвимости и даже описать, как эти уязвимости использовать для хака смарт-контракта. А самое интересное то, что GPT-4 нашла уязвимости и в контракте 2018 года. И одно из них как раз было использовано в том же году для bitburner/proof-of-weak-hands-powh-coin-hacked-866-eth-stolen">взлома токена Weak Hands.
И что, security engineer теперь тоже не нужны?..
✔️ Duolingo встроит GPT-4 в свое приложение для изучения языков. Функции с GPT-4 будут доступны по подписке Max. Вот что можно будет делать:
- попросить модель найти ошибки в тексте и объяснить, почему это ошибка и как ее исправить;
- практиковаться в языке с помощью диалога с моделькой.
Имхо если это будет хорошо работать, то процесс изучения языка станет намного проще и интереснее!
✔️Оказывается, есть такая компания — Anthropic. Основана она выходцами из OpenAI. И позавчера Anthropic представила своего чат-бота Claude — по сути, конкурента ChatGPT. С ним можно общаться, просить решать задачи: суммаризовать текст, кодить, находить информацию и т.п.
Anthropic уже сотрудничают с Notion, Quora, Juni Learning и DuckDuckGo, внедряют свой продукт в эти сервисы. И некоторые отзывы пользователей этих сервисов выглядят так:
- ”Claude feels more conversational than ChatGPT”;
- “I find Claude to be more interactive and creative in its storytelling.”
Что ж, интересно. Похоже, у OpenAI действительно есть сильный конкурент.
При этом в Anthropic говорят, что Claude довольно reliable and safe. Вообще, судя по сайту, главная цель Anthropic — как раз создание надежных и безопасных AI-систем. Про Claude они сами пишут: "Claude is a next-generation AI assistant based on Anthropic’s research into training helpful, honest, and harmless AI systems."
Запись в early access Claude тут
Расходимся. Деталей модели не будет. В статье ни слова о том, как именно картинки подаются в модель (самое интересное для меня), какая у нее архитектура и как учили.
Все, что есть:
- По образцу ChatGPT для обучения GPT-4 использовали RLHF (Reinforcement Learning from Human Feedback). Про то, что это за прием, есть отличная статья на HuggingFace;
- Очень много внимания уделили задаче safety, reliability модели и устранения галлюцинаций (придумывания несуществующих фактов, ошибки в логике и т.п.). Тут подход, в целом, "в лоб": с помощью разметчиков собрать примеры, где модель плохо себя ведет, и дообучить. Правда, сильно не помогло — в статье пишут, что "despite its capabilities, GPT-4 has similar limitations to earlier GPT models: it is not fully reliable (e.g. can suffer from “hallucinations”), has a limited context window, and does not learn from experience."
Честно — у меня сгорело. Я до последнего думала, что в нежелании OpenAI давать доступы и т.п. есть рациональное зерно, но тут я понимать перестаю. Как заметили в комментариях к посту выше, статья на 98 страниц больше похожа на рекламный буклет, а не на tech report. Это уже не рисерч и не наука, это уже бизнес какой-то.
А что там тогда на этих 98 страницах? А там куча картинок-примеров работы GPT-4 и страниц 30 о safety, reliability, risks & mitigations.
Ребята, тут такие дела: я уже полгода работаю над тем, чтобы создать свой собственный онлайн-курс по нейросетям. Точнее, по основам нейросетей и CNN. И мне в этом сейчас нужна ваша небольшая помощь.
Итак, о чем речь:
Как вы, наверное, знаете, я много преподаю в сфере DL. За годы этой практики у меня накопился опыт в подаче материала, появились хорошие (на мой взгляд) наработки по разным темам. А еще сформировалось видение того, как должно выглядеть хорошее, обстоятельное обучение основам computer vision. И в своем онлайн-курсе я хочу это все систематизировать и соединить в одно целое.
Короче, курс будет по основам нейросетей и CNN. Очень подробный и основательный курс, с кучей деталей и практики. В планы входит постоянная доработка курса и после выпуска, добавление новой информации и доработка старого материала.
Делаю я курс не одна, а с Тасей. Тася — это менеджер курса, т.е. с меня — контент, с нее — упаковка и организация. У Таси уже большой опыт огранизации разного рода обучений по AI, она этим профессионально занимается. И Тася мне сказала, что перед тем, как делать полный контент курса, нужно провести кастдев
Что это такое: мы хотим сделать курс таким, чтобы он был действительно вам нужен. Нам важно, чтобы он не только сочетался с нашим пониманием прекрасного, но и учил вас тому, что вам действительно необходимо. А еще учил так, чтобы вам понравилось. И чтобы лучше разобраться в этом всем, мы создали опрос. И я прошу вас его пройти. Он короткий, займет около 10 минут. Там — вопросы про ваш опыт и ожидания от обучений в сфере AI/DS.
Опрос⬇️
https://forms.gle/q72LVXUGGsbXeU5x9
На основании ваших ответов мы постараемся сделать все в лучшем виде. А еще из респондентов анкеты мы выберем людей для участия в пилотном запуске нашего проекта (если вы захотите, разумеется).
А за процессом работы над курсом можно будет понаблюдать в блоге Таси. Там же она обещала поделиться результатами анализа опроса.
Так вот, заполните анкетку, пожалуйста! Помогите нам сделать хорошо, а плохо не сделать =)
Data Secrets — журнал в области науки о данных.
#промо
Здесь ребята просто и практично расскажут про Big Data, нейросети, анализ данных и многое другое.
В канале вы найдете:
– Гайд "Как задеплоить модель с помощью FastAPI";
– Интересные трюки по оптимизации памяти;
– Прозрачные обзоры алгоритмов глубокого обучения;
– Математику для Data Science на пальцах;
– Забавные пересказы новых статей.
Присоединяйтесь по ссылке @data_secrets и становитесь экспертом в области науки о данных!
Накатала в Teletype atmyre/ooMFzB7YADA">разбор DINO — идеи для self-supervised обучения vision моделей (т.е. моделей для обработки картинок).
(если не знаете, что такое self-supervised обучение, об этом ликбез был тут)
DINO был представлен в статье "Emerging Properties in Self-Supervised Vision Transformers". Кроме самого DINO, в статье приводится наблюдение, что у self-supervised трансформеров (например, обученных с помощью DINO) обнаруживается интересное свойство: если подать такому трансформеру на вход картинку, то ее карты внимания, оказывается, сигментируют объект на картинке. Об этой находке и о том, как с ее помощью получить неплохую zero-shot сегментацию нескольких объектов на картинке, я писала в посте тут.
А совсем недавно выпустили вторую версию DINO (DINOv2). В этой статейке я разобрала устройство оригинального DINO, а в следующий раз разберу DINOv2.
📄 atmyre/ooMFzB7YADA">Разбор
Накопились разные ссылки на обучающие штуки, собрала в небольшой пост:
1. Полгода назад Andrej Karpathy завел Youtube-канал. Там начал выкладывать обучающие видео по некоторым темам. Скопился уже небольшой плейлист. Среди этих видео:
- Интро в backpropagation с кодом в колабе и картинками;
- Интро в языковое моделирование;
- Погружение в функции активаици и batchnorm;
- Backprop для cross-entropy и слоя batchnorm (тоже с кодом, красота прям);
- Пишем код GPT в колабе;
Вообще Andrej советует смотреть видео в плейлисте по порядку, т.к. каждое следующее использует знания из предыдущих. Я сама хочу посмотреть все подряд)
2. Борис сделал колаб ноутбук про взрыв и затухание градиентов. С наглядной демонстрацией, как эти явления появляются, и как чинить.
3. А Игорь из Сиолошной выложил двухчасовое видео с разбором архитектуры Трансформера. Вроде говорят, у него неплохо получалось эту тему объяснять.
Если еще что-то хорошее знаете, можно делиться в комментариях.
Consistency Models: диффузия, которая восстанавливает картинку из шума за один шаг
Интересная работа от OpenAI попалась мне в рассылке от Synched. Тут учат диффузию генерировать картинку из шума за один шаг, без итеративного процесса денойзинга.
Сейчас я опишу общий принцип работы этого чуда. В статье приводятся формальные обоснования работоспрособности идеи в виде теорем, в них буду разбираться позже. Может, напишу обзор)
Итак, идея:
Обычная диффузия берет картинку х, зашумляет ее в течение t шагов, получая последовательность шумных картинок x_t, t =0...T. А затем учится для каждого t по x_{t+1} восстанавливать x_t.
А consistency model — это диффузионка, которую учат для любого t по x_t восстанавливать x (изначальную картинку).
То есть, пусть у нас есть траектория движения от шумной картинки x_T до изначальной картинки x. Берем две последовательные точки x_{t+1} и x_{t} на этой траектории, и обучаем модельку по x_{t+1} и x_{t} восстанавливать одинаковую картинку.
Получать точки x_{t+1} и x_{t} на траектории предлагается двумя способами:
1. Выбираем z ~ N(0, 1), зашумляем исходную картинку х с помощью z, получая x_{t} и x_{t+1}.
2. Сначала зашумить картинку х, получив x_{t+1}. Взять предобученную обычную диффузионку, с помощью нее из x_{t+1} получить x_t
В первом случае мы обучаем consistency model с нуля. Во втором же случае мы опираемся на предобученную диффузионку, т.е. по сути, это алгоритм дистилляции предобученной модели.
Consistency model при этом тоже можно сделать multi-step. Берем зашумленную картинку x_T, восстанавливаем за один шаг до x. Затем снова немного зашумляем полученный x, и снова восстанавливаем. Так можно добиться того, что качество картинки х после нескольких шагов станет лучше.
Очевидно, что consistency model сильно выигрывает по времени инференса у обычной диффузии, т.к. чтобы сгенерить картинку, нужно делать всего один шаг алгоритма вместо кучи. Качество генерации при этом схожее с обычной диффузионкой (см. раздел 6 статьи).
📄Статья
Обещала разбор SAM, и сделала. Правда, текста снова вышло много, поэтому решила оформить в виде статейки. Заодно потестила Teletype (на замену telegra.ph). atmyre/hrnsBpXZMll">Статейка — вот
В atmyre/hrnsBpXZMll">статье — о том, как устроена архитектура SAM, как собирали датасет для обучения (не очень очевидным способом), а также как так вышло, что модель умеет сегментировать объекты на картинке по текстовому описанию, хотя в датасете никаких текстов нет вообще. Идея, как такого добились, мне лично показалась очень интересной. Собственно, практически ради нее я этот лонгрид и писала)
P.S. В Teletype, если что, тоже можно оставлять комменты и реакции к статьям =)
Только что от автора Сиолошной узнала, что прямо сейчас на Ютубе идёт беседа Эндрю Ына с Яном ЛеКуном. Беседуют про вот эту идею остановить разработку мощного ИИ на 6 месяцев. ЛеКун против этой идеи (высказывался об этом сразу после публикации петиции), поэтому и разговор называется "Why the 6-month AI pause is a bad idea"
Начали всего 20 минут назад. К видео есть форма для вопросов и живой чат.
Смотреть тут
Тот самый хардкорный курс по машинному обучению от Валерия Бабушкина и других топов рынка.
#промо
Теперь не обязательно покупать целиком — можно выбрать наиболее актуальные для вас задачи бизнеса.
● Ранжирование и матчинг: поймёте как применять матчинг в бизнесе и узнаете тонкости пайплайнов работы поисковых систем.
● Динамическое ценообразование: научитесь прогнозировать временные ряды, работать с диапазонами цен и применять многоруких бандитов для оптимизации выручки компании.
● Uplift-моделирование: узнаете, как выбрать правильный таргет для прогноза и организовать библиотеку факторов.
● Продвинутое A/B-тестирование: научитесь применять современные методы повышения чувствительности A/B-тестов, рассмотрите полный пайплайн тестирования и реализуете свой сервис для оценки экспериментов.
● Сценарии деплоя ML-сервисов: научитесь выводить ML-модели в прод и узнаете, когда их пора отправлять на дообучение.
Присоединяйтесь по ссылке до 7 апреля. По промокоду DL25 для вас скидка 5%.
^ Интересно, будет ли модель от Гугла - конкурент GPT-4 использовать эту идею
Читать полностью…
Есть такой институт, оказывается, "Будущее жизни" (да, я о таком тоже первый раз слышу). Занимаются они исследованием рисков и угроз от разных технологий: ядерки, autonomous weapons и т.п. А еще, похоже, занялись и угрозами AI. И вчера они опубликовали открытое письмо, в котором призвали на 6 месяцев остановить разработку любых AI-систем, сравнимых с GPT-4 по мощи. Письмо вот.
Идея понятна: прогресс идет слишком быстро, мы не особо понимаем, к чему он может привести. И не успеваем за этим прогрессом выработать хоть какую-то адекватную регуляцию этого ИИ.
Во время паузы предлагают сделать следующее:
- Понять, что мы хотим от AI. Хотим ли мы, чтобы AI заменял прям все профессии, которые может? Хотим ли мы сделать робота-гуманоида? Ок ли нам, что AI заполонит интернет генерациями и фейк-ньюз?
- Выработать протоколы безопасности и регуляции разработки AI: как делать AI более робастным, безопасным, надежным и... loyal (ок, но не уверена, что с этим согласна).
В этом пункте про "выработать протоколы" они даже ссылаются на недавний стейтмент OpenAI, в котором была строчка: "At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models". Считают, что этот момент — прямо сейчас.
В коммьюнити, насколько я понимаю, была неоднозначная реакция на этот пост. В основном выражались два консерна (с которыми я согласна):
- 6 месяцев — это очень мало (но это ладно, так-то и продлить можно);
- Это бесполезно. В мире еще нет такого консенсуса, чтобы была возможна ситуация, когда большие компании и страны договариваются приостановить разработки AI. От себя добавлю: если вам тут на ум пришло ядерное оружие, по которому сировая договоренность в каком-то виде таки была достигнута, то у AI, на мой взгляд, другая ситуация. Тут риски не так очевидны, польза быть первы и классным — очевидна. А еще, испытания ядерки в тайне держать не получится. А AI — легко.
Но тут есть еще пара веселых моментов:
- Под письмом стоят подписи таких людей, как Йошуа Бенджио, Илон Маск, Ян ЛеКун. Последний вот в твиттере сказал, что это чушь, с письмом он не согласен и его не подписывал. В приципе, неудивительно: вряд ли при подписании проверяют твою истинную имя-фамилию. Но все равно кек)
- Кто-то нашел в письме конспирологию и считает, что письмо написано не из-за реальных консернов компании по поводу AI, а просто Илон Маск бесится.
Бесится он вот почему: в 2018 году он ушел из OpenAI после неудачной попытки стать единоличным главой компании. А теперь OpenAI сделали такой крутой AI, а он остался в стороне. То, что у Маска есть по этому поводу какие-то эмоции, подтверждается тем, что он хочет создать свою компанию-конкурента OpenAI (вот новость). А институт "Будущее жизни" финансируется организацией Musk Foundation. Плюс, Илон указан на сайте как один из external advisors. Отсюда возникла мысль, что Маск просто хочет насолить OpenAI))
Ну и еще в копилку к теме: сегодня в журнале Time вышла статья Элизера Юдковского (основатель LessWrong, на вики представлен как "специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание дружественного ИИ"). Статья называется "Pausing AI Developments Isn't Enough. We Need to Shut it All Down", а первая строчка касается инициативы института будущего жизни: "This 6-month moratorium would be better than no moratorium."
UPD: о, вот Лекс Фридман как раз выложил ссылку на интервью с Юдковским. В том числе и про "danger of AI to destroy human civilization"
Наткнулась на статью в Nature, которую выпустили ряд ученых-нейробиологов. Называется она "Catalyzing next-generation Artificial Intelligence through NeuroAI". Ее авторы выражают мнение, что для достижения следующего уровня AGI важно изучать нейробиологию живых организмов и применять эти знания к разработке AI. А также предлагают новый вариант теста Тьюринга, основанный на сравнении поведения реальных животных и AI-агентов.
Вот о чем этот новый тест:
Вспомним стандартный тест Тьюринга ("игра в имитацию"). Крутость AI ппроверяется так: берем живого человека (назовем его Васей) и заставляем его общаться с агентом. Агент — другой человек или AI. Общение происходит в текстовом виде. Если Вася при общении с AI не в состоянии определить, что он общается не с человеком, то тест пройден — этот AI считается достаточно сильным.
Этот тест далеко не идеален. Во-первых, результат зависит от конкретного Васи, который общается с AI. Во-вторых, проблема в возможности только текстового взаимодействия. Из-за этого сложно проверить у агента наличие многих скиллов, свойственных живым орагнизмам (и, соответственно, скиллов, которые мы хотели бы видеть у AGI). Например, таких:
- Эффективное взаимодействие с окружающей средой и контроль собственного тела. Существующие RL-агенты и роботы все еще плохо учатся управлять даже собственными конечностями, не говоря уж о том, чтобы взаимодействовать с другими объектами;
- Приспособляемость к меняющимся обстоятельствам. Это стандартная проблема AI-моделей, у которой много названий: отсутствие робастности, out-of-domain и т.д. Смысл в том, что AI-модели начинают плохо работать при малейшем изменении характеристик среды. Животные же умеют к этому быстро приспасабливаться. От AGI хочется, чтобы подобной проблемы у него не было, и это хочется уметь проверять;
- Наличие внутренней карты физического мира (или "общее понимание мира", "physical common-sense") и вытекающая из этого способность создавать причинно-следственные связи. С этим у AI тоже не очень хорошо, проблема causation vs correlation — одна из основных в AI.
Ко всему этому авторы замечают, что современные нейросети потребляют довольно много энергии для обучения и работы (привет GPT). Цифры приводят такие: для обучения GPT-3 потребовалось около 1000 мегаватт-часов, когда как человеческому мозгу нужно всего около 20 ватт (правда, я не поняла, для чего нужно. Чтобы научиться языковому моделированию?)). Если мы хотим получить эффективный AGI, мало заставить его пройти тест Тьюринга: нужно подумать о том, как увеличить его вычислительную эффективность.
Возможно, конечно, это все можно проверять и с помощью обычного теста Тьюринга, где человек и AI общаются текстом. Но придумать такой протокол будет как минимум сложно. Поэтому авторы статьи предлагают другой вариант теста, основанный на прямом сравнении поведения животных и AI-агентов. Назвали такой тест Embodied Turing test ("воплощенный тест Тьюринга"). Вот в чем его суть:
У биологов уже накопилось много данных о поведении животных. А также создаются биомеханические модели тел животных. На основе этого всего с помощью симуляторов можно создать реалистичные модели этих животных, и с их поведением сравнивать поведение AI-агентов.
Это позволяет сделать несколько уровней теста, в зависимости от того, насколько сложное животное хочется моделировать. По сути, симуляция каждого отдельного вида представляет собой отдельный тест Тьюринга. Это должно способствовать постепенному развитию AI-агентов: сначала они научатся моделировать червей, потом рыб, потом вашу кошку Мурку, а затем и вас самого =)
А еще так можно проверять отдельные способности AI-агентов: например, отдельно тестировать его умение управлять конечностями или приспосабливаться к среде. И даже проверять, сколько энергии AI-агент тратит на каждую конкретную задачу (и сколько тратит на эту же задачу Мурка)
Конечно, протоколы сравнения AI-агентов и Мурки надо еще придумать и стандартизовать. Но звучит интересно.
Вот так мы только-только подошли к решению старого теста Тьюринга (GPT-4), так уже неймется ехать куда-то дальше)
📄Статья
Может, кому-то будет интересно:
Мне тут скинули ссылку на хакатон по генеративному AI. Смысл такой: вы приходите со своей идеей проекта на основе generative AI (Stable Diffusion, ChatGPT и т.п.) и питчите идею экспертам. Взамен получаете обратную связь по проекту и, возможно, призы (если попали в топ-3).
Если у вас есть идея сервиса/стартапа на основе недавних технологий (в последнее время вижу много таких), и вы хотите получить мнение экспертов бесплатно — кажется, это хорошая возможность. Ну и возможность послушать идеи других)
Среди жюри — действительно шарящие люди. Например, Татьяна Шаврина — руководитель рисерч проектов в AIRI и человек, который запускал ruDALL-E, ruGPT3 и вообще хорошо шарит за генеративный NLP. Кроме технических и рисерч спецов есть и специалист по продукту и продвижениям.
Правда, отбор на ивент закрывается уже скоро: подача заявок доступна до 21 марта в 23:59. Как-то не очень подгадали под выход GPT-4, хехе.
Сайт хакатона с подачей заявки
P.S. На своем канале Татьяна тоже тестирует GPT-4
💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.
#промо
В сообществе вы найдете:
▫️ Новости индустрии production ML;
▫️ Полезные статьи, инструменты и технологии;
▫️ Опыт коллег и лучшие практики.
Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: /channel/+WNtmeTCsq0VjMjNi
Реклама ООО «Селектел», Pb3XmBtztAXpLT3m7AJbuAwefAQJaXLiwLGZpqU
Ладно, я успокоилась, почитала комментарии. И понимаю, что резон в том, чтобы не выкладывать все детали мощной модели вроде GPT-4, все же есть. Ниже — мои мысли вокруг этой темы.
Как мы видели на примере ChatGPT, подобные модели действительно могут иметь сильный эффект на общество — что стоит хотя бы то, что ChatGPT успешно справляется со многими университетскими экзаменами. Это довольно большой удар и серьезный челлендж для системы образования. К тому же, в последнее время я ооочень часто замечаю, как об ИИ говорят люди/паблики, которые от этой сферы были вообще далеки. Вот пример. Этот канал, вообще, о маркетинге, я на него подписана давно (мне просто интересно). Если прокрутить ленту выше, там будет просто огромное количество упоминаний ИИ за последнее время. Короче, на общество ChatGPT возымел серьезный эффект, и обществу нужно время, чтобы осознать, переварить, приспособиться, и выработать механизмы регулирования.
(правда, тогда не очень понятно, почему API к GPT-4 уже раздают и будут раздавать далее. Типа, повторить нашу модель нельзя, но пользоваться и решать экзамены можно?)
Но все же с этой тенденцией к "закрытому AI" у меня назревает беспокойство, которое и вылилось в раздражение в прошлом посте. Мысли тут такие:
то, что делает OpenAI — это уже явно не наука, не рисерч. И OpenAI тогда уж пора перестать называться open, а также сформулировать четкую политику: что открываем, что нет, откроем ли в будущем, как и кому. А также: с кем сотрудничаем, кому даем доступы, насколько это все прозрачно. Иначе подобные анонсы с закрытыми деталями ощущаются как хайп, желание заработать, или даже желание власти (у нас есть такая штука, и только у нас). Еще больше меня лично пугает то, что они писали про взаимодействие с government в своем стейтменте.
Вообще, на мой сегодняшний взгляд, монополия на обладание подобной технологией одной компанией или правительством страны не несет ничего хорошего. В таком случае последствия всецело зависят от взглядов и желаний узкого круга людей. И даже если сейчас эти взгляды направлены на сугубо благо, не факт, что это не изменится в будущем.
В связи с этим, кажется, что нужно развивать механизмы регулирования AI-штук в мире. Такие механизмы, которые бы обеспечили невозможность аккумулирования AI-мощностей в одних руках. Радует, что OpenAI писали об этом в своем недавнем стейтменте "Planning for AGI and beyond". Будем надеяться, что компания будет придерживаться этой идее и далее, и с ее помощью удастся такие механизмы создать.
А вообще, OpenAI — далеко не единственные, кто не дает доступов к своим моделям. Google, например, делает так же: к Imagen доступ так и не дали никому, даже в сугубо рисерч целях (я писала им на почту, мне сказали, что не дают никому вообще). С OpenAI больше бомбит просто из-за того, что изначально компания создавалась с целями делать открытый AI, что и отражено и в названии. Ну и, не давать ни доступы к модели, ни вообще какое-либо описание ее устройства — это качественно новый уровень закрытости. Обычно описание устройства дают, а саму модель — нет.
В целом, хорошо, что OpenAI хотя нам хотя бы сказали, что такая моделька у них есть. Если компании начнут создавать мощный AI и вообще об этом молчать, имхо, будет хуже.
Подытожу: мне лично от OpenAI хочется четкой и прозрачной политики, а также реальных движений в сторону создания механизма регулирования AI в мире.
Разрешите пожаловаться. Почему что-то крутое и интересное постоянно выходит, когда я в отпуске??😒😒
Читать полностью…