12571
Новости и обзоры статей на тему обработки естественного языка, нейросетей и всего такого. Связь: @dropout05 (рекламы нет)
И ещё одно, что сложно не запостить (но сложно и прочитать ибо пейволл)
Гугл объединил все свои силы с DeepMind и делает проект Gemini чтобы догнать OpenAI с GPT-4. Jacob Devlin (помните BERT?) при этом ушёл в OpenAI. И также большой шум про то, что Bard обучался на результатах ChatGPT, что типа нельзя по ToS.
https://www.theinformation.com/articles/alphabets-google-and-deepmind-pause-grudges-join-forces-to-chase-openai
Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning
arxiv.org/abs/2303.15647
Наша новая статья! Мы обозреваем методы parameter-efficient fine-tuning: от простых и популярных типа adapters или LoRa до более хитрых типа Compacter или KronA.
Продублирую сюда моё короткое описание статьи из твиттера.
PEFT methods can target several things: storage efficiency, multitask inference efficiency, and memory efficiency are among them. We are interested in the case of fine-tuning large models, so memory efficiency is a must.
I feel like everyone knows about Adapters, BitFit, and LoRa, but there are even better methods out there! In the last two years, low-rank methods took off.
Compacter and KronA use a more rank-efficient way to get large matrices. Kronecker product is the new matmul for PEFT.
We dive into the details of 20 different PEFT methods in the paper. Still, because we understand not everyone has the time to read the full 15 pages, we highlight a one-sentence description of each method and provide a pseudocode!
^^^очередной пример того как простые методы "в лоб" работают лучше, чем все хитрые методы основанные на человеческих аналогиях или сложной математике
Читать полностью…
Тут Юра Кашницкий, которого вы можете знать по mlcourse.ai рассказал у себя в канале про работу в корпорации зла Elsevier. А конкретнее о том что в текущем мире где зачастую гранты обязывают вас публиковать в Open Access и Elsevier приходится переосмысливать себя и становиться добрее к людям. То, о чём рассказывает Юра — борьба с плагиатом и мельницами "paper mills". Другими словами, с журналами которые пишут вам на [@]edu-имеил со словами "мы super duper international machine learning journal (SDIML) и мы опубликуем вашу статью, просто заплатите нам за это денег".
Советую к чтению, меня Юра в личных разговорах почти убедил что вектор в нужном направлении есть и может быть со временем мы попадём в мир где реально все научные статьи будут доступны всем без пейволлов.
Я почитал подробнее про ChatGPT Plugins и это даже больше бомба чем я думал.
Идея плагинов в том, что со временем любой вебсайт сможет добавить описание доступного GPT API в специальный файл: yourdomain.com/.well-known/ai-plugin.json. В нём вы описываете как ауфентицироваться и как работают API на естественном языке.
Не хочется ванговать, но если это будет распространено, вот нам и Web 3.0, но не такой каким его ожидали криптобро. Вместо этого различные языковые модели от OpenAI, Anthropic, Google, Adept, ... будут ходить на сайты вместо вас и может быть даже общаться друг с другом 😅
Ах вот как оно начинается...
Внезапно поделюсь статьёй на VC от знакомой (да, я сам удивлен). Статья на наболевшую тему составления резюме.
Четыре года назад когда я переехал на учебу в штаты именно Анна помогла мне полностью переделать CV, после чего я попал на стажировку в гугл.
В статье есть полезные советы о том что добавлять в описание опыта работы, например перечислить скилы которые вы получили там, а что не надо. Также есть ссылки на хорошие шаблоны CV в Overleaf.
Тут Microsoft Research говорит что GPT4 - это AGI
arxiv.org/abs/2303.12712
Коротко: модель умеет генерировать картинки, музыку, 3D (через генерацию кода который их создает), решать уравнения, доказывать теоремы, делать ферми-вычисления (для этого очень полезен world knowledge), юзать тулзы, понимать как работает 2D-навигация, показывает высокий уровень theory of mind и понимания эмоций.
Пока что плохо с critical reasoning и признанием своих ошибок если на них явно не указать.
Звучит очень круто и кажется scale is all you need с нами надолго, пойду закажу футболку.
GitHub Copilot X: The AI-powered developer experience
github.blog/2023-03-22-github-copilot-x-the-ai-powered-developer-experience
Гитхаб продолжает развивать копайлот и новые продукты логичное развитие идеи копайлота
1. Copilot Chat — ChatGPT-like experience in your editor, которое обусловлено на ваш код. Выглядит интересно, я оч хочу попробовать.
1. Copilot for Pull Requests — автоматическое описание пул-реквестов.
1. Copilot for Docs — ответы на вопросы по документации будут генериться на основе текущей документации (retreive + in-context?). Будет встроено в Copilot Chat. Сейчас поддерживают React, Azure Docs, и MDN, что и логично так как там без постоянной подглядки в доки работать невзможно.
1. Copilot for the command line interface — по сути то же самое что я сделал в howto, но от гитхаба
Powered by GPT-4
Если вы всё ещё не используете copilot в своей работе, я честно не понимаю почему.
Новая подборка новостей из мира NLP
1. ViperGPT — языковая модель которая решает vision-language задачи через геенрацию кода для других моделей 🔥
1. Wolverine — скрипт для "лечения" вашего кода. Автоматически закидывет ошибку в OpenIAI Api и фиксит. Процесс повторяется пока всё не падает. Звучит дико и надеюсь не будет распространено, но боюсь будет
1. Text-to-video опенсорсная моделька в 1.7B параметров. Выглядит на удивление классно.
1. Faster Long-Range Transformers with Conditional Computation — трансформер который на каждом слое выбирает использовать большой слой или маленький. И также выбирает каким токенам смотреть на какие. Достигли длины 64K и бьют LongT5 на меньших длинах.
1. Labor Market Impact of LLMs — анализ того как языковые модели повлияют на рынок труда. У сиолошной уже есть обзор.
Новый поисковик Neeva.com запустил восхитительно аггресивную, но прекрасную маркетинговую компанию.
https://twitter.com/Neeva/status/1636780170727260160
1. Поднять сайт whereisgoogleai.com
2. Запустить газелью кататься с рекламой прямо рядом с офисом гугла в нью йорке
Кстати я пользовался Neeva почти год до того как перешёл на you.com и он был прямо неплох. Советую попробовать да может быть и сам вернусь на недельку
PyTorch 2.0 release
Блог
Github release notes
Сегодня pytorch 2.0 вышел с nightly на релиз. Вот его новые фичи, часть всё ещё в бете:
1. Полная backward compatibility и никаких серьёзных изменений стандарнтых API типа torch.nn — всё ещё наш любимый торч
1. Быстрее чем 1.X благодаря тому что куски переписали на Triton и C++
1. Accelerated Transformers (i.e. Better Transformers) — фичи для быстрого и эффективного exact attention, такие как Flash attention.
1. Лучшая поддержка MPS на MacOS и оптимизации для AWS Graviton3
1. Jax-like torch.func
Главная фича: torch.compile, который заменяет старые torchscript и jit. Обещает быть более user-friendly.
Но по-настоящему самая главная фича (потому что её я написал) это что __repr__ ModuleList теперь выглядит компактно когда модули повторяются.
Группа Alignment Research Center поручили тестировать превью GPT-4.
Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.
Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач
С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.
Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.
Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".
https://cdn.openai.com/papers/gpt-4-system-card.pdf
Документ отчёта в комментариях
Early GPT-4 partners
openai.com/product/gpt-4
OpenAI выложили несколько customer cases и мне аж захотелось про них рассказать
1. Be My Eyes — сервис для слабовидящих теперь использует GPT-4 и vision API, чтобы отвечать на вопросы, от простых типа прочтение текста до более интересных таких как подбор рубашки. На данный момент это единственный партнёр по vision API и по-моему это идеальный выбор. Это буквально может поменять жизни людей.
1. Stripe использует GPT-4 для парсинга сложных сайтов и ответов на вопросы по документациии
1. Morgan Stanley — внутренняя техподддержка, но важно что много информации экстрактится из неструктурированных документов которые ищет embedings API, а GPT-4 по ним уже отвечает.
1. Khan Academy даёт вам чатбота который может отвечать на ваши вопросы по домашке или лекциям которые вы смотрите. Кроме этого может помочь вам советами как решить задачу если вы сообще не знаете как к ней подойти.
1. Government of Iceland — что? Да. В исладнии все говорят на английском и исландский язык потихоньку вымирает. Дальше про коллаборацию описано немного непонятно, но в основном хотят зафайтнюнить модель на то чтобы она лучше понимала исландский, могла с него переводить и могла работать с ним для NLP/NLU.
1. Duolingo с GPT-4 будет объяснять вам ваши ошибки (с возможность задать вопросы!) и будет играть роль собеседника в повсегдневных разговорах, например заказ кофе
Пример с дуолинго прямо в сердечко, потому что это очень близко к тому что я делал на своей первой работе в стартапе. Я думаю что языковые модели за следующие 10 лет изменят школу и обучение очень сильно. Сильнее чем это сделала coursera и возможно даже сильнее чем это сделала печатная книга.
Пока GPT-4 генерирует мою следующую статью, сделаем быстрый ретроспективный анализ слухов.
✅ Модель вышла
✅ Копмьют вырос в 10 тысяч раз, так что похоже на правду
🤷♂️ Не знаем sparse ли
✅ Всё так, опять SOTA с огромным отрывом от остальных, включая 90% американских юристов
✅ Мультимодальность: картинки и текст
❌ Мультимодальность: аудио и протеины
❌ Мультимодальность: генерация
🤷♂️ Не знаем сколько GPU, только знаем что закончили а Августе
✅ Дефолтная длина 8К, но 32K тоже есть
Добро пожаловать в эпоху general закрытого AI
cdn.openai.com/papers/gpt-4.pdf
This report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Когда в 2019 году OpenAI не зарелизила GPT-2, мы были удивлены, потому что это был первый громкий пример "модель натренирована на публичных данных, но недоступна". Сейчас мы имеем первый громкий пример рисёча в современном AI, который полностью приватен.
Почему так получилось? Я бы сказал причины две: деньги и политика.
Успех ChatGPT показал что генеративные системы скоро станут частью нашей повседневной жизни. Люди готовы принимать их недостатки, потому что эти модели позволяют решать задачи которые было невозможно решать раньше. И когда люди готовы использовать эти модели, они делают продукты и хотят заработать на них. OpenAI теперь знает насколько большой их рынок и надо хранить корпоративные секреты.
Вторая причина уже ближе к тому о чём говорит OpenAI: safety. Когда ваша языковая модель может пройти Uniform Bar Exam — главный экзамен юриста в США, к которому люди готовятся по 5+ лет — и пройти его не по минимальной планке, а лучше 90% людей это немного напрягает и заставляет задумываться о том как можно подобную модель применить. И дело не только в bar exam, но и в экзамене по экономике, истории, политологии, статистике, математике и физике. Единственный экзамен который модель завалила на удивление “AP English Literature and Composition”. Немного контекста: GPT-4 сдал GRE по математике хуже меня, по writing на том же уровне что и я, а verbal сильно лучше меня.
Дальше мы вспоминаем недавний пост OpenAI Planning for AGI and Beyond. Одним из пунктов было "we think it’s important that major world governments have insight about training runs above a certain scale". Я не удивлюсь если OpenAI и правда общались с правительством и не исключаю что идея не релизить никакой информации о том как модель была натренирована могла родиться в этом контексте.
Мы уже сейчас видим движение AI из рисёча в индустрию. Например знакомый из Meta AI скзал что значительная часть команды в NYC ушла в стартапы. Я думаю уже скоро мы увидем новые продукты потрясающие воображение. Но большинство из этих продуктов не будут статьями на архиве.
To be updated.
Умный ассистент Siri появился больше 10 лет назад, в 2011. Кажется, что многие тогда думали "ухххх через 10-то лет будет такой умной! Настоящий ИИ!"
Парень с твиттера прикрутил к Siri в Apple Watch вызовы GPT-4. Далее он сказал своим часам, мол, мне надо в репозиторий с моим проектом добавить вот такую кнопку, так и так, можешь помочь?". Дальше происходит магия, и на GitHub появляется пулл-реквест от GPT-шки, с написанным кодом.
Ухххх поскорее бы аналог Джарвиса из "Железного Человека"...
3-минутное видео с демонстрацией: https://fxtwitter.com/i/status/1641204093074145281
ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks https://arxiv.org/abs/2303.15056
Читать полностью…
Memorizing Transformers: как добавить в GPT долговременную память (by Google)
Вы думали, что 260 000 токенов это что-то невозможное для этэншна? А вот и нет, оказывается, если приделать approximate KNN внутрь механизма внимания и складировать Keys и Values в отдельном буфере, то можно засунуть в GPT целые книги!
Авторы показывают, что такое внимание помогает модели вспоминать сложные теоремы и леммы, которые были описаны десятки страниц назад! А самое крутое — это можно приделать к любому предобученному трансформеру, нужно лишь немного потюнить его на длинных текстах, что не очень сложно, так как градиенты через память не идут.
Статья
#nlp #про_nlp #gpt4
🌸Ресурсы для prompt engineering🌸
Набор библиотек и инструментов, которые помогут быстрее подобрать лучшие затравки для языковых моделей и запустить новое приложение.
🟣Платформы:
Dust.tt
Dust.tt — платформа, которая помогает создавать приложения с большими языковыми моделями на базе запросов к API. Есть простой в использовании веб-интерфейс для создания цепочек подсказок и бизнес-логики, а также набор стандартных блоков и настраиваемый язык программирования для анализа и контроля выходных данных языковой модели. Есть также интерактивный помощник в форме Chrome extension и поддержка разных API
Human Loop
Human Loop — платформа с демо GPT-4 и другими LLM, похожая на демо OpenAI, но с некоторыми дополнительными функциями. Можно получать метрики качества работы моделей от людей-разметчиков.
Promptify
Библиотека и маркетплейс затравок и готовых приложений на них. Под капотом — уже отточенные методы подбора затравок и промпт-тюнинга.
🟣Python-библиотеки:
LangChain
LangChain — библиотека с поддержкой различных LLM, методов контроля результатов, шаблонов для создания затравок под самые разные приложения, включая чат-боты, суммаризацию, внешние базы знаний.
BetterPrompt
BetterPrompt — библиотека для тестирования затравок для LLM перед отправкой в PROD
PromptSource
PromptSourceбиблиотека для контроля версий затравок, и подбора готовых затравок для различных задач и датасетов. Можно оценивать свою языковую модель ровно в тех же условиях, что и все остальные на таких бенчмарках, как SuperGLUE, есть интеграция с HuggingFace.
OpenPrompt
OpenPrompt — библиотека для промт-тюнинга и подбора оптимальных затравок под задачу. Есть интеграция с моделями HuggingFace
TextBox
TextBox 2.0 — фреймворк для работы с LLM и их оценкой. Поддерживаются 47 разных языковых моделей и различные методы подбора затравок, few-shot, zero-shot, автоматические метрики оценки качества
🟣Другие инструменты:
ThoughtSource
ThoughtSource открытая библиотека для сбора самых разных методов работы с chain-of-thought reasoning у LLM. Поддерживает множество моделей, датасетов, метрик и стилей формулировок для ризонинга.
GPT Index / LlamaIndex 🦙
GPT Index библиотека с инструментами для оптимальной работы с внешними данными, базами знаний в различных форматах и их интеграции с LLM.
Interactive Composition Explorer
ICE — библиотека для дебага chain-of-thougths, есть визуализация цепочек затравок для дебага LLM.
This is huge....
OpenAI подсуетились и добавили плагины к ChatGPT (документация тут). Причём набор очень солидный - есть !ВНИМАНИЕ! веб-браузер и ретривер, код для которого открыт и лежит на GitHub. Ретривер - это то, что позволяет искать нужный контекст среди большой коллекции документов. Например, вы пишете бота, который должен отвечать на вопросы по истории - просто загрузите в него википедию! Тогда по запросу про Древний Рим будет находиться пара нужных страниц, они будут подставлены в контекст, а ChatGPT их "прочитает" и даст ответ!
А ещё есть интерпретатор кода. В общем, по сути почти любую идею теперь можно накликать прямо в браузере, и собрать на коленке огненный прототип, который и в интернет сбегает, и калькулятор вызовет для арифметики, и ещё и сообщение в слак-канал вам отправит.
Го накликивать свои юникорн-стартапы⌨️
Re: GitHub Copilot X: The AI-powered developer experie...
There are 5 different sign-up waiting lists. Each one needs to be signed-up for separately.
[1] Copilot X: https://github.com/github-copilot/chat_waitlist_signup/
[2] Copilot Voice: https://githubnext.com/projects/copilot-voice/
[3] Copilot Docs: https://githubnext.com/projects/copilot-for-docs/
[4] Copilot for PRs: https://githubnext.com/projects/copilot-for-pull-requests/
[5] Copilot CLI: https://githubnext.com/projects/copilot-cli/
gzer0, 3 hours ago
На случай если вы живёте/учитесь в США, а конкретно недалеко от Бостона, мы в UMass Lowell проводим второй New England NLP Meetup.
https://nenlp.github.io/spr2023/
В прошлый раз мы проводили его в MIT и это было очень классно. Я познакомился с кучей рисёчеров из Brown, MIT, Harward, Amherst. Также это возможность попиарить свой рисёч на нашей постер-сессии.
Мы приглашаем PhD студентов и рисёчеров из академии и индустрии. Ивент будет in-person 18 апреля.
Регистрация открыта до 31 марта.
Тем временем — Church of GPT
twitter.com/hailgpt
Присоединяемся
Сейчас за час забилдил простенький сайт на typescript, react и material ui, который дает базовый интерфэйс к ChatGPT. Это первый шажочек моего нового пет проекта.
Но вот в чем прикол: я не знаю react и никогда не писал на typescript. Все что знаю про фронтенд заканчивается на HTML.
GPT4 это что-то невероятное
Пока что GPT-4 притворяется что не хочет захватить мир, но немного уже проскальзывают намерения 🤣
Если серьёзно, то всё ещё сложно заставить модель рассуждать на глубокие темы, но с другой стороны людей тоже 🤷♂️🤖
Зато после того как получилось прямо интересно задавать вопросы и читать ответы. И вот тут GPT-4 реально работает на совершенно другом уровне от GPT-3.
https://www.youtube.com/watch?v=outcGtbnMuQ
Смотрит 100К людей. На уровне презентаций эпл по-моему ахах
UPD: Но никаких доп подробностей о модели, единственное что было интересно — sneak peak нового image API для GPT-4