Техножрица 👩‍💻👩‍🏫👩‍🔧

19 November 2024 18:59

Я смотрю, предыдущий пост вызвал знатную канонаду, надо вас немного подуспокоить. 😌

Взрыв в гифке из поста толсто намекает на то, что высказывание сделано в провокационной форме, так сказать, являясь реализацией тропа "педаль в пол". Если же говорить чуть менее провокационно и чуть более серьезно - очевидно, я не считаю, что кто-то недостоин жизни из-за того, что имеет другие жизненные цели и принципы или просто неспособен к познанию - например, котики (рис. 1). 😼 Говоря про жизнь "недостойную быть прожитой", я говорю не про чужую, а про свою жизнь и в такой форме рассказываю про то, что лично мне в ней больше всего важно. Хотя я, конечно, была бы рада найти больше единомышленников с аналогичными ценностями. ❤️

Подводя итог: геноцида тех подписчиков, которые не занимаются ресерчем, не будет ⌨️

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 November 2024 11:45

Редактирую тут свою будущую книшку по грубой геометрии и наткнулся на забавный фан факт: в этом году исполнилось 100 лет довольно известной работе П.С. Александрова в которой тот ввёл понятие одноточечной компактификции.

Удивительно, сколько с тех пор изменилось. Та статья была написана по-немецки, да и главный академический язык тогда был именно немецкий. А всего через 20 лет "что-то случится" и главным, абсолютно доминирующий языком станет английский. И только разные "довоенные" старпёры будут продолжать публиковаться на немецком (Халин, например, одну из очень хороших своих теорем в Math Annalen опубликует в 1964 г. на немецком).

Бережно передаваемые из рук в руки учебники, по которым учились целые поколения математиков тоже изменятся. Сначала они "переедут" в цифру и станут общедоступными, а потом вдруг начнут появляться "конспекты лекций" в arxiv.org, всякие презентации, записи на youtube.. И вот сейчас, 100 лет спустя я нахожу оптимальное изложение компактификации в nlab. И вот идея открыть какой-нибудь "классический" учебник типа Ван дер Вардена мне даже в голову не приходит.

И с преподаванием тоже случилась забавная вещь. Фактически, все доказательства не просто где-нибудь написаны, но даже и без труда (обычно) находятся. Только откуда юному математику (или другому специалису) понять что же ему читать и учить? Вроде туман рассеялся, но слушатель всё равно находится в тёмном лесу, где решительно не ясно куда идти.

Так что нонче лекторы это типа Вергилия, который показывает некий путь (кстати, лишь один из множества возможных), а не единственный и неповторимый источник знания. Лично я, работая с осмысленной публикой, совершенно спокойно пропускаю многие детали (давая, конечно, ссылку на источники) стараясь сосредоточиться на основных идеях и мотивировках.

Получается, что у лекций появляется дополнительное измерение: доп.материалы которые рекомендуются к изучению: и теперь это в основном статьи, заметки, тексты в nlab и подобных википодобных ресурсах, обсуждения на stackexchage, даже (иногда) личные блоги (типа блога Тао).

Не вдаваясь в детали личности Павла Сергеевича (а было там непросто), с некоторой гордостью отмечу, что он мой научный "дед" (т.е. научный руководитель моего научного руководителя). Не знаю что бы он сказал глядя на современные академические и методические реалии. Но, предположу, что многое его бы удивило, и многое заинтересовало.

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 November 2024 11:08

😮 В комментарии к постам про статью "evil twins" пришли настоящие evil twins 😮

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 November 2024 11:03

Шок! Ученые доказали, что у промптов к LLMкам есть злые двойники! Подробнее читать в источнике: https://aclanthology.org/2024.emnlp-main.4/ 😈

Если точнее, авторы статьи "Prompts have evil twins" с EMNLP-2024 по ссылке выше задаются следующим вопросом. Допустим, у нас есть промпт P, в ответ на который модель выдает некоторую генерацию G. А на какие еще промпты можно получить от модели ту же самую G? И насколько сильно эти альтернативные промпты могут отличаться от оригинального промпта P?

Чтобы ответить на этот вопрос, авторы берут получившуюся генерацию и по ней итеративно находят тот промпт, с помощью которого её можно получить. Алгоритм его нахождения содержит много технических деталей, поэтому, если они вам не интересны, то можно сразу перейти к следующему посту - с результатами. Ну а если интересны, то вот как я его поняла (в самой статье он описан очень коротко, так что многое пришлось достраивать в голове):

В качестве начального промпта-кандидата (нулевого приближения) берутся случайно выбранные токены - столько же, сколько содержалось в оригинальном промпте P. Далее авторы подают этот промпт-кандидат на вход LLMке и получают генерацию G' - скорее всего, мусорную (в конце концов, мы приблизили наш промпт случайными токенами). Однако, нас это не пугает - на каждом шаге генерации мы оцениваем, насколько получившийся результат отличается от нужной нам генерации G, вычисляя KL-дивергенцию в качестве функции ошибки. Далее, раз у нас есть функция ошибки, значит, от неё можно и градиент посчитать по всем параметрам модели - в том числе, по весам её входного слоя.

При обычном обучении - то есть, оптимизации параметров самой модели, мы бы, конечно, использовали градиент для изменения её весов, но в данной ситуации мы оптимизируем не саму модель, а промпт. Поэтому вместо оптимизации весов, на каждом шаге генерации мы смотрим, на весах каких токенов градиенты получились самые большие, и отбираем эти токены как кандидаты на соответствующую позицию в промпте.

Понабрав таким образом токенов-кандидатов для каждой позиции промпта, мы строим несколько новых промптов, случайно семплируя один из токенов-кандидатов на каждую позицию. Далее, из этих новых альтернативных промптов выбирается один лучший (по KL-дивергенции), который считается уже не нулевым, а первым приближением. Ну а затем, все перечисленные вычисления происходят заново, и так несколько десятков раз.

Фух! Теперь, наконец-то смотрим, что получилось!

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

15 November 2024 18:25

https://youtu.be/JHIxyGgSU90?si=IMQjgIf8-_Q14Rzn

Официальная новогодняя AI реклама от Coca-Cola этого года. Без сахара. Без затрат на реальные съёмки. Без кожаных мешков.
Для сравнения - версия 96 года из моего детства: https://youtu.be/b6liVLkW-U8?si=7r0ChK_bEuYL3uIa . 😔

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 November 2024 14:05

Тем временем, выложили текущую статистику с распределением оценок по статьям, которые в данный момент проходят ревью на конференцию ICLR 2025:

https://papercopilot.com/statistics/iclr-statistics/iclr-2025-statistics/

(Там есть и обобщенная статистика по предыдущим годам). Как говорится, ищите себя на графике!

P.S. #академический_ликбез : ICLR (International Conference on Learning Representations) - одна из топовых ML-конференций, статьи на которую проходят рецензирование в несколько этапов. На первом этапе каждой статье (в анонимизированной форме) назначаются несколько анонимных ревьюеров, которые ее читают и независимо (в идеале) выставляют оценки от 1 до 10 в соответствии тем, насколько данная научная работа кажется им корректной, качественной и подходящей по теме. После этого начинается фаза срача rebuttal, на которой можно оспорить оценку каждого ревьюера, показать им дополнительные эксперименты и аргументацию, а также сделать правки в текст статьи, после которых они могут повысить (или понизить 🤡) свои оценки. На финальном этапе мета-ревьюер, по совокупности оценок и результатов обсуждения вынесет вердикт - брать статью на конфу или нет.

Ладно, пойду дальше продумывать срач научную дискуссию 😀 с ревьюерами, а то что-то оценки какие-то низкие поставили, посмотрите на них! 😀

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 November 2024 18:51

Решила собрать для новых подписчиков горстку избранных старых мемов с канала, которые вы не видели.

#ML_в_мемах

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 November 2024 10:22

По просьбе читателя, расскажу в общих чертах, как может выглядеть мой типичный день при разных обстоятельствах. Сразу предупрежу, что текст не обладает общностью - очевидно, что в других компаниях и даже командах день ресерчера будет выглядеть по-другому.

Итак, я могу очень условно выделить примерно четыре режима работы, в которых могу находиться:
1. "Свободное плавание";
2. "Работа над гипотезой";
3. "Последняя неделя-две перед дедлайном на конференцию";
4. Особые события.

1. "Свободное плавание": в этом режиме мой день выглядит более-менее расслабленно. Я размышляю над проблемой, которую мне дала тимлид или руководитель от академии, либо выбираю тему самостоятельно - где-то недалеко от интересов остальной команды. Например, недавно мне (и ближайшим коллегам) давали на рассмотрение тему того, как изучение внутренности трансформера может помочь в задачах детекции галлюцинаций и MCQA. А в последнее время, после отправки препринта про MCQA на ревью, я рассматриваю тему "какие свойства текста отражает внутренняя размерность", уже по своей инициативе. "Размышление", разумеется, не означает пассивное сидение на стуле и смотрение в стенку. Оно означает: а) чтение статей по теме; б) обсуждения темы на созвонах (2-3 раза в неделю); в) изучение полезных инструментов; г) постановку экспериментов, которые помогают протестировать мелкие гипотезы, которые появляются по ходу дела или просто лучше понять задачу. При этом я могу попросить коллегу сделать какой-нибудь эксперимент, но чаще делаю их самостоятельно. Вот так, в чередованиях этих активностей, и проходит мой день. В какой-то день я могу почитать больше статей, а в какой-то - больше поэкспериментировать, бывает по-разному.
2. "Работа над гипотезой": происходит после того, как какая-то достойная внимания гипотеза получает первые подтверждения. Подтвердиться может не обязательно моя гипотеза, но и гипотеза других коллег - в этом случае я подключаюсь к тому, что делали они или начинаю делать что-то около этого. В этом режиме я (и/или коллеги по моей просьбе) ставлю эксперименты именно по той гипотезе, которая подтвердилась и развиваю именно её. Здесь уже с большой вероятностью имеет место совместная работа. Конечно, созвоны с обсуждениями тоже продолжаются, но основная часть моего дня занята экспериментами по конкретной теме. Чтение статей или изучение новых инструментов отходит на второй план.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 November 2024 11:18

Увидела результаты подробного опроса около 300 специалистов, работа которых связана с машинным обучением - https://devcrowd.ru/ds24/community_2/
Было очень приятно, что довольно большой процент респондентов отметили мой паблик как один из источников информации по теме (рис. 1), спасибо вам. ❤️
Еще интересно, что почти половина опрошенных хочет подтянуть свои знания в математике (рис. 2). Надо будет подумать, о каких ещё полезных источниках на эту тему я могу у себя рассказать 🤔

Техножрица 👩‍💻👩‍🏫👩‍🔧

07 November 2024 21:14

Так, господа новые подписчики и дамы новые подписчицы. 🤨

Из-за обилия новых людей в паблике у меня слетела одна из реакций. Необходимо исправить эту ситуацию, поставив бусты:
/channel/boost/tech_priestess

Если не поставите, уберу клоунов и какашки из реакций! 😼😼😼

Техножрица 👩‍💻👩‍🏫👩‍🔧

06 November 2024 18:43

Сегодня по программе решаем лингвистические задачки из "Кванта" и радуемся моему маникюру 💅

#книги

Техножрица 👩‍💻👩‍🏫👩‍🔧

05 November 2024 09:22

Сатана в принципе много чего хорошего делает

Техножрица 👩‍💻👩‍🏫👩‍🔧

03 November 2024 09:47

Оказалось, что на тех валидационных доменах, на которых я отбирала координаты, у меня пересекались validation (собственно то маленькое подмножество домена, на котором отбирались координаты для удаления) и test (подмножество домена, с которого результаты шли в таблицы). 🤡
Я обнаружила это буквально перед самым дедлайном подачи camera-ready версии, когда уже физически не успевала пересчитать все правильно... 🥲 Поэтому мне было очень больно и стыдно, и я не знала, что делать... 😢
В итоге договорились с коллегами добавить пересчитанные результаты в постер, презу и на гитхаб: https://github.com/SilverSolver/RobustATD/edit/main/README.md

К счастью, основного результата статьи новые результаты не отменяют, но конечно, конкретные цифры в таблицах изменились.

Пересчитывать это все было очень тяжело, в первую очередь морально. Признавать ошибки, тем более, такие тупые и непрофессональные, вообще тяжело всегда.

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

31 October 2024 19:23

Ставь класс, если на Хэллоуин надел костюм n-скелетона CW-комплекса. Посмотрим, сколько нас!

Техножрица 👩‍💻👩‍🏫👩‍🔧

31 October 2024 17:54

Мы с коллегами выложили препринт по новому исследованию почти месяц назад, а я всё никак не соберусь написать про него в паблик...
Пора заканчивать это безобразие!!! 😡

Итак, работа называется Listening to the Wise Few: Select-and-Copy Attention Heads for Multiple-Choice QA: https://arxiv.org/abs/2410.02343 .

В ней мы анализируем механизмы, с помощью которых LLM-ки решают задачу Multi-Choice Question Answering (MCQA). Напомню, что в этой постановке модели на вход подают вопрос с несколькими возможными вариантами ответа, которые обычно помечены как A, B, C, D, и спрашивают, какой вариант правильный. Для этого в конце промпта обычно просто пишут "Answer:" и смотрят, какие модель предскажет вероятности на токены, соответствующие буквам A, B, C и D. Та опция, для которой вероятность токена больше других, и считается ответом модели (на практике на самом деле сравнивают даже не сами вероятности, а логиты, потому что так удобнее). Самый известный пример датасета, сделанного в такой манере - MMLU (Massive Multitask Language Understanding), результат по которому традиционно репортят в технических отчетах, сопровождающих новые LLMки.

Мы подтвердили результаты предыдущих исследований, в которых говорилось, что наибольшую роль в решении таких задачек играют средние multi-head attention слои модели и нашли конкретные головы внимания в LLAMA-1-2-3, -chat и -base, которые за это отвечают. И что еще более интересно, оказалось, что если на этих головах посчитать dot-product-ы от векторов query и key, соответствующих символу переноса строки в конце каждой опции, а потом посмотреть, какой dot-product больше и выдать соответствующую опцию в качестве ответа, то результат будет лучше, чем если оценивать ответ модели на MCQA обычным способом. Этот новый способ мы назвали "Query-Key Score" (см. рис.1).

Сейчас внимательный читатель может воскликнуть: так вы же просто посчитали attention score на каждый токен переноса строки после опции! Это почти так, но не совсем, потому что при этом результат НЕ умножается на Rotary Positional Embeddings (RoPE), которые используются при вычислении attention в LLaMA'х (по поводу того, как это работает, рекомендую прочитать оригинальную статью "RoFormer: Enhanced Transformer with Rotary Position Embedding"). Впрочем, обычные attention scorы мы в статье тоже рассмотрели.

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

19 November 2024 08:43

Жизнь без стремления к познанию и поиску истины недостойна быть прожитой.

Мнения?

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 November 2024 18:46

В этот раз видос НЕ про математику, а про...

https://youtu.be/93FAYUBHDPk

...звуки ада!!! 😀

Люблю смотреть подобные расследования происхождения разнообразных городских легенд и крипи-контента. Очень интересно наблюдать за тем, как какая-то байка возникает и по каким причудливым траекториям потом распространяется в информационном пространстве, частенько ещё и трансформируясь по дороге во что-нибудь совершенно невероятное. 😀

А у вас есть любимые ролики на похожие темы? 😀

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 November 2024 11:04

На рис. 1 (сокращенная версия Figure 1 из статьи) изображены примеры исходных промптов (подчеркнуты зеленым) и их восстановленных версий - a.k.a. "злых двойников" - полученных с помощью алгоритма, описанного выше (подчеркнуты красным). Кроме этого, авторы попробовали и другой способ восстановления промптов по заданной генерации G: они подавали G на вход GPT-4 и спрашивали её, по какому промпту можно было её получить. Промпты, полученные этим способом, на рис. 1 подчеркнуты желтым. Впрочем, по оценке по KL-дивергенции результаты этих промптов оказались намного меньше похожи на G, чем результаты промптов, полученных с помощью алгоритма авторов.

Тут у читателя может возникнуть вопрос: а почему промпт, восстановленные по алгоритму, называются "злыми двойниками"? Что же в них такого плохого? А плохо то, что они не являются человеко-читаемыми. Факт того, что LLMка, как ни в чем ни бывало, отвечает что-то осмысленное на подобную кашицу из символов, является контринтуитивным и в очередной раз показывает, что мы все еще очень плохо понимаем, как LLMки обрабатывают информацию.

Далее может возникнуть ещё один вопрос: а на какой именно LLMке все это тестировалось? Может быть, не все из них подвержены этому эффекту? А ответ такой: изначально промпты подбирались на Vicuna-7b-1.5, Phi-2, Mistral, Gemma. Затем оказалось, что подобранные на Vicuna промпты-двойники вдобавок ещё и частично переносятся на другие LLMки, в том числе на проприетарные - Claude 3, GPT-4, Gemini и многие другие. То есть, эффект не просто распространяется на широкий ряд LLM, но ещё и до некоторой степени переносится между ними! В ряде случаев (хоть и не всегда) большие LLMки также реагировали на полученную с помощью Викуньи словесную кашицу P' так, словно бы это был изначальный нормальный промпт P (см. рис. 2).

В самой статье есть еще несколько наблюдений насчет этих "злых двойников", а еще очень много примеров, так что, если кто заинтересовался моим изложением, предлагаю открыть статью и почитать подробнее. Еще можно почитать про псевдопромпты и в целом промп-тюнинг - /channel/tech_priestess/131 - старую технику, близкую по духу к теме поста.

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

16 November 2024 10:15

Мое лицо, когда chatGPT отказался отвечать на очередной идиотский вопрос

Техножрица 👩‍💻👩‍🏫👩‍🔧

14 November 2024 10:11

В комментариях к предыдущему посту интересовались статьей, скриншот которой показан на меме. Чтобы составить представление о том, о чем речь в статье, можно посмотреть научно-популярный ролик про гипотезу Коллатца (в этот раз даже в переводе на русский):

https://youtu.be/QgzBDZwanWA

Рассказ конкретно про вклад Тао в исследование этой гипотезы дан ближе к концу ролика. Сама статья есть на архиве: https://arxiv.org/abs/1909.03562 , но без солидного бэкграунда в области, боюсь, в ней глубоко разобраться не получится. 😵‍💫

#математика

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 November 2024 17:19

Хочу, чтобы Дуров ввел систему 🤡-компьюта. Работать она будет так:

Каждый раз, когда подписчик ставит "🤡" на пост в телеграмм-канале, его устройство автоматически на час подключается к ботнету, который админ канала может использовать для своих расчетов. Например, это могут быть какие-нибудь эксперименты с мелкими ллмками. Потом, если админ эти эксперименты добавит в свою статью, то должен будет добавить * со значком 🤡 в сноске, как упоминание о том, откуда взят компьют, так сказатб, для воспроизводимости.

А если админ не придумает никаких расчетов для запуска, то запустится расчет по умолчанию. Этот расчет будет майнить за счёт компьюта подписчика новую валюту: 🤡-коины.

Давайте попросим вместе: Дуров, сделай 🤡-компьют!

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 November 2024 10:23

3. "Последняя неделя-две перед дедлайном": Тут начинается "затыкание дырок". То есть, в каждый момент времени, я смотрю, какая часть работы, наиболее критична и стараюсь сконцентрироваться на ней - если работа находится в рамках моих компетенций; если нет - то я, конечно, ее делегирую. Например, у младшего коллеги могут возникнуть какие-то технические проблемы, которые мешают ему работать, и в этом случае надо срочно их решить (либо передать на решение IT отделу, если не могу решить сама), потому что терять время перед дедлайном нельзя. Или на созвоне обнаружилось, что нужен какой-то дополнительный эксперимент, а все остальные коллеги уже заняты - тогда я его делаю, если могу за разумное время. Если нет, то эксперимент передается коллеге, который может сделать его быстрее, а я доделываю то, что он делал раньше - как бы меняемся задачами. Также может потребоваться напоминать коллегам о том, что нужно сделать, посмотреть, не нужен ли дополнительный созвон, договориться о сроках, в которые будет выполнена каждая часть работы и так далее (это отчасти тимлид, отчасти я, в зависимости от ситуации). И это не говоря о само собой разумеющихся вещах, таких как: поработать над теми частями текста статьи, которые я на себя взяла; проверить адекватность своего и чужого текста; привести в порядок код, который будет выложен при подаче препринта и т.д. и т.п. Короче, в этом режиме я часто переключаюсь между текстом статьи, экспериментом и какой-то организационной деятельностью и испытываю стресс.
4. Особые события - это поездка на конференцию / в командировку / на воркшоп / занятие инженерными вещами, которые нужны компании, типа очистки данных / рецензирование статей. Ясно, что в этих случаях я занимаюсь соответствующими активностями.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 November 2024 08:04

Шикарная ситуация: авторы стебанулись над рецензентами, которые заставляли их что-то ненужное (но может быть зато свое, родное) цитировать, и прямо написали об этом в тексте статьи.

Редактор все это дело пустил «в работу» и вот, статья, с таким красивым абзацем в конце введения, уже в печати 🥳

Одним словом авторы - капитальные красавчики. Другими словами - титановые шары у этих авторов 😁

Причем журнал вполне приличный (IF 8.1). Кризис научных журналов продолжается, в общем. Кстати, в том же MDPI, к рекомендациям типа «милок, ты вот эту пачку статей еще процитируй и все будет норм», относятя более чем строго. Своего вообще ничего нельзя советовать, а насчет чужих работ тоже еще десят раз уточнят, точно ли это нужно.

PS. Ссылка на саму статью авторов c Balls of Steel из Поднебесной тут.

Техножрица 👩‍💻👩‍🏫👩‍🔧

08 November 2024 14:51

Почему все с таким интересом обсуждают новый интерфейс для чатгпт в виде крысы? 🤔

Техножрица 👩‍💻👩‍🏫👩‍🔧

07 November 2024 17:06

Сегодня праздник - день рождения Марии Кюри. Предлагаю в честь этого посмотреть короткий видос с обзором её диссертации, в которой рассказывалось про изучение явления радиоактивности и выделении нового элемента - Радия:
https://youtu.be/-Vynhniw7SY .

А тем, кому интересно почитать про её жизнь, рекомендую книжку, изображенную на рис. 1, мне очень понравилась. В ней и фотографий исторических много (рис. 2), и отрывков из её писем и дневников, и много чего ещё, что позволяет окунуться в атмосферу её жизни, а также жизни её ближайшего окружения.

Например, рассказывалось, как Пьер Кюри поддерживал её во всех её исследованиях, делал для неё измерительные приборы и вместе с ней проводил эксперименты по выделению радия. Короче, единственный нормальный муж. Жалко, что так рано умер. 😢
Было ещё очень грустно читать, что даже после смерти Пьера, Мария продолжала писать в дневнике про события своей жизни, обращаясь к нему, даже зная, что он никогда не прочитает эти строки... 😢

Техножрица 👩‍💻👩‍🏫👩‍🔧

05 November 2024 10:03

Подборка каналов об искусственном интеллекте и машинном обучении от издания «Системный Блокъ»

Data Science, машинное обучение, искусственный интеллект — cегодня о них пишет каждый. Но как найти тех, кто действительно разбирается? «Системный Блокъ» собрал каналы экспертов в сфере ИИ, DS и ML

— @ai_newz — эйай ньюз
Модели для будущих робо-гуманоидов от Nvidia, знакомство с основателями стартапа Mistral, трюки в промптинге языковых моделей и списки книг для изучения машинного обучения — в канале найдете новости из сферы ИИ и советы по входу в неё. Автор канала Артём получил PhD в лаборатории университета Гейдельберга, где сделали Stable Diffusion, работает Staff Research Scientist в команде LLaMA в одной из крупнейших IT-компаний мира и пишет о своем опыте

— @seeallochnaya — Сиолошная
Понятные разборы исследований по нейросетям, охватывающие темы от воздействия на образование до разборов внутренностей LLM. Обзоры новостей, которые влияют на будущее индустрии ИИ: от экономических аспектов до ядерной энергетики для подпитки датацентров. Канал ведёт Игорь Котенков — руководитель ИИ-отдела в международной компании; в прошлом занимался машинным обучением в AliBaba, Яндексе и X5 Retail; автор множества популярных статей-разборов и лекций, подходящих любой аудитории

— @gonzo_ML — gonzo-обзоры ML статей
Интересны обзоры специализированных статей об искусственном интеллекте и машинном обучении, анонсы и анализ больших языковых моделей? Этот проект — для вас! Среди последних публикаций: отражение малых языков в больших языковых моделях и системах машинного перевода, лекции о проблемах сознания и тезисы отчета о состоянии сферы ИИ. Канал ведут CTO Intento Григорий Сапунов, ex-руководитель разработки Яндекс-Новостей, и Алексей Тихонов, ex-аналитик в Яндексе, автор Яндекс-автопоэта и Нейронной обороны

— @boris_again — Борис опять
Здесь вы найдете материалы об IT и программировании, поиске работы в Machine Learning’е, обзоры исследований в области ИИ. Автор работает в eBay, преподает машинное обучение, делится профессиональным и личным, шутит и философствует. Например, рассказывает, как развивать самоконтроль, берет интервью у коллег о карьере в технологическом секторе и делает подборки русскоязычных LLM

— @rybolos_channel — Kali Novskaya
Применение языковых моделей в науке, история GPT в стиле Хармса, подборки курсов по NLP, а также анализ угроз открытым данным, на которых обучаются языковые модели. Канал ведет Татьяна Шаврина — лингвист, менеджер исследовательской команды в LLAMA, большая сторонница опенсорса и открытых данных. Она рассказывает о современных LLM и NLP-исследованиях, важности открытых технологий, этике искусственного интеллекта и сложных вопросах интеллектуальной собственности

— @tech_priestess — Техножрица
Канал для тех, кому интересны математика, разработка и исследования машинного обучения. Создательница проекта работает старшим академическим консультантом в Huawei и рассказывает об исследованиях, в которых участвует (например, о границе между текстами, написанными человеком и ИИ), пишет о трансформерах, NLP, анализе данных и глубоком обучении

— @dealerAI — DealerAI
Как связать дообучение на основе фидбэка от людей с дообучением на ИИ-фидбэке? Чем можно улучшить RAG? Какие маленькие модели выигрывают у больших аналогов? Автор канала Александр Абрамов — создатель языковых моделей, победитель соревнований в Kaggle и хакатонов по Data Science, а также тимлид нескольких ML-команд, которые решают задачи обработки естественного языка и интегрируют LLM в прикладные проекты. В канале есть посты обо всем, что связано с DS, NLP и машинным обучением: например, о новых LLM и галлюцинациях нейросетей

— @sysblok — Системный Блокъ
Как ИИ помогает читать древние тексты? Почему лингвисты проиграли последнюю битву за NLP? Как связаны машинное обучение и японская уличная мода? «Системный Блокъ», основанный выходцами из RND отдела ABBYY, рассказывает о том, как трансформируется культура в век больших данных — что происходит на стыке IT, гуманитарных наук и Data Science или как ML применяют в естественных и гуманитарных науках

Техножрица 👩‍💻👩‍🏫👩‍🔧

03 November 2024 12:10

Ребят, ну поставьте классов на посты, где я рассказываю про научные статьи, я же старалась...

UPD: А то вы только на мемы ставите в последнее время. 🤡

Техножрица 👩‍💻👩‍🏫👩‍🔧

03 November 2024 09:45

Теперь надо рассказать про еще одну статью от нас с коллегами под названием "Robust AI-Generated Text Detection by Restricted Embeddings": https://arxiv.org/abs/2410.08113 . Работа эта была написана несколько месяцев назад и уже была принята на Findings of EMNLP 2024.

Статья снова посвящена нашей старой теме - детекции искусственно сгенерированных текстов, но в этот раз мы подошли к этой теме с новой стороны, а точнее, с нового гиперпространства. 🌚 Мы рассмотрели один из самых простых и распространенных способов детекции - по эмбеддингу с последнего слоя RoBERTы (и других небольших моделей) - и задались вопросом: а не может ли быть так, что в кросс-доменной постановке задачи какая-то часть эмбеддинга не помогает детекции, а, наоборот, вредит? Под "кросс-доменной постановкой" я понимаю в данном случае ситуацию, когда мы тренируем наш детектор детектировать сгенерированный текст по одной тематике (или сгенерированный одной моделью), а потом тестируем его на тексте с другой тематикой (или на тексте, сгенерированном другой моделью). И то, и то (т.е. и другая тематика, и другая порождающая модель) здесь и далее будет называться "другим доменом".

Так вот, действительно оказалось, что некоторые "вредные" подпространства в пространстве эмбеддингов содержат слишком специфические для данного домена признаки, на которые модель как бы переобучается, и от этого ее становится сложнее перенести на другой домен. А если эти признаки убрать, то модель, наоборот, не сможет зацепиться за специфические признаки и будет лучше переноситься.

Эти "вредные" подпространства (и просто "вредные" признаки сами по себе) из эмбеддингов в статье выкорчевывались несколькими способами. Два из них требовали наличие двух "валидационных" доменов:
- из эмбеддингов удалялись те координаты, удаление которых помогало кросс-доменной переносимости между двумя выбранными валидационными доменами;
- прежде, чем считать финальный эмбеддинг, в модели удалялись те головы, удаление которых также помогало кросс-доменной переносимости между двумя доменами.
Также был опробован concept erasure - метод из другой статьи, с помощью которого из эмбеддинга научились удалять некоторую информацию о синтаксисе и семантике текста. Например, оказалось, что удаление информации о глубине синтаксического дерева помогло кросс-доменной переносимости.
Кроме этого, мы пробовали просто "выключать" MHA на целых слоях, и снова оказалось, что существуют слои, выключение которых немного помогает на кросс-домене. Для Роберты это были, например, 1-й и 4-й слои (в статье приведена статистика и по остальным слоям тоже).

Кроме того, мы сравнили эти методы с нашим старым методом детекции по внутренней размерности, и показали, что они работают в тех случаях, в которых внутренняя размерность не работает.

Я была рада работать над этим исследованием и была в целом довольна, что его приняли на Findings. Однако уже после принятия статьи случилось непредвиденное: в тех экспериментах с удалением координат из эмбеддингов, над которыми я работала (selected coordinates), нашлась ошибка... 🔍 (см. следующий пост)

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

31 October 2024 17:57

Так вот, оказывается, что при оценке ответов небольших (7-13B) версий LLaMA в zero-shot через Query-Key/Attention Score на "умных" головах, результаты получаются существенно лучше, чем оценка ответов тех же моделей через логиты (для 70B и во few-shot уже не все так однозначно). Выходит, что "умные" головы со средних слоев этих небольших моделей "знают" ответ на MCQA, но не всегда могут донести это знание до выхода модели - "по дороге" к последнему слою это знание чем-то портится. Этот эффект мы увидели сразу на нескольких датасетах - MMLU, HellaSwag, CosmosQA, HaluDialogue (см., например, рис. 2 - там показано accuracy для zero-shot и few-shot постановок; PRIDE - это метод из какой-то другой статьи, уже не помню, что там было). Еще больше эффект проявлен на синтетическом датасете, который я сгенерировала специально для того, чтобы изолировать способность модели решать MCQA от знания конкретных фактов. Для решения синтетического датасета никаких фактов помнить не надо, а надо просто выбрать опцию, которая соответствует слову, заданному в промпте. Семи-восьми-миллиардные лламы не очень хорошо решают это задание, особенно базовые версии, несмотря на то, что они видят правильный ответ прямо в промпте. А с помощью QK-Score задание решается хорошо - настолько, что разница доходит до десятков процентов (см. рис. 3; обратите внимание, что по абсцисс тут уже не количество shot в промпте, а количество возможных вариантов в синтетическом датасете). Таким образом, QK-Score лучше выявляет знания тех моделей, которые не очень хорошо понимают данный формат.

Эти результаты многое говорят о нашем обществе об ограничениях MCQA-формата и о несовершенстве современных трансформерных архитектур, внутри которых не вся полезная информация доходит до финального слоя модели. Если вам интересно посмотреть результаты более подробно, рекомендую пройтись по статье, там у нас много дополнительного анализа и иллюстраций, над которыми все очень старались!

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

29 October 2024 15:02

В ноябре будет два года, как я на PhD в Queen Mary University of London. По этому поводу написала пост с моментами, на которые стоит обратить внимание, если вы задумываетесь над тем, чтобы сделать PhD в Лондоне/UK.

Тизер к статье: когда я выбирала место для PhD, я по личным причинам рассматривала только Лондон. Поэтому я не особо погружалась в нюансы и различия между PhD программами в UK и в других странах. А зря =( Общую идею поста, наверное, можно подвести так: если бы я заранее осознавала моменты, описанные ниже, я бы выбрала поехать куда-то еще.

atmyre/1dZUxGS4yag">Пост