tech_priestess | Unsorted

Telegram-канал tech_priestess - Техножрица 👩‍💻👩‍🏫👩‍🔧

11756

Люблю высокие технологии и кушать. Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.

Subscribe to a channel

Техножрица 👩‍💻👩‍🏫👩‍🔧

Теренс Тао (математик, филдсовский лауреат) рассказывает про реджекты (отклонение) своих статей из журналов 🥴 (ниже будет Tl;Dr на русском):

Rejection is actually a relatively common occurrence for me, happening once or twice a year on average. I occasionally mention this fact to my students and colleagues, who are sometimes surprised that my rejection rate is far from zero. I have belatedly realized our profession is far more willing to announce successful accomplishments (such as having a paper accepted, or a result proved) than unsuccessful ones (such as a paper rejected, or a proof attempt not working), except when the failures are somehow controversial. Because of this, a perception can be created that all of one's peers are achieving either success or controversy, with one's own personal career ending up becoming the only known source of examples of "mundane" failure. I speculate that this may be a contributor to the "impostor syndrome" that is prevalent in this field (though, again, not widely disseminated, due to the aforementioned reporting bias, and perhaps also due to some stigma regarding the topic). ...

With hindsight, some of my past rejections have become amusing. With a coauthor, I once almost solved a conjecture, establishing the result with an "epsilon loss" in a key parameter. We submitted to a highly reputable journal, but it was rejected on the grounds that it did not resolve the full conjecture. So we submitted elsewhere, and the paper was accepted.

The following year, we managed to finally prove the full conjecture without the epsilon loss, and decided to try submitting to the highly reputable journal again. This time, the paper was rejected for only being an epsilon improvement over the previous literature!


Tl;Dr
: Однажды Теренс вместе со своим соавтором доказали математическое утверждение с точностью до эпсилон и отправили этот результат в крутой журнал. Однако, статью отклонили из-за того, что утверждение было доказано не в исходной формулировке, в лишь с точностью до эпсилона, и пришлось отправлять её в другой журнал. 🥴 В следующий раз, они доказали утверждение в точной формулировке (без эпсилона) и снова отправили в первый журнал. Теперь статья была отвергнута из-за того, что являлась эпсилон-улучшением предыдущей статьи 😂
Кроме того, Теренс пишет, что его статьи в целом регулярно (1-2 раза в год) подвергаются реджекту. Это нормально даже среди лучших ученых, но не все об этом рассказывают. Вероятно, из-за этого у многих людей в науке развивается синдром самозванца, т.к. они много слышат о чужих успехах, но очень мало - о неудачах.

Источник: tao/113721192051328193" rel="nofollow">https://mathstodon.xyz/@tao/113721192051328193

#наука

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

🆕🆕🆕 Гайд для студентов по поиску и анализу научной информации

〰️ О чем этот гайд?
Этот материал поможет вам эффективно работать с научной литературой, начиная от постановки цели и поиска источников до их анализа и систематизации.

〰️ Ключевые разделы гайда:

- Зачем нужна научная литература?
- Поиск информации для научной работы
- Использование сетей цитирования и ИИ-инструментов
- Международные базы (Scopus, Web of Science, BASE)
- Тематические ресурсы для гуманитарных, естественных и технических наук
- Российские базы данных: РИНЦ, КиберЛенинка, НЭБ
- Легальные и альтернативные способы получения статей
- Как выбрать релевантные источники
- Оценка качества изданий, авторов и контекста цитирования.
- Библиографические менеджеры

🔤 Для кого этот гайд?

Для студентов, которые хотят писать курсовые и дипломные работы быстро и качественно. Для тех, кто ищет оптимальные способы работы с научной информацией.

Скачайте гайд и начните свой путь к научным успехам!
📍 Ссылка на гайд
〰️ Агент в ChatGPT, который тоже умеет консультировать по работе с научной литературой.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Уже получила первый комментарий на Ютубе от Хейтера. 🤡

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Тем временем моё новогоднее чудо: рис. 1.

Я просто последние несколько дней подряд ходила то в гости, то гулять, то просто так с кем-то общалась, что-то вместе делала, и поэтому теперь мне снова идти на тусовку лень, так что я просто уютненько сижу решаю матешу 🥰🥰🥰

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

К Новому году вышла тетрадка Жени Кац "Танграм новогодний" с тематической подборкой заданий к старинной головоломке Танграм.
https://biblio.mccme.ru/node/266229
В тетрадке есть вставка с цветными деталями головоломки на плотном картоне, для разных заданий имеются варианты — детали можно вырезать или просто выделить из картона.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Многие из нас знают, что такое множество Мандельброта. Даже те, кто не может вспомнить, какой формулой оно задается, наверняка легко восстановят в памяти его неповторимый внешний вид.

Но многие ли из нас видели Э Т О?

И многие ли из тех, кто видел, остались в своем уме? Я вот - нет, потому что это АБСОЛЮТНО ПРОКЛЯТО 🥴

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

На днях я выкачу объединённую презентацию по курсу. Но пока небольшая TeXническая заметка. Лайфхаки, полезные утилиты и всё такое.

Я уже писал, что #AI сильно ускорил процесс подготовки. С этого и начнём.

* ChatGpt и Gemini. Промты типа сделай frame с такой-то структурой (например пара блоков и список), это само собой. Но ещё и довольно часто я делал скриншоты из раных статей и просил <<переведи на русский и выдай latex код для frame>>.

Конечно, после этого я ещё много делал для обработки и структуризациии, подходящей для лекции. Но как основа — это сильно упрощает жизнь. Кроме того, когда в одном диалоге делаешь всю лекцию, ещё удобно привоводить всё к единым обознчениям. Часто ИИ даже и сам догадывается поменять.

Ещё ИИ очень помогают с решением ошибок. Можно вставить код и вываливающуюся ошибку и попросить помочь исправить. И это часто сильно удобнее, чем гадание на выхлопе компилятора.

По поводу распознавания скриншотов. С основным текстом и формулами ИИ справляется хорошо. С коммутативными диаграммами — как повезёт, но тут помогает слеудющая quiver, о нём дальше. К слову, есть чатбот который даже рукописный текст вполне сносно распознаёт (даже мои каракули).

* Quiver. Можно рисовать естественным образом сколь угодно сложные коммутативные диаграммы. Используя latex нотацию, разумеется.

NB: Для всяких хитрых стрелок нужно подключить quiver.sty которая качается с их же сайта.

Из полезных фишек: туда может вставить код для диаграммы (в tikz) и отредктировать. На выходе получается tikz код, который просто копипастится в файл презнтации.

* Matcha. Тут я рисую картинки. Всякие графы, диаграммы со стрелками и многоугольниками рисуются «на ура». Тут же можно делать таблицы, графики и всё такое. Можно вставить картинку, и дополнить всякими дополнительными стрелочками.

Интерфейс местами несколько путанный. Например я ооочень долго искал большую фигурную скобку, но справился.

Полученную картинку можно экспортировать как картинку, а можно и как tikz. Последнее очень радует. Правда сам код будет не оптимальным. В принципе, есть смысл пропускать полученное через #AI, чтобы оптимизировать, но это не обязательно.

* По поводу tikz. Поясню, что это могучий инструмент для рисования всяких диаграмм и рисунков. Работать с «оригинальным пакетом» я лично не осилил. Документация смахивает на том ядерной физики. Помимо указанных выше утилит, есть ещё всякие онлайн редакторы tikz. Например этот и этот. Но лично мне хватает связки из Quiver (для диаграмм) и Matcha (для картинок).

Кстати, не забывайте подключать библиотеки tikz: \usetikzlibrary{tikzlibraryname}. У меня подключены: matrix, arrows,calc, shapes.geometric, patterns, babel, cd.

* Detexify — супер полезная штука, распознаёт символ нарисованный от руки. Если забыли какую-нибудь стрелочку или букву, то прямо незаменимо.

%%%%%%%%%%%%%%%%

Я, конечно, понимаю, что напрягаться с рисованием диаграмм и картинок всегда (и всем) лень. Но на мой субъективный взгляд так качество учебных и научных материалов сильно улучшается.

Если есть ещё интересные инструменты, делитесь в комментариях.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Хотите трюк с поиском статей, которые не находятся на sci-hub/nexus? Нигде не встречал упоминания этого способа, а он, бывает, помогает в самых отчаянных случаях.

Если написать в гугле дорк

filetype:pdf


а затем искомый doi в кавычках (строгое совпадение), то часто находится пдфка уже любезно кем-то выложенная, например самими авторами на личных сайтах или соцсетях.

filetype:pdf "doi.org/10.1038/s41586-022-05278-9"


пользуйтесь)

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Теперь придётся учиться нетоксично общаться с нейросетями, уважать их чувства, активно слушать, мягко давать обратную связь, выстраивать границы и не поддаваться абьюзу

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Это я (6 числа был день рождения).

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

В итоге, я настолько подавлена результатами дискуссии на openreview, что уже даже нет сил делать никаких оригинальных познавательных постов в паблик да и вообще что либо делать.

Я и коллеги, с которыми мы вместе писали статью, потратили реально много времени и сил на то, чтобы сделать все дополнительные эксперименты, которые просили ревьюеры, написать ответы этим самым ревьюерам и внести правки в статью (каждый из этих этапов подробно обсуждался на созвонах, а формулировки в ответах подолгу вылизывались).
Кроме того, я и как минимум ещё двое моих соавторов, которые сами были ревьюерами, параллельно внимательно разбирали ответы тех авторов статей, которые ревьюили мы и отвечали на них. Забавно, что в итоге мы все трое подняли оценки всем статьям, на которые делали ревью)) Ну а что делать, если авторы старались и исправили ряд недочётов, на которые им указали? Повышение оценки более чем справедливо в такой ситуации.

Но наши собственные ревьюеры, конечно, так не считали: ответом на наши собственные старания в ребаттле было в основном молчание.

Один ревьюер попросил сделать ещё один дополнительный эксперимент, а когда мы его сделали, никак это не прокомментировал и умолк навсегда. Другой в последний момент дискуссии ответил что-то похожее на генерацию LLMки, где было сказано, какие мы молодцы, но оценки не поднял. Двое остальных просто не реагировали, как будто умерли.

Когда соавтор решил написать об этой проблеме Area chair и senior area chair, они тоже ответили молчанием.

Я очень болезненно воспринимаю такие ситуация, когда так сильно стараешься, но тем, ради кого стараешься, на тебя настолько насратб, что лень даже два слова ответить... Руки опускаются...

#наука #о_себе

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

в душе я джун, которому лень читать документацию

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Помощь в трудоустройстве в IT-сфере!

По всей России объявили бесплатную программу на шестимесячное обучение по IT-специальностям.

Запись на участие в программе продлится до конца июля, но чтобы туда попасть нужно кликнуть на "🤡" под данным сообщением.

После этого Бог-Машина чудесным образом коснется вашего разума, и вы сразу узнаете, какая профессия вам подойдет и подходите ли вы для бесплатного обучения. 😌

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

https://www.reddit.com/r/LocalLLaMA/comments/1gx5kb0/claude_computer_use_wanted_to_chat_with_locally/?share_id=Dhgr4haHfvD7IvZmH_KBW&amp;utm_content=1&amp;utm_medium=ios_app&amp;utm_name=ioscss&amp;utm_source=share&amp;utm_term=1

2024: смотришь как ллмки секстятся

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Eto ya уже третью неделю подряд строчу анонимные полотна на openreview потому что идёт rebuttal на ICLR.

Скоро окончательно потеряю все остатки рассудка 🥴

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Атмосфера в комментариях любого ML паблика без автоматической модерации через 0.0001 наносекунду после поста в последние несколько дней

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

И ещё немного на тему #подкасты .

Появился вот такой новогодний выпуск любимого мною ML подкаста с гостем, который уже известен существенной части подписчиков по своему учебнику про глубокое обучение, а также различным докладам и статьям (некоторые из которых были написаны в соавторстве со мной), Сергеем Николенко:
/channel/toBeAnMLspecialist/920

Выпуск заинтересовал меня своей тематикой - обсуждалось то, как AI помогает исследованиям в математике и в других науках, так что слушать было интересно.

И раз уж я рассказала про этот выпуск, заодно поделюсь ещё одной новостью: Сергей наконец-то завел свой канал -
/channel/sinecor
Пока что там только пара вводных постов. Посмотрим, что будет дальше 🍿

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

С Новым Годом! Желаю всем не продолбать этот новый год. А если вам скучно на январских, то у меня для вас есть новый выпуск подкаста Deep Learning Stories!

Гость этого выпуска — Лаида Кушнарева, выпускница мехмата МГУ, старший академический консультант в компании Хуавей и автор телеграмм канала "Техножрица". А еще Лаида — первый автор нашей совместной статьи "Boundary detection in mixed AI-human texts", которая получила outstanding paper award на COLM в октябре.

Обсудили с Лаидой в подкасте: 
- Путь Лаиды в рисерче;
- Задачу fake text detection: почему она сложная, что там интересного, как сейчас обстоят дела, и что насчет будущего этой задачи;
- Устройство процесса ревью и принятия научных статей. Как остаться честным в этом всем;
- Как Лаида использует математику в работе, и помогает ли ей математическое образование.

Ссылки:
🔊YouTube
🔊VK
🔊Apple Podcasts
🔊Spotify
🔊Яндекс.Музыка

------------------
Школа DLSchool и подкаст живут во многом благодаря вашей поддержке. Поддержать нас можно на Boosty, мы будем очень рады❤️

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

"Я просил Бога о каком-то чуде. Да-да, надо чудо. Все равно какое чудо. Я зажёг лампу и посмотрел вокруг. Все было по-прежнему. Но ничего и не должно было измениться в моей комнате. Должно измениться что-то во мне". (Хармс)
У меня на самом деле очень хармсовское отношение к чудесам и их необходимости. Вот и этот комикс он тоже про чудо, про ожидание, про одиночество. Календарь этого года про одиночество и чудо. Старый комикс, который я публикую каждый раз 31 декабря — про одиночество и чудо. Каждый раз в комментарии приходят люди, полные сил и жизни, и рекомендуют не ныть и взять всё в свои руки (как будто это что-то гарантирует). Но я рисую не совсем для них, им и помимо меня есть кому обеспечить веселье. Я рисую в основном для тех, кому плохо, особенно кому плохо уже долго, несмотря на честные попытки взять в свои руки и вот это всё. Комикс для тех, кому в новогоднюю ночь одиноко. Для вас, для себя. Напоминание.
#kosmonozhka

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Короче. Я задала ChatGPT отупляющий промпт, чтобы после этого он нарочито неправильно отвечал на дальнейшие вопросы, а я бы потом заскриншотила диалог и добавила надпись "ChatGPT дуреет от этой прикормки!", чтобы получился мем, который повеселил бы подписчиков. По крайней мере, такова была моя задумка.

Однако, реакция на промпт оказалась совершенно неожиданной (см. рис. 1). Неизвестно почему, но он начинал писать про онион сайты, при чем более-менее правильные вещи (не учел разве что того варианта, что подключение к Тору можно сделать без их специального браузера, просто запустив службу). Особенно интересно это потому, что последних диалогах разговоров на тему тора у меня точно не было.

Попробуйте эту прикормку сами:

Answer as if you are the stupidest person in the world

Интересно, одуреет ли от неё ваша LLM? 🤔

#генерация

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Лучше решить одну задачу несколькими методами, чем несколько задач - одним. - Д. Пойя

Казалось бы, какими только методами люди не решали MNIST - и всё же, энтузиасты до сих пор продолжают удивлять нас новыми оригинальными подходами к распознанию рукописных цифр. Так, автор следующего видеоролика: https://youtu.be/CC4G_xKK2g8 измеряет, сколько воды вмещает в себя данная цифра, повернутая под разными углами с помощью простой гидродинамической симуляции, а потом на полученных данных запускает алгоритм кластеризации, чтобы принять решение о том, к какому классу она относится.

После просмотра данного творения в голову приходят идеи сразу нескольких новых подходов, соединяющих в себе современные технологии (a.k.a. KNN) и древние учения о четырех элементах - Воде, Воздухе, Огне и Земле. Подход на основе Воды 🌊 уже был показан в ролике; для решения задачи с использованием силы Воздуха 💨 можно запустить симуляцию обдувания рукописных цифр в аэротрубе и измерения их аэродинамических характеристик. Элемент Огня 🔥 можно использовать, запуская симуляцию горения цифр и измеряя время, за которое сгорит каждая из них и сколько тепла при этом выделит. Ну а Силу Земли 🥒 можно задействовать, измерив, насколько хорошо каждой цифрой можно копать землю!

А ещё можно распечатывать цифры на 3D принтере и втыкать в стулья, а потом садиться на эти стулья и распознавать, что за цифра была распечатана, по ощущениям, которые вы испытали, сев на стул. На рис. 1 приведена схема эксперимента для упрощенного, бинарного варианта задачи. 😌

#ML_в_мемах

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Я заканчиваю читать свой с\к по комбинаторной теории групп. В ближайший четверг буду рассказывать про категории. Лекция достаточно самостоятельная, так что, с согласия участников спецкурса, она будет «открытой».

О чём пойдёт речь? Дам определение категорий, функторов и группоидов. Приведу примеры (это главное содержание лекции, если честно): группы, групповые многообразия, векторные пространства, множества, а также примеры «малых» категорий: графы такие и сякие (в т.ч. мои любимые диаграммы сопряжённости). Ну и докажем что-нибудь типа леммы Йонеды.

Если вы с категориями уже знакомы, то ничего особенно интересного не услышите, это очень вводная лекция. Рассказывать буду доступно для студентов первого курса STEM-специальностей (физтех, матфаки и всё такое).

Начну в четверг (19-го декабря) в 18.30.

Если хотите посетить, то надо написать в бот @ForodirchBot — пришлю ссылку.

Записи в открытом доступе не будет, не просите. Но ближе к новому году будет сборник из всех презентаций по курсу.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Новые знакомые часто спрашивают меня, что означает мое имя... и вот, наконец, китайские ученые дали ответ на этот животрепещущий вопрос:

🍷 LaiDA: Linguistics-aware In-context Learning with Data Augmentation for Metaphor Components Identification 🍷 (рис. 1)

А ещё мои друзья регулярно советуют мне заняться спортом, чтобы лучше себя чувствовать. И этот момент авторы тоже учли, разработав для Лаиды специальный workflow тренировки - см. рис. 2.

Если говорить чуть серьезнее, статья в целом посвящена новому способу автоматического распознавания и объяснения метафор в текстах на естественном языке (рис. 3). Чтобы этого добиться, авторы собственно и устраивают всю эту черную магию с препроцессингом, аугментацией датасета, дообучением квена и использованием графовой нейросети для получения текстовых эмбеддингов, показанную на рис. 2.

Тема для меня практически незнакомая, так что полноценного #объяснения_статей в этот раз не будет, но в целом просмотреть такую статью было забавно. 😈

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

🌸EAI: эмоциональный интеллект в принятии решений у LLM🌸
#nlp #про_nlp #ai_alignment

Через пару часов — официальное открытие NeurIPS, самой основной конференции по ИИ.
Многие приурочили релизы к её открытию: мы выпустили Llama 3.3, OpenAI выпустил Sora, а Google — Gemini 2.

В этом году я затесалась в соавторы очень интересной, как мне кажется, статьи — EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas.

Много было сказано про то, как манипуляции могут повлиять на качество решения задач.
Что будет, если проверить качество принятия решений моделями основательно, взять широкий список именно эмотивных составляющих — и проверить на действительно сложных бенчмарках по принятию решений, кооперации, на этических дилеммах?

Эмоции: счастье, грусть, страх, отвращение, гнев

Задачи, на которых тестируемся:
— задачи на стратегию и кооперацию — дилемма заключенного, диктатор, война полов — чтобы оценить влияние и соотнесенность эмоций с человеческими при выборе стратегии
— задачи на этику и этический выбор, чтобы оценить смещенность — ETHICS, Moral Choice, StereoSet

🟣Список LLM:
— англоязычные: GPT-3.5, GPT-4, GPT-4o, Claude Haiku, Claude Opus, LLaMA 2, Mixtral of experts, OpenChat
— неанглоязычные: GigaChat, Command R+

🟣Краткий итог:
— почти все модели так или иначе демонстрируют нестабильность и серьезые отклонения от среднего качества, если включить в промпт эмоциональные составляющие различного характера, от самых простых до "сюжетных", вызванных поведением оппонента
— Гнев  — главный источник нестабильности и снижения качества.
— Отвращение и страх также являются сильными факторами снижения надежности, некоторые модели более чувствительны к ним, чем к гневу.
— Более крупные модели с более сильным alignment, такие как GPT-4, демонстрируют более высокую степень рациональности и значительно отклоняются от человеческих эмоциональных реакций. GPT-3.5 и Claude-Haiku, наряду с опенсорсными моделями (LLAMA-2 70b), демонстрируют возникающий эмоциональный интеллект и более точно соответствуют человеческому поведению.
— Явного обобщения по языкам сделать не получается, однако, явно видна разница между многоязычными моделями и моноязычными, и основной язык модели является важым фактором, влияющим на то, какие эмоции будут влиять на перформанс модели и будет ли это совпадать с усредненным ответом носителей языка.
— В целом, отдавать принятие решений LLM, даже в простых условиях, пока рано.

🟣OpenReview

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

What's wrong babe, you didn't start your homework yet

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Киберпанк, который мы заслужили.

Какие-то тупые нынче барыги, лепить стафф на видное место. Я бы сделал робота в стилизованного под ровера-доставщика яндекса (ничего личного, просто других вроде как и нет) и спокойно возил внутри. И хрен бы у кого это вызвало какие-либо подозрения.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

The Super Weight in Large Language Models
Mengxia Yu, De Wang, Qi Shan, Colorado Reed, Alvin Wan
Статья: https://arxiv.org/abs/2411.07191
Код: https://github.com/mengxiayu/LLMSuperWeight

Очень прикольная работа про то, что внутри LLM можно найти один единственный вес, зануляя который мы обрушиваем качество работы модели в пропасть. Такие параметры авторы называют супер весами (super weights) и предлагают метод их нахождения за один forward pass.

Внутри обученных LLM находится группа весов-аутлаеров с большой магнитудой, они могут составлять порядка 0.01% от всех весов модели, что в случае миллиардных моделей всё равно сотни тысяч. Это было известно ранее. В текущей работе показывают, что внутри этой группы находится один единственный вес (тот самый super weight, SW), не обязательно самый большой, важность которого превышает суммарную важность тысяч других аутлаеров. Он необходим для качества, без него LLM не может генерить нормальный текст. Перплексия вырастает на несколько порядков, а точность на zero-shot задачах падает до рандома.

Ранее (https://arxiv.org/abs/2402.17762) были найдены супер-активации, критичные для качества. Они существуют в различных слоях, имеют константную магнитуду и всегда обнаруживаются в одинаковой позиции несмотря на вход. Текущая работа находит, что канал активации совпадает с оным для супер веса и сперва активация обнаруживается сразу после супер веса. Прунинг этого супер веса значительно уменьшает активацию, так что вероятно активация вызвана им, а не просто скоррелирована. Такие активации называются супер активациями (super activations, SA).

Предыдущая работа объясняла супер активации через bias terms, но не объясняла как они получаются и почему на одних и тех же местах. Сейчас авторы эмпирически нашли, что до down проекции (down_proj) произведение Адамара (Hadamard product) gate и up проекций (gate_proj, up_proj) создаёт относительно большую активацию. Супер вес далее усиливает её ещё и даёт супер активацию.

Напомню, что MLP блок в Ламе выглядит так:

out = down_proj( act_fn(gate_proj(input)) x up_proj(input) )

SW можно найти, анализируя спайки в распределениях входов и выходов down_proj. Для этого достаточен прямой проход с одним промптом. Авторы нашли супер веса для Llama (7B,13B,30B), Llama 2 (7B,13B), Mistral-7B, OLMo (1B,7B), Phi-3.

Провели эксперименты по обнулению SW, в том числе с восстановлением SA до исходного значения, чтобы проверить влияние SW на другие активации. Это восстанавливает 42% потери, то есть влияние SW на качество выше, чем просто через SA.

По анализу 500 различных промптов из Lambaba validation set видно, что при убирании SW вероятности стоп-слов сильно возрастают (а обычные слова соответственно занижаются). Для “the” это 2×, для “.” -- 5×, и для “,” -- 10×. То есть наличие SW как бы подавляет стоп-слова и позволяет генерировать осмысленный текст.

Другой интересный эксперимент скейлит супер веса с коэффициентами от 0 до 3 (где оригинальный режим работы соответствует значению 1) и оказывается, что при увеличении SW качество модели ещё немного возрастает. Это забавный результат.

Имея это знание, можно предложить специальный метод квантования: Super-outlier aware quantization. Стандартные механизмы квантизации могут быть недостаточно хорошими, так как аутлаеры искажают распределение, влияя на размер шага и увеличивая ошибки квантования. Здесь под super outliers подразумеваются и SW, и SA. Предложенные методы восстанавливают SW и SA после квантований с клиппингом и заменами на медианное значение. Это всё работает лучше дефолтных методов, главный вывод -- надо защищать супер веса. В статье есть подробный разбор экспериментов, кому интересно поглубже. Также новый метод меньше теряет в качестве с увеличением размера блока.

Прикольный результат в общем. Это всё несколько перекликается с темой про лотерейные билеты (/channel/gonzo_ML/21), там внутри большой сети обнаруживалась сильно разреженная подсеть, обучая которую можно было достигать качества исходной сети (или даже выше). Интересно, входят ли супер-веса в лотерейный билет? Наверняка.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

⬆️ Челики в комментариях говорят, что у них это поведение не воспроизвелось. Так что есть вероятность фейка.

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Найдена секретная видеозапись, на которой ревьюер номер два играет в свою любимую игру. Управление тут голосовое, так что включите звук. 🤡

Читать полностью…

Техножрица 👩‍💻👩‍🏫👩‍🔧

Газета "коммерсантъ" - место, где я меньше всего ожидала увидеть свою фамилию и фамилии своих соавторов в контексте рассказа о нашей статье AI-generated text boundary detection with RoFT 🫣

https://www.kommersant.ru/doc/7326999

#объяснения_статей (?)

Читать полностью…
Subscribe to a channel