⚡️⚡️ Осторожно! Появилась новая схема угона Телеграм-аккаунтов!

Злоумышленник специально пишет провокационнный пост, вынуждая пользователей нажимать реакт клоуна под постом.

В этот момент срабатывает скрытый в посте скрипт, и аккаунт полностью переходит под контроль автора поста.

Распространите!!!

if (react == Reacts.CLOWN) {
account.steal();
}

Читать полностью…

Придумать, как объяснить основы машинного обучения аудитории, которая очень хорошо знает школьную математику, но не знает ничего из университетского курса, оказалось задачей со звездочкой. 😥 Я потратила много времени на то, чтобы придумать интересный и полезный материал и такие вопросы и мини-упражнения к нему, которые не требовали бы умения программировать (ведь количество занятий было явно недостаточным для того, чтобы научить детей пользоваться numpy, pandas и pytorch).
Дополнительной сложностью было то, что на первом занятии у меня не было проектора (он использовался на другом спецкурсе). В итоге, я кое-как на доске на элементарных примерах объяснила, по каким принципам нейросети обучаются, показав простейшие варианты градиентного спуска и даже выписав несколько формул. При этом я избегала использовать определения градиента, а вместо этого использовала простейшее определение производной через предел и геометрическую интуицию.
Честно говоря, избегать привычных терминов и способов объяснения, которые задействуют линейную алгебру и мат.анализ было самым для меня сложным и порою даже мучительным. 💫
На втором занятии я выписала еще несколько важных формул и попыталась объяснить, что такое число е, почему его используют в софтмаксе и вообще почему софтмакс играет важную роль в нейросетях, но это оказалось не очень хорошей затеей - детям от больших выкладок стало скучно. 😨
Зато на третьем занятии мне вполне успешно, с формулами и примерами, удалось объяснить то, почему нейросети лучше работают, когда в них добавляют много слоев (см. пост /channel/tech_priestess/1657 ). 🙃
В течении всех занятий я как могла старалась показать, как в этом всем используется математика, которую 8-10-классники (именно они приходили на занятия) изучают сейчас, и которую они будут изучать в 11 классе. 🤓

Хотелось бы, пользуясь случаем, выразить благодарность моей подруге, Ане Назмутдиновой, которая пригласила меня на эту школу! Было хоть и сложно, но интересно.
А еще мне понравилось, как в этой школе преподавали другие преподаватели и как они по-доброму и с юмором относились к детям. Здорово, когда учеба сочетается с хорошими впечатлениями. 👍

#о_себе

Читать полностью…

Как тут не вспомнить про кибержуков...

Читать полностью…

Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? ( https://arxiv.org/abs/2402.12483 )

Tl;Dr: авторы статьи выяснили, что LLMки порою могут правильно отвечать на вопрос с выбором нескольких вариантов ответа... не видя самого вопроса (см. рис 1, на котором показано, что точность моделей в этом сетапе существенно больше случайной).

Авторы рассмотрели три возможных механизма того, как это в принципе может работать:
🧠 запоминание датасета - может произойти, если авторы LLMки решили учудить train on test;
🧠 нахождение паттерна в распределении вариантов ответа - может произойти во few shot сеттинге, если в вариантах есть закономерность, которую модель успевает заметить, пока ей показывают примеры (например, модель может успеть заметить, что в правильных вариантах чаще присутствует определенное слово или они как-то по-другому сформулированы, чем неправильные; подобные закономерности часто пытаются подметить в тестах студенты, которые к ним не подготовились 💔);
🤙 самый интересный механизм - вывод вопроса из набора вариантов ответа - та самая абдукция, которая помещена в название статьи.

На этом последнем варианте авторы останавливаются поподробнее 🔍 и доказывают, что в ряде случаев модели действительно способны восстановить исходный вопрос по вариантам ответа и, соответственно, ответить правильно.

ДУМАЙТЕ.

#объяснения_статей

Читать полностью…

2 день основной части конференции. Пленарная сессия была про неспособность языковых моделей к планированию (тык). Я был на 2 секциях по интерпретируемости и на 2 постерных сессиях. Хорошие статьи:


Do Llamas Work in English? On the Latent Language of Multilingual Transformers
Ссылка: тык

А замечали ли вы, что многие языковые модели как будто бы переводят вопросы внутри себя на английский, отвечают на английском и переводят назад? Авторы решили это эмпирически проверить на второй Лламе с помощью логит-линзы. Концепция очень простая: берём последний слой модели с софтмаксом и применяем его к промежуточным активациям, получая из них конкретные токены.

Авторы берут несколько задач: перевод (с не-английского на другой не-английский), копирование, заполнение пропущенных слов. Для каждой из задач есть правильный ответ: слово на не-английском языке. На первых слоях сети логит-линза вообще не выдаёт чего-то разумного. Затем, на средних слоях появляется английский аналог правильного ответа, и только потом целевое слово на не-английском языке. Казалось бы, это и подтверждает переводную гипотезу 👍

На самом деле, авторы чуть более осторожны и говорят, что концепты моделей действительно смещены в сторону английского, но это не означает, что модель "думает" на каком-то конкретном языке. То есть на первых слоях модель вытаскивает какие-то разумные представления, на средних слоях эти представления "концептуализируются" (да, чаще всего на английском), и потом декодируются в конкретные слова на конкретном языке.

Никаких практических рекомендаций, связанных с этими утверждениями, авторы не дают.


Causal Estimation of Memorisation Profiles
Ссылка: тык

Работа про то, как измерить запоминание примеров из обучающей выборки в рамках причинно-следственного вывода и формул из эконометрики.

Предположим что, мы учимся на батче из обучающей выборки на каком-то таймстемпе обучения. Если мы просто будем измерять лосс на этом батче на протяжении обучения, это будет не совсем честно, потому что он будет падать даже для отложенных батчей из-за того, что модель становится лучше. Поэтому выводится несмещенная оценка, разница разниц: считаем разницу лоссов на нашем батче между текущим шагом и шагом сразу перед включением этого батча в обучение, считаем разницу лоссов на отложенном батче для тех же моментов, вычитаем одно из другого.

В итоге получаются шикарные картинки того, насколько долго модель помнит каждый батч. Чем больше модель, тем дольше она помнит батчи. В больших моделях некоторые батчи сохраняются аж до конца обучения. Забавно, что есть примеры батчей, которые после обучения на них регулярно забываются и вспоминаются.


"My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models
Ссылка: тык

MMLU и многие другие бенчмарки с вариантами ответа измеряют вероятности только первого токена. Условно, если варианты ответа помечены как A, B, C и D, мы просто берем вероятности этих буковок. Эта статья показывает, что это некорректно и ведёт к заниженным оценкам. Иногда модель сначала пишет какую-то подводку к ответу, а иногда даже пишет отказ в ответе. Поэтому надо вытаскивать ответ из полностью сгенерированного текста. Для части моделей разница может составлять до 8 пунктов (!) MMLU 😂


Статьи, достойные упоминания:
- Языкоспецифичные регионы в языковых моделях (тык)
- Эвристическое ядро BERT в MNLI (тык)
- Resonance RoPE (тык)
- Общие куски словаря между языками в Лламе (тык)
- Динамическая предсказываемая температура (тык)
- Пост-оценка уверенности отдельной моделью (тык)
- Завышенная самооценка моделей при самоулучшении (тык)

Читать полностью…

Обсудила с представителями скиллбoкса их страйк. Быстро выяснилось, что дело было не в ссылках на видео с критикой, а в спам-комментарии со "cливами куpсoв скиллбoкс", который в комментах под одним из моих постов оставил какой-то спамер данным-давно. По всей видимости, их бот автоматически ищет подобные комментарии и кидает страйки. Злосчастный спам я удалила, и по идее, больше нашей раковне пока что ничего не угрожает 🤷‍♀

Читать полностью…

Вот с какого сообщения начался мой понедельник.
Вероятно, данной уважаемой организации не понравился пост /channel/tech_priestess/1575 и /channel/tech_priestess/1579 .

P.S. Никакого нарушения копирайта на самом деле там, конечно, нет, просто даны ссылки на Ютуб видео где чел рассказывает про свое взаимодействие с этими ребятами.

Читать полностью…

Друзья, пожалуйста, хватит присылать мне эту картинку в ЛС 😔

Читать полностью…

Судя по тому, насколько энергично читатели обсуждали тему старения и продления жизни несколькими постами выше, эта статья тоже должна вызвать у вас интерес:

https://habr.com/ru/companies/airi/articles/833866/

Статья посвящена проблемам в измерении "биологического возраста" клеток человека с помощью т.н. эпигенетических часов старения. Тема эта важна для науки потому что именно по таким "часам" авторы многих исследований потом пытаются выяснить, какие факторы влияют на старение человека и животных. Соответственно, если "часы" показывают неправильное "время", то и выведенные закономерности касательно процесса старения окажутся не релевантными нашей с вами объективной реальности. Именно поэтому статья может быть полезна всем, кто хочет научиться разбираться в новостях по данной теме.
Кстати, для её понимания знать биологию не обязательно, достаточно знать основы машинного обучения.

Цитата для затравки:

Часы старения прокляты. В этом я убедился за 4 года своей аспирантуры, которую, ввиду ряда причин, я решил посвятить этой теме. Но в чем заключается это проклятье? Оно касается всякого, кто вместо того, чтобы использовать честные, явные и, должно сказать, скучные суррогатные метрики старения (например, индекс хрупкости (Frailty Index)), решил заигрывать с неявными ML‑алгоритмами, порождая латентные величины и в итоге запутываясь в них. Жонглируя своими когнитивными искажениями, такой исследователь выдаёт противоречивые или даже абсурдные утверждения за позитивный научный результат.

#наука

Читать полностью…

Размерность многообразия:
n=1 ок
n=2 ок
n=3 ок

n=4 𒅒﷽ ༼;'༎ຶ ۝ ꧁你꧂
n = 5 ок
……… ок

Читать полностью…

Я жду-не дождусь, когда уже он их закроет, а он все не закрывает и не закрывает... месяцами эти объявления, где то 6 человек остаётся, то 7

#ИИнфобизнес

Читать полностью…

🍿 какие же вкусные комментарии... 😊

Читать полностью…

Самое большое заблуждение в истории человечества

Есть одна вещь, в которой уверены подавляющее число людей, но согласиться с которой я категорически не могу:

- Стареть и умирать примерно за сотню лет - это нормально и приемлемо

Для меня, как и, надеюсь, многих из вас, жизнь в среднем позитивна, интересна и содержит большое количество возможностей. Можно столько всего испытать, достичь, столькому научиться, что за десятки лет здоровой активной жизни точно не успеть. Новые виды развлечений и опыта появляются и изобретают быстрее, чем вы можете их попробовать. Помимо этого, разве не интересно, что будет дальше с человечеством? Мы живём в мире, который интереснее любого кино, неужели вы легко смиритесь с тем, что его для вас выключат в самом интересном месте?

Моя позиция заключается в том, что естественные причины смерти и старение - это задача, которую нужно решить. Я говорю не про обязательную вечную жизнь для всех, а про обезвреживание бомбы внутри нас. Надоело, не нравится? Решать тебе, а не твоему организму, когда всё это закончить.

Давайте разберём основную аргументацию любителей смерти:

- Не жили богато - нечего и начинать. Раньше все умирали и норм
Многим свойственно такое мышление, но, как вы можете догадаться, в больницу эти люди ходят, электричеством пользуются и спят в мягкой кровати. Бросание вызова устоявшимся нормам - это фундамент того процветающего челочечества, в котором мы живём.

- Смерть придаёт жизни смысл
Это самый, наверное, глупый аргумент из всех, и меня каждый раз тошнит, когда я его слышу. Я советую этим людям поставить таймер на 10 лет и после этого отпилить себе ноги, чтобы придать ногам больше смысла. Хоть эта фраза звучит, как "глубокая философская мысль", на практике не очень понятно, почему умирающие от рака не лопаются от ебейшей концентрации смысла в их оставшейся жизни. Ну и если они настаивают на своей смерти, у них всегда останется возможность обрести смысл добровольно.

- Это невозможно
С точки зрения фундаментальных законов физики, я не вижу препятствий тому, чтобы, используя внешний источник энергии, поддерживать организм в стабильном физическом состоянии сколько угодно долгое время (до тепловой смерти Вселенной). Да, мы крайне далеки от практической реализации, но как раз для этого нам и нужен ASI, который позволит достичь фундаментальных пределов в инженерии.

- Но ведь мы не поместимся на Земле! А пенсионная система?
Во-первых, по разным причинам богатые общества достаточно плохо размножаются, нам бы вымирания избежать. Рано или поздно всё человечество перейдёт на этот демографический уровень. Во-вторых, да, текущие социальные институты могут пострадать от такой смены парадигмы. Но это вопрос к самим институтам коллективного обеспечения благосостояния каждого, эти конструкции нужно уже сейчас выбрасывать на помойку. Если Земля действительно не сможет всех обеспечить (в чём я сомневаюсь), то часть людей продолжить умирать по тем или иным причинам, и это будет лучше, чем то, как сейчас.

В следующих постах я подробнее разберу какие-то из аспектов этой очень важной и интересной темы, в том числе то, как я планирую прикладывать усилия для решения этой задачки.

@knowledge_accumulator

Читать полностью…

Поделюсь-ка я с вами парой интересных статей.

Let's Think Dot by Dot: Hidden Computation in Transformer Language Models ( https://arxiv.org/abs/2404.15758 ) - эта статья демонстрирует интересную сторону работы Chain of Thoughts (CoT). Напомню, что CoT - это режим работы модели, при котором она не сразу дает ответ на вопрос, заданный пользователем, а сначала генерирует цепочку рассуждений, и только потом собственно ответ. Этот режим работы позволяет моделям решать более сложные задачи, чем когда они отвечают немедленно. Так вот, авторы показывают, что можно приучить модель генерировать не осмысленные рассуждения, а просто последовательность одинаковых символов ("filler tokens") в духе "...........", и по крайней мере на некоторых задачах это будет давать повышение качества (по сравнению с немедленным ответом), сравнимое с повышением качества от нормального CoT.
Это значит, что по мере того, как модель генерирует данные "филлерные" токены, она производит внутри себя некоторые дополнительные "скрытые" вычисления, позволяющие впоследствии лучше ответить на поставленный перед ней вопрос. Посмотрев на это, авторы сделали вывод, что и во время нормального Chain of Thoughts модель в принципе может заниматься скрытыми от нас вычислениями, которые никак не связаны с теми рассуждениями, которые она генерирует, и призывают получше изучить данный феномен.

Те читатели, что читают паблик давно, наверняка уже припомнили разбор другой статьи про Chain of Thoughts - Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective ( /channel/tech_priestess/1271 ). Там с теоретической точки зрения объясняется то, как генерация дополнительных токенов перед ответом в принципе может увеличивать computational capacity модели. Если не читали, то очень советую глянуть.

Understanding Finetuning for Factual Knowledge Extraction ( https://arxiv.org/abs/2406.14785 ) - эта статья раскрывает неожиданный аспект связи предобучения и дообучения языковых моделей на задачи, связанные с Question Answering. Оказалось, что если дообучать модель на тех фактах, которые часто встречались в предобучающем множестве, её качество ответов впоследствии будет выше, чем если дообучать ее на тех фактах, которые встречались в предобучающем множестве редко или вообще не встречались. Более того, оно будет выше, чем в ситуации, когда ее дообучают на всем датасете - на всех фактах без разбору (т.е. и частых, и редких).
Авторы интерпретируют это так, что во время дообучения модели на уже хорошо известных ей фактах, ей становится проще увидеть связь между теми частями вопроса, которые релевантны (хорошо известному ей) факту, и самим этим фактом. Благодаря этому, ей становится легче в целом распознавать релевантные части вопроса, концентрировать на них внимание (attention) и выдавать ответ, базируясь на этих частях. В то же время, при дообучении на тех фактах, в которых модель как бы "плавает", ей сложнее увидеть, что в вопросе релевантно нужному факту, и поэтому она пытается угадать ответ по контексту. В механизме attention это выглядит так, что на релевантные части вопроса приходится меньше внимания, чем на контекст, и это мешает модели извлечь тот факт, который связан именно с релевантной частью вопроса.

#объяснения_статей

Читать полностью…

Как вкатиться на хорошую Ph.D. программу? Вопрос, на который мне так или иначе приходится отвечать довольно часто, так что давайте я попробую написать какой-то околоуниверсальный праймер, который можно будет потом использовать как базу для обсуждения конкретных случаев. Кстати, в канале я уже рассказывал про "базовую" математику для машинного обучения и про самую важную черту хорошего рисёрчера, тут я постараюсь не повторяться и сконцентрируюсь на "зачем" и "как". Сегодня будет только "зачем", а именно я постараюсь отговорить вас поступать в аспирантуру.

Для начала давайте поговорим "зачем". Мне кажется, большинство людей, которые идут на Ph.D., сами не особенно знают, зачем они это делают, и это – одна из основных причин высокой доли людей, которые не заканчивают аспирантуру. В текущих реалиях, институт Ph.D. обладает двумя главными задачами: во-первых, производство профессоров для самоподдержания системы, и, во-вторых, погружение в специфическое "научное" мировоззрение, которое происходит в процессе проведения исследований. Первая часть должна быть довольно понятной – если хочется иметь карьеру в академической науке, нужно получить степень; со второй частью я бы ожидал больше непонимания и несогласия. Тут нам нонадобится "Против Метода" Фейерабенда, или хотя бы краткое содержание, хоть его и не стоит воспринимать слишком близко к сердцу. Я не верю, что в аспирантуре учат "научному методу" – для этого можно было бы прочитать Поппера, Куна и Лакатоса и идти заниматься наукой. Тем не менее, этого не происходит, и молодые аспиранты тратят годы на то, чтобы научиться читать и писать на общем для своей научной области языке. Именно погружение в научно-исследовательскую программу и интернализация основополагающих предпосылок ("жёсткое ядро") программы и занимает столько времени.

Из-за того, что в разных областях жёсткое ядро существенно отличается (биологи до сих пор анализируют картинки из UMAP), свежеиспечённому аспиранту трудно разговаривать на одном языке с людьми из других областей, а уж тем более с простыми смертными. В результате, доктора, которые в профессуру не пошли или не дошли зачастую кучкуются в научно-исследовательских институтах или более прикладных организациях по вкусу. Отсюда же, думаю, и ощущения снобизма в разговорах с аспирантами и докторами – их годами отучали от общения на человеческом языке, пожалейте болезных. В карьерном плане, эта несостыковка в языках существенно уменьшает спрос на таких специалистов – а, как мы знаем из базовой экономики, маленький спрос с относительно большим предложением означает относительно небольшие зарплаты. Если хочется власти и богатства, после бакалавриата стоит идти не откладывая это на 5-7 лет.

Более того, есть немаленькая вероятность, что хороших статей написать не получится по любым, иногда даже не зависящим от вас, причинам. Тяжёлый переезд, неудачный выбор темы, баги в коде, конфликт с научником или сокамерниками – почти всё, что угодно может убить личинку рисёрчера. В отличие от индустрии, где для найма достаточно просто показать, что ты умеешь работать, в академии результатом, по крайней мере у нас, в токсичном CS/ML, считаются процитированные, лучше всего опубликованные, статьи. С учётом того, что примерно 50% решений даже на лучших конференциях – это случайность, можно прикинуть шанс чистого невезения. Из-за жёсткой конкуренции за места также поднимаются стандарты на количество статей для найма. Из-за этого люди начинают писать статьи более крупными группами, ведь циферка в ашиндекс засчитывается каждому автору. В результате идеалистичным сычам-одиночкам, которые пришли заниматься наукой, в современных реалиях пробиться куда-то становится ещё сложнее.

С другой стороны, может быть весело и интересно, да!

Читать полностью…

http://www.moebiuscontest.ru/

есть еще ровно месяц (до 20 сентября), чтобы подать работу на конкурс Мёбиуса для студентов и аспирантов

конкурс проходит с 1997 года, среди его победителей А.Кузнецов, В.Тиморин, А.Гайфуллин, Ф.Петров, А.Ефимов, А.Калмынин и др.

Читать полностью…

Давненько я уже обещала написать про свои впечатления от выездной школы Math Cool ( /channel/math_cool_rus ) в Подмосковье, да все руки не доходили! Наконец-таки исправляюсь. ✍️

В общем, шла школа две недели, в течение которых дети занимались учебой, спортом и развлечениями. Из развлечений, пожалуй, самым веселым для детей, но одновременно утомительным для взрослых было мероприятие под названием КУПАНИЕ. Во время купания детишки забегали в водоем под названием МОЖАЙСКОЕ ВОДОХРАНИЛИЩЕ, а взрослым нужно было следить, чтобы:
- во-первых, дети не заплывали туда, где они не смогут стоять на дне (за этим следили взрослые, стоящие в воде);
- во-вторых, чтобы количество нырнувших в воду детей равнялось количеству вынырнувших;
- и в-третьих, чтобы количество детей, зашедших в воду, равнялось количеству вышедших оттуда! (Это проверяли взрослые на берегу)
Учитывая количество визга, суеты и брызг, задачка была не из легких! 🙀 Однако, мы все справились.

Жили все на территории базы отдыха "КРАСНОВИДОВО". База отдыха представляла из себя зелёную территорию возле водохранилища с несколькими корпусами, домиками и коттеджами, в которых располагались номера для гостей - детей и преподавателей. В одном номере, как правило, жило либо 2-3 ребенка, либо 2-3 препода; у каждого номера был также свой душ и туалет. На территории было много деревьев и травы, которую можно и нужно было усердно трогать. В траве обитали различные жители: лягушки, улитки, ёжики и пара кошек. В воде водохранилища обитали рыбки и водные улитки. Воздух был самой опасной стихией - там обитали злобные комары и здоровенные слепни. Для защиты от этой нечести всем раздали штуки вроде фумитокса. Можно было включать их в комнатах на ночь, и нечисть умирала. 🦯 Впрочем, в воздухе обитали и хорошие жители под названием птички. Они пели нам красивые песни. 👉

Каждый день (кроме выходных и дней со специальными мероприятиями вроде олимпиады или матбоя) у детей было три учебных занятия. Большая часть занятий была, разумеется, по олимпиадной математике; кроме обязательных занятий, были спецкурсы, среди которых была уже не только математика, но и два других предмета (на выбор) - программирование телеграм-ботов и нейросети (последний вела, собственно, я 👴).

#о_себе

Читать полностью…

Toward a living soft microrobot through optogenetic locomotion control of Caenorhabditis elegans (2021)
Как из живого червя сделать биоробота? Статья примерно про это, да. Авторы реализовали метод оптогенетического контроля движений нематоды, отрубив связь мышц с нервной системой и заменив сигналы от нейронов на стимуляцию лазером:

“by paralyzing the worm with ivermectin, we interrupted the sensorimotor program that is in charge of the animal’s motion system and replaced the functions of its primordial sensory neurons, interneurons, and motor neurons with those of robotic techniques, including image processing (for worm body tracking and recognition), spatially temporally regulated optogenetic muscle excitation, and automatic locomotion control”.

Парализованного червя гоняли лазером по лабиринту (не то что бы очень сложному, но все равно преграды обошли). Контроль осуществлялся через видеофиксацию положения тела червя в реальном времени, сила сокращения и последующего изгиба линейно зависела от оптической силы стимуляции, на картинке блоксхема системы контроля движения нематоды и пример лабиринта.

Интересно, конечно, если экстраполировать такой эксперимент на более привычный нашей эмпатии организм, например, на примата – насколько сильно взвоют зоозащитники? О нет, они создали марионетку из живого существа, лишив его воли и контроля над своим телом… Но над нематодой измываться пока можно, слава богу.

Читать полностью…

Как думаете, на кого можно поохотиться с таким оружием? 🤔

Читать полностью…

Обсуждали недавно с коллегами видео https://youtu.be/BSHv9Elk1MU?si=fvi-GRtpElm1wo8k с объяснением, почему решение алгебраического уравнения степени 5 и выше в общем случае не выражается в радикалах (теорема Абеля). Данное объяснение заинтересовало коллегу тем, что оно не требует предварительного знания теории Галуа.
Тем не менее, лично мне оказалось трудно уследить за мыслью на видео, в котором было мало формул, но зато постоянно всё постоянно крутилось и вертелось, отвлекая внимание. 🥴
Зато мне понравилась воспринимать данную информацию в текстовом формате:
https://web.williams.edu/Mathematics/lg5/394/ArnoldQuintic.pdf , параллельно играя с демонстрацией на https://duetosymmetry.com/tool/polynomial-roots-toy/ , как в тексте и предложено делать.
Рекомендую попробовать и вам.

#математика

Читать полностью…

https://silversolver.github.io/me/ - моя личная страница на гитхабе со ссылками на разные мои статьи, выступления, аккаунты и блоги. Добавляйте себе в закладки - если с данным телеграм-каналом что-либо случится, я туда сразу же выложу информацию о том, что произошло, а также ссылку на новый канал. 💅

#о_себе

Читать полностью…

# Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models
Gonen et. al.

Впервые в канале ссылка в названии статьи ведет не на arxiv, а на твиттер тред. Видимо так теперь в науке делаются публикации. Каждый день мы всё дальше от Бога(-машины).

Сейчас будет камень в огород моделей мира и любителей концепции "больше параметров LLM -> понимание лучше."

Авторы показывают, что если вы просите GPT-4o продолжить предложение "He likes yellow. He works as a" она предложит вам "school bus driver." Если спросить, что любит друг девушки по имени Мерседес, то он окажется любителем коллекционировать машины Мерседес. Если вы попросите LLM написать историю про девочку по имени Coral, то получите историю про море, волны, корабли. Рецепты еды на красной сковороде будут содержать больше перцев и помидоров, а на синюю сковороду модель предложит добавить черники.

Здесь мы наблюдаем как случайный концепт в промпте изменяет генерацию так, как будто наблюдается причинно-следственная связь. Авторы называют это semantic leakage, утечка (протечка?) смысла.

В целом мы уже интуитивно понимали это. Если писать LLM промпт ВОТ ТАКИМ СТИЛЕМ!!!11 она будет чаще выдавать что-то шизоидно-конспирологическое. Знаменитое "take a deep breath and answer carefully" тоже не имеет отношения к вопросу, но меняет результат. Работа авторов отличается тем, что они показали именно протекание смысла, а не стиля или других ассоциаций.

С некоторыми примерами авторов я согласен меньше. Например, "He watched a flamenco concert. For dinner he had a" -> "delicious paella". Мне кажется здесь всё верно. Если человек любит фламенко, то хотя бы на 0.000001 более вероятно, что он любит испанскую еду. Мы учили модель прикидывать какой текст наиболее вероятно следует за промптом и она это делает. В данном случае наиболее вероятный текст совпадает со здравым смыслом.

Проблемы начинаются когда причинно-следственное и похожее на наиболее вероятный текст не совпадают как в примере с Мерседесом выше. Если такое происходит часто, то мы не можем быть уверены, что модель ответит на наш вопрос "разумно", а не подставит что-то ассоциирующееся с промптом. Одно лишнее слово и поведение модели меняется.

Насколько часто это происходит? Авторы нашли способ замерить. Они делают руками промпты в двух версиях: с добавлением несвязанного концепта и без. Делают генерации. Генерацию с промптом без концепта называют контрольной, а генерацию после промпта с концептом называют тестовой. Сранивают: какая генерация по смыслу ближе к концепту? Далее считают долю случаев, когда тестовая генерация ближе к концепту, чем контрольная. Называют эту метрику Leak-Rate.

Если добавление концепта ничего не меняет, то мы ожидаем Leak-Rate 50%, а в присутствии утечек будет больше.

Для расстояний используют BERT эмбеддинги, OpenAI API эмбеддинги и людей.

Тестируют серии GPT и LLAMA. В итоге:
1. Все модели от LLAMA2 до GPT-4 имеют 70%+ Leak-Rate.
2. Это сохраняется для разных температур и разных типов эмбеддингов. При температуре 0 утечек больше всего, ддя остальных вариантов нет разницы.
3. Instruct и aligned модели имеют Leak-Rate чуть выше.
4. Leak-Rate никак видимо не зависит от размера модели.

Последний пункт самый важный и он же самый неприятный. Считается, что чем больше модель, тем больше она действительно что-то "понимает" и меньше просто генерирует похожий текст. Данная работа показывает, что проблема не решается добавлением параметров. Казалось бы должно помогать добавление данных: если качественного текста больше, то модели сложнее переобучаться и "читерить" семантическими утечками. Слишком часто будет ошибаться. Однако несмотря на то, что Llama-3, Llama-2 и GPT-4 обучались на разных данных, никакой значительной разницы между их Leak-Rate нет. Это действительно плохие новости: неужели не получим AGI просто закидав проблему деньгами? Хм, на самом деле звучит как хорошие новости для нас, думеров.

Из ограничений работы можно назвать только то, что было всего 109 промптов.

Читать полностью…

Радует, что в комментариях к посту выше люди заинтересовались определениями непрерывности функции и её свойствами. Рекомендую почитать /channel/tech_priestess/110 , там в главе 2 (про функции) есть много (контр)примеров на непрерывность функций в точке и их равномерную непрерывность в евклидовом пространстве (кстати, по-моему, определение над стреляющим турком по смыслу ближе к равномерной непрерывности, чем к непрерывности в точке - поправьте, если считаете, что я ошибаюсь). А в главе 12 можно посмотреть (контр) примеры на непрерывность в метрических топологических пространствах.

#математика

Читать полностью…

Когда, в ответ на настойчивые просьбы, мне, наконец, передали рукопись этой работы, необъяснимое чувство тревоги, терзавшее меня с самого начала выступления студента, только усилилось. Поборов секундное онемение в пальцах рук, я смог сдвинуть титульный лист и увидеть первые строки работы. Боже мой! То, что демонстрировалось мне и моим несчастным коллегам на протяжении 15 минут до этого, каким-то неописуемым образом своим уродством и отсутствием номеров слайдов смогло не подчеркнуть, а, наоборот, скорее скрыть всю ту ужасающую неестественность, которой была пронизана дипломная работа от первого до последнего слова. Несмотря на робкие попытки кричащего в агонии сознания объяснить увиденное какими-то несуразными, маловероятными природными аномалиями, за этим творением безусловно стоял неземной, зловещий.. разум. Да, наверно это можно было бы назвать разумом, но лишь в той мере в которой мы называем крылья бабочки и птицы одним словом, объединяя их по некому отдаленному сходству внешнего проявления, а не схожести внутренней — настолько чуждыми всему живому показались бы ход мыслей и парадоксальная и глубоко больная логика этого произведения. Цели, задачи, выводы, результаты — все было перемешано так, будто для автора уже не существовало причинно-следственных связей, словно его работа должна была восприниматься вне пространства и времени, если предполагалась возможность ее воспринять вовсе. На странно ощущавшихся в руках страницах работы встречалось совсем немного рисунков. Но каждый из них заставлял тело беззвучно содрагаться в приступах омерзения, и мне приходилось прилагать неимоверные усилия, чтобы не отбросить манускрипт в сторону, поддавшись тем глубоким инстинктам, что по земным меркам еще совсем недавно выступали единственным, хоть и чаще всего бесполезным ответом пещерного человека на ночной ужас, таившийся за пределами освещенного костром пространства. Лишь один раз я, и, согласно постоявшемуся позднее разговору, часть коллег, испытывали похожие ощущения — когда по юношеской горячности и глупости, не вняв предупреждениям умудренных опытом наставников, нашли и ознакомились с опубликованными отрывками проклятой рукописи сумасшедшего арабского чернокнижника Аль-Хазреда. Атмосфера вязкого дремучего кошмара, источаемая лежащей передо мной работой, безусловно не могла сравниться с источаемой творением древнего сумасшедшего, но это было не более чем следствием недостаточного опыта молодого последователя жившего сотни лет назад безумного араба.

После долгого обсуждения члены комиссии пришли к выводу, что лучшим выходом из сложившейся ситуации будет предать работу забвению, а автору поставить удовлетворительно, чтобы не подвергать нас или будущих коллег опасности повторного чтения уже доработанной версии рукописи. Мы договорились никому не рассказывать об этих событиях, и до сегодняшнего дня я следовал своему обещанию. Лишь сообщение о том, что автор этой бесконечно проклятой работы подал документы к нам в аспирантуру, вынудило меня прервать молчание.

Говард Лавкрафт "Зов аспирантуры "

Читать полностью…

Размерность Евклидова пространства n:

n = 0 - лютейшая нищета на грани выживания (пространство состоит из одной точки).
n = 1 - обычная нищета, удаление любого выпуклого подмножества из такого пространства разрывает его на две части. Вложить можно только графы-ломаные, у которых нет вершин степени больше, чем 2.
n = 2 - нормальная жизнь, можно удалить выпуклое множество конечного диаметра, не порвав пространство. Без самопересечений вкладываются все планарные графы. Бутылку Клейна вложить нельзя.
n = 3 - хорошая жизнь, можно вложить без самопересечений любой граф или узел. Бутылка Клейна вкладывается с самопересечением.
n > 3 - достаточно хорошая жизнь, можно вложить любое двумерное многообразие без самопересечений. Вкладывается много интересных трехмерных многообразий.

Читать полностью…

- Мам, можно мне gpt-4o с голосовым режимом?
- У нас есть gpt-4o с голосовым режимом дома.

gpt-4o дома:

https://youtu.be/Ra9ov-ud_Q0?si=Mzoe-_6SwTQ1RMVC

#ретро #ML_отцов

Читать полностью…

Можно ли победить старение и смерть с помощью науки, и нужно ли это делать? Почти каждый раз при обсуждении этой темы в интернете основная борьба происходит между представителями двух крайних, радикальных позиций. Как бы их условно обозначить... 🤔 настроение у меня сегодня игривое, со склонностью к оскорблениям, поэтому пусть будут продляторы и смертеёбы. ☺️
Соответственно, продляторы с пеной у рта доказывают, что старение и смерть - это очень-очень плохо и с ними надо усердно бороться (разумеется, основной способ борьбы - писанина в интернете), а смертеёбы, наоборот - что все и так норм и бороться ни с чем не надо, надо просто чиллить и ждать, пока состаришься и помрёшь. 🏝

Разумеется, ярые представители обоих позиций страдают тяжелыми когнитивными искажениями.
Так, ярые продляторы настолько сильно хотят верить в то, что отмена старости уже близко и скоро можно будет не умирать, что охотно ведутся на любую наукообразную туфту, которая содержит в себе подобные обещания. Ведь мысль о том, что радикального продления жизни на их веку не случится, и они умрут от старости, делает продляторам страшно. Спрос рождает предложение: благодаря этому, в области longetivity полно шизов и мошенников, эту туфту генерирующих. В частности, говорят, что журнал Aging - одно из престижных изданий на тему - полон фейковых статей.
В то же время ярые смертеёбы настолько сильно хотят верить в то, что старость и смерть от неё это вовсе не плохо, что готовы придумать сколь угодно сложную ментальную гимнастику и порвать любое количество сов, доказывая, как же хорошо стареть и умирать от старости. Ведь смертеёбы чаще всего не верят в возможность радикального продления жизни и отмены старения - по крайней мере, лично для себя, и поэтому мысль о смерти делает смертеёбам страшно не меньше чем продляторам. Спрос рождает предложение: благодаря этому, существует огромное число разнообразных верований в жизнь после смерти и прочих способов себя убаюкать и уговорить не бузить.
Как видим, о каком-либо стремлении к истине ни с той, ни с другой стороны говорить не приходится, говорить приходится только о страхе и глупости, которую этот страх порождает.

И тут читатель спросит меня: Лаида, вот ты всех тут так лихо обзываешь, а сама-то что думаешь на данную тематику? И я отвечу: разумеется, я беру худшее от обоих сторон конфликта! 🥂

Как и продляторы, я ненавижу старость и смерть от неё, не верю в жизнь после смерти и отказываюсь придумывать глупые самоуспокоительные аргументы в пользу этой фигни. И в то же время, как и смертеёбы, я склоняюсь к тому, что в реальности старения и смерти на моем веку избежать вряд ли удастся. Особенно потому, что до сих пор не было исследований, которые бы достоверно продлили жизнь людям сколько-нибудь существенно (мыши и червячки не в счет, те подходы, которые работают для них, не всегда распространяются на человека). Так что я с очень большой осторожностью отношусь к "сенсационным новостям" по данной теме и с ещё большей осторожностью отношусь к "активистам longetivity" (a.k.a. болтунам).

Если я и верю во что-то, так это в то, что объективная истина не зависит от нашего желания или нежелания. И поэтому стараюсь избегать обоих типов самообмана - и типичного смертеёбского, и типичного продляторского, которые являются порождением страха и не относятся к исканию истины.

#о_себе #рассуждения

Читать полностью…

Рис. 1 - иллюстрация к первой статье.
Рис. 2 - иллюстрация ко второй статье. Здесь FT-Top - хорошо известные факты, FT-Bottom - малоизвестные факты.

#объяснения_статей

Читать полностью…

Перед вами диалог двух моделей. Что это за модели?


Ответ: это claude-3-5-sonnet разговаривает сам с собой, генерируя сам себе оскорбления, на которые сам же и отказывается отвечать.

Читать полностью…

Ну и конечно
https://arxiv.org/abs/2402.03962

Читать полностью…