Попалась пара выпусков, потенциально очень полезных для тех, кто работает по ТК РФ.

Как защищать свои права в случае, если работодатель хочет вас уволить:
- вариант на Яндекс музыке: https://music.yandex.ru/album/7570122/track/67771656?utm_medium=copy_link
- вариант на Ютуб: https://youtu.be/eaiTjh6F9Pg?si=XVaLPwFvvLaMXzwY
(Tl;Dr: правильно уволить человека по ТК без его желания очень сложно, а судиться потом геморройно, поэтому тут настоятельно рекомендуют качать права и требовать не меньше трёх окладов за то, что вы напишете заявление по собственному)

Что может, а что не может являться коммерческой тайной по ТК РФ:
- вариант на Яндекс музыке: https://music.yandex.ru/album/7570122/track/107063420?utm_medium=copy_link
- вариант на Ютуб: https://youtu.be/GwdvV5VePdY?si=d9sMSEJmibiH7y5i
Тоже полезно знать, чтобы не стать объектом запугивания.

Слушать довольно интересно, рассказано простым языком, без юридической скукоты.

P.S. В других странах законы, конечно, отличаются

#карьера #подкасты

Читать полностью…

///Которая поможет вам считать свою Правду

1) МАТРИЦЫ

2) УМНОЖ?

3) ДYМОNТ3 ТОЛЬК0 О НАУКЕ

4) ?????

5) АППА7АТNАЯ АППР0XNWАЦИR

Читать полностью…

О будущем Ebany Резерч

Держите набор фактов, которые обязательно произойдут в ближайшее время.
1. Как только в опенсорсе появится архитектура H200 (а это произойдет, общество быстро схватывает тренды и за месяцы делает то, что компании делают годами) начнется новая эра в этом вашем AI. Каждый сможет локально собрать быстрый вычислитель и обучать по гптшке и лламе за вечер
2. Zero-bit инференс — сейчас большая гонка ускорения и квантизации моделей. Резерчеры всего мира стремятся ускорить модели и максимально эффективно использовать каждый бит. Еще недавно радовались квантизации в 8 бит, сейчас уже есть решения, которые используют 1 бит. Предел сами возьмете.
3. Internet as a context. Ну тут вообще очевидно, рост контекста и архитектурные изменения моделей (долой квадратичный атеншен) двигают нас к все более эффективному использованию контекста для ICL. Ну а что может быть эффективнее, чем поместить всю имеющуюся информацию? (вопрос риторический)
4. GPT-5, LLaMA-4 и т.п. будут. Для компаний это сильный пиар и новые пользователи, и выбирая между “ставить обучаться новую версию” и “вытягивать до последнего из имеющегося” они, конечно, будут запускать train loop вновь и вновь
5. AGI скоро будет. Начало 2023 года — MMLU даже 40 не набирает, начало 2024 года — больше 80% успешно решается. В 2025 году модели уже будут обгонять людей, а в 2026 MMLU будет решать на 100% и наступит новый виток истории.

Читать полностью…

Чтобы прокоммуницировать с инопланетянами, нужен всего лишь word2vec.

В своё время статья Word Translation Without Parallel Data, опубликованная на ICLR 2018, произвела на меня неизгладимое впечатление. За что люблю машинное обучение и deep learning в частности — за "вау-эффекты", вызываемые разными прикольными результатами.

В статье демонстрируется, что при наличии двух никак не связанных текстовых корпусов на разных языках можно научиться переводить слова. Что это значит: если к нам заявятся инопланетяне, мы сможем быстро наладить коммуникацию — нужен всего лишь текстовый корпус.

Обучаем для обоих корпусов векторные пространства слов, например, с помощью word2vec. Затем учим GAN: генератор (умножение на обучаемую матрицу) учится переводить элементы из одного пространства в другое, а дискриминатор учится определять исходное пространство. Чтобы перевести слово, применяем генератор (умножаем вектор слова на матрицу) и ищем наиболее близкое слово из другого языка в векторном пространстве. И это адекватно работает!

Какой гипотезой мы здесь пользуемся: векторные пространства языков имеют похожую структуру. Поэтому можно попытаться "наложить" одно векторное пространство на другое, что мы умножением на матрицу генератора и делаем. По-научному сейчас это назвали бы "unsupervised alignment of embedding spaces".

Когда-то философ Виттгенштейн опубликовал свой труд Tractatus Logico-Philosophicus, в котором пытался задать язык, идеально описывающий реальность. Язык фактов :) Опираясь на этот труд, можно было бы и поверить в нашу гипотезу. Но сам же Виттгенштейн в более поздние годы переобулся и постулировал, что язык задаётся контекстом использования. Иногда его цитируют, когда объясняют word2vec :)

И на затравку: такой подход с unsupervised alignment можно применять для zero-shot двубашенных рекомендаций, когда у нас есть векторы объектов. С помощью обученного генератора можно получить рекомендации для пользователей, даже если нет взаимодействий между пользователями и айтемами.

Читать полностью…

# Ценность невежественной мысли

В этом канале я периодически пишу что-то о жизни, сложных явлениях нашего мира и даже вопросах сознания. Каждый раз при этом думаю: зачем?

Я не знаком со всеми работами Чалмерса и других философов, которые потратили всю жизнь на изучение вопроса сознания. Значит все, что я скажу, будет где-то на спектре от банальности до лютого кринжа. Кто-то уже подумал мою мысль, написал про нее три тома, разочаровался в ней, полностью переосмыслил концепцию, умер за неё от удара кочергой в висок. Какое же надо иметь самомнение, чтобы сотрясать воздух?

Многие образованные в какой-то сфере люди любят напомнить невежам, осмелившимся на какое-то там мнение, где их место.

Однако мы живём в очень сложном мире и стоим на огромном наслоении плеч гигантов. Если для формирования мнения вам нужно узнать все актуальные знания по теме, то у вас никогда не будет никакого мнения. Даже если будет его нельзя будет назвать вашим мнением. Думаю этот факт очевиден каждому, но он не отвечает на вопрос: а где же ценность собственного мнения, если оно наверняка невежественно?

Недавно я услышал хорошую мысль: чтобы выйти за пределы общего фрейма и видеть то, что не лежит на поверхности, нужно не читать, а писать. Чтение делает вашу точку зрения ближе к средней по больнице даже если вы читаете самые умные книги.

Невозможно постигнуть все накопленные человечеством знания. Но значит ли это, что нам повезет, если мы родим одну оригинальную мысль за жизнь?

Думаю, что проблема здесь в понятии оригинальности мысли. Чего мы собственно хотим? Я лично хочу иметь картину мира, которая позволит мне принимать хорошие решения. Еще хочется получать удовольствие от интеллектуальных изысканий, а не жить в страхе сказать глупость.

Для достижения этих целей мне не нужна такая мысль, которая будет более интересной, чем всё, что было сказано ранее. Мне нужна мысль которая будет полезна в моем уникальном контексте момента на жизненном пути. Текущий фрейм неразрывно связан с текущим контекстом, а значит для выхода за его пределы мне нужна мысль актуальная в этом контексте, не просто какой-то агрегат вековой мудрости.

Как делать такие мысли? Явно что-то не так с идеей просто выдавать любое невежественное мнение и гордо заявлять, что ты независимый мыслитель. Обратный путь, всегда стараться выдать самое информированное мнение на свете, нереализуем.

Нужен некоторый навык. Проще всего демонстрируется на фактологических вопросах. Например, возьмем вопрос происхождения COVID-19. Произошел он из лаборатории или нет, мы никогда не докопаемся до всей сути. Мы живем в окружении неизбежной неопределённости, но принимать решения и формировать мнение все равно приходится. Способность делать в голове модели работы мира не надеясь получить всю информацию это ключевой навык. В свою очередь он требует другого мета-навыка: способности думать о своем мышлении, составлять мнения о процессе формирования мнений. Так, с развитием этого навыка люди переходят от мнений в виде абсолютных истин к мнениям вида распределений или других способов смоделировать неоднозначность этого мира.

Этот мета-навык тренируется только одним способом: думать свои мысли, затем прикалывать их к реальности и переосмысливать. Здесь можно сразу выделить два потенциальных режима провала. Первый это не пытаться думать свои мысли вообще, потому что кто-то их уже придумал. Второй это думать мысли, но никогда не признавать их несовершенство.

Я целиком за то, чтобы я, вы и все остальные формировали и выражали свои невежественные и неоригинальные мысли, но не держались за них слишком сильно. Поэтому существует этот канал. Экспертные знания, книги и вековая мудрость необходимы как побуждение к мыслям, которым далее предстоит пройти фильтр реальности.

Я таким образом объясняю себе, почему в телеграме я подписан практически исключительно на авторские каналы относительно "обычных" людей, а не на гуру. Каждый раз подписываясь на гуру я замечаю, что мне очень скучно и совсем не интересно. Парадоксальным образом обычные люди выдают больше оригинальных мыслей, а эксперты повторяют консенсус.

Читать полностью…

Как помнят старожилы, когда-то #ИИнфобизнес был регулярной и уважаемой рубрикой на данном канале. Мои колкие слова, словно острые иглы, лопали нурглитские прыщи с надписями "напиши девять нейросетей за три дня" ( https://habr.com/ru/articles/732556/ ); мои промпты, словно пилка для пяток, соскребали шелушащиеся оболочки с "разработанной Турботекстом" нейросети "Всезнайка", обнажая под ними обычный ChatGPT ( /channel/tech_priestess/784 ); мои запросы в Гугл, словно молния, раскололи хитрый план Зерокодера выдать "600 AI Tools" от AI Daddy за собственноручно подготовленный материал ( /channel/tech_priestess/575 ), но потом... потом мне просто надоело. Творения ИИнфобизнесменов, монотонно доящих людей, не умеющих гуглить, оказались слишком однотипными, чтобы надолго удержать мой интерес. В итоге все это приелось, и я забросила эту рубрику.

Однако, сегодня я-таки наткнулась на необычный образец - проект "ИСКУССТВЕННЫЙ СВЕРХРАЗУМ" 🧠:

https://8is.ru/ (см. также рис. 1).

Мне стало любопытно, как могут выглядеть в наше время ИИ-юрист, ИИ-фармацевт и ИИ-проект-менеджер (рис. 2). 🤔 Наверное, за такую цену промпты к Claude 3 или GPT 4, которые будут играть роль Искуственного Сверхразума 🧠, должны быть очень длинными и содержать целую пачку документов, скачанных из интернета! А может быть, на этот миллион даже купят A100, которая с помощью рандомного скрипта, скопипащенного со stackoverflow, и случайного датасета с HuggingFace, породит новый файнтюн LLAMA-3... 🥴🧠
Как вы считаете, какой бэкбон может быть у этой затеи, а самое главное, что произошло с лицами порождений Кандинского, украшающих сайт (рис. 3)? 🧐

#ИИнфобизнес

Читать полностью…

Фотографии додиков собрали больше ста реакций. Функция Дирихле - тридцать пять. Что ж, посмотрим, сколько классов соберет рассказ про статью "Interpreting CLIP's Image Representation via Text-Based Decomposition" ( https://arxiv.org/abs/2310.05916 ). 🤨

Основной фокус данной работы - анализ функций голов внимания моделей семейства CLIP с точки зрения их семантики. Для начала напомню, что в пространство эмбеддингов CLIP можно (и нужно) вкладывать и картинки, и короткие тексты. При этом модель изначально тренируется так, что картинки и тексты со схожей семантикой стремятся иметь как можно более похожие эмбеддинги, а картинки и тексты с разной семантикой - как можно более разные. Пользуясь этим свойством, можно разобраться, какой смысловой аспект картинки извлекает каждая голова.
Оказалось, что разные головы выделяют разные смысловые аспекты. Так, одна голова больше всего реагирует на количество объектов на картинке, другая - на разные латинские буквы. Также авторы нашли головы, которые выделяют характеристики цвета, текстуры и т.д. Есть и такие головы, у которых интерпретации отыскать не получилось.
Другое наблюдение, для меня лично более неожиданное: выходы всех attention слоёв ViT (трансформера, который используется в CLIP как backbone), кроме последних четырех, можно заменить на некоторую усредненную константу без сильной потери качества классификации на ImageNet. Потому авторы сосредотачивают внимание на анализе голов внимания именно с этих четырех последних слоев. Что же касается MLP-слоев - они вносят еще меньший вклад в качество на ImageNet, поэтому авторы их не анализируют вовсе в данной работе.

Теперь немного о технических деталях.

Главная техническая проблема, встреченная авторами на пути интерпретации работы голов, была следующей: как конкретно найти тексты, близкие по смыслу к задаче, решаемой данной головой, по какому алгоритму?
Проблема эта решается не однозначно. Дело в том, что отображение из пространства текстов в пространство эмбеддингов является необратимым. На 100% точно понять, какому конкретно тексту соответствует заданный эмбеддинг, невозможно. При этом текстовых токенов в CLIPе используются десятки тысяч, а значит, всех возможных текстов, состоящих даже из двух токенов, существуют сотни миллионов, не говоря уже о более длинных текстовых последовательностях. Из-за этого комбинаторного взрыва просто перебрать все возможные тексты, чтобы найти тот, который ближе всего к какому-то заданному эмбеддингу, за разумное время тоже нельзя. Поэтому авторы решили ограничить перебор, использовав для своего анализа ограниченный объем текстов. Для этой цели они использовали описания, сгенерированные ChatGPT для изображений из ImageNet и некоторое количество дополнительных генераций. Как мне кажется, этот момент может вносить неточность в интерпретацию работы голов, т.к. возможно, существуют тексты, которые точнее описывают роль каждой головы, но они не были найдены из-за вычислительных ограничений.

#объяснения_статей

Читать полностью…

Этот неловкий момент, когда стрижка и очки сочетаются настолько неудачно, что ты превращаешься в мем.

#о_себе

Читать полностью…

Нравилось мне семейство моделей фи за то, что они маленькие, быстрые и неплохо себя показали для детекции границы между промптом и генерацией в частично сгенерированных текстах (см. наш с коллегами препринт: https://arxiv.org/abs/2311.08349 ).
А сейчас гляньте-ка, в новом поколении их тоже стали увеличивать: /channel/gonzo_ML/2531 и варианта 1-2В на этот раз уже не сделали. 😡 Честно говоря, мне не очень ясна мотивация убирать мельчайший вариант и добавлять стандартную линейку размеров, в которой уже есть llama и mistral и ещё дофига аналогов. Чего они добились? Того, что расстроили меня? 😭

Читать полностью…

Продолжаю насиловать llama 3. Вот вам сказка "Репка" в стиле Буковски:

В тот день, когда я решил достать репку из земли, я был так же опустошен, как и сама земля. Грязь под ногами хлюпала, словно рвота после очередной ночи выпивки. Я навис над этой проклятой репкой, которая почему-то не хотела лезть из земли. Я пнул ее ногой, но она осталась на месте, упрямо зарывшись в проклятую землю. Я ругался с ней, как с последней шлюхой на улице. "Вылезай, чертова репка! Что ты там делаешь?!" Но репка не слушалась. Она оставалась там, где была, словно ждала смерти или чего-то похуже. Я начал рыть вокруг нее, но земля была твердая, как бетонный пол в баре. Тогда я позвал свою жену, бабку. Она пришла, глядя на меня с отвращением, словно я был последним говном на Земле. "Что ты делаешь с этой репкой?" - спросила она." Я пытаюсь ее достать," - ответил я. "Ну, конечно," - сказала она. "Ты всегда был таким дураком." Бабка взяла меня за руку и начала тянуть репку вместе со мной. Мы тянули и тянули, пока не услышали звук разрывающейся земли. И вот мы достали ее. Репка была огромная и грязная, словно моя собственная жизнь."Ну что?" - спросила моя бабка. "Ничего," - ответил я. "Просто еще одна репка." Бабка посмотрела на меня и сказала: "Ты знаешь, ты похож на эту репку. Ты тоже сидишь в земле и не хочешь вылезать и двигаться" Я ничего не сказал. Я просто стоял там, держа в руках эту грязную репку, и думал о том, что она права.

Читать полностью…

Дорогие техножрецы, техножрицы, грибы-мекбойзы, леди-кустодес, скитарии-фембои, мозги в банках без физических атрибутов и все остальные читатели!

Просьба накидать бустов во славу Омниссии - /channel/boost/tech_priestess , дабы наш благочестивый паблик смог обрести больше благословенных эмодзи в реакциях на посты. 😉

Читать полностью…

#генерация ChatGPT-3.5

Читать полностью…

Мне в личке задали вопрос, ответ на который, как мне показалось, может заинтересовать дорогих подписчиков. Вопрошают следующее (перефразировано):

Насколько глубокая математика нужна для ML ресерча, что чаще всего приходится использовать? Например, нужно ли знать какие-нибудь сложные дифуры или тензорные вычисления необходимо, может какие-то специфичные теоремы из мат. анализа или теории оптимизации? Или быть может "базового" набора хватает?

Как не написано в приветственном посте о себе (ой), до PhD я учился в ныне-подсанкционном Сколтехе, а ещё раньше – на факультете бизнес-информатики (тепереча кличущаяся высшей школой бизнеса) НИУ ВШЭ. Заглянем в диплом бакалавра: на тройку сдана дискретная математика и линейная алгебра, на четвёрку – мат. анализ. В магистратуре были сданы линейная алгебра и методы оптимизации на четвёрочки. Это – полный список курсов. Если честно, я вообще не помню, что в сколтехе были опты. 🎒

Из этого почётного списка должно было стать понятно, что формального математического образования у меня меньше, чем у авторов многих уважаемых телеграм-каналов. Конечно, иногда хочется быть Терри Тао и зарешивать одну нерешённую проблему за другой 🤴. На практике, приходится довольствоваться интуитивными знаниями о системах, с которыми работаешь. Для развития интуиции хорошо работают задачки Ферми, где нужно прикинуть какое-то значение при довольно грубых приближениях. Из того, что мне понадобилось сегодня – “сколько проекций нужно LSH для достижения нужной полноты (recall) поиска?” 🧐

Машинное обучение – область науки с ярко выраженными теоретическими и инженерными составляющими. Хочешь – доказывай теоремы про VC-размерность, хочешь – пили сота-модели на исключительно инженерных трюках. Между этими крайностями – много возможностей для того, чтобы сделать более или менее практический вклад в науку. У разных конференций разный фокус – на ICML будет чуть меньше чисто-практических статей, на NeurIPS – больше. Из того, что я вижу – хорошие исследователи получаются из тех, кто не стесняется разбираться в данных и моделях – примерно как Андрей Карпатый, который пишет LLMки на C или Chris Olah, который развивал distill.pub. 🫡

Мне кажется, невозможно заранее знать всю математику для всего MLя: сегодня нужна теория игр для GANов, завтра – диффуры для диффузионок, послезавтра – арифметику для LLMок. При этом не знать совсем ничего – точно не полезно! Обычно у исследователей нарабатывается какой-то математический инструментарий, который используется для написания статей. Если выбрать что-то одно, мне кажется, что вычислительная линейная алгебра (включая мои любимые вероятностные алгоритмы) – один из наиболее универсальных инструментов.

У рисёрчера нет цели, есть только путь до ближайшей конфы на багамах. Если для статьи нужна какая-то математика, в ней всегда можно попробовать разобраться, ну или найти соавтора ☺️, они для того и нужны.

Читать полностью…

Вот так! Даже бот за пять минут понял прикол этой задачки!

Читать полностью…

#от_коллеги
#из_твиттера
Тем временем люди в большом Nature сделали все ошибки, которые возможны при работе с UMAP.

Рубрика "💩 в Nature"
💩 в Nature — все как в природе

Твиттер-тред

Читать полностью…

Шок! На LMSYS arena появился новый бот! Он называется Rosenblatt's perceptron и решает ВСЕ задачи, которые не получалось решить раньше! Что это? GPT-4.5? GPT-5? Самозародившийся AGI?! Зайдите и проверьте сами:

https://chat.lmsys.org/

Читать полностью…

2028 - 10000000000000000000000000000000% MMLU
2029 - алеф нуль MMLU
2030 - континуум MMLU
2031 - СNHГYЛRРН0СТb
2032 - [ДАННЫЕ УДАЛ3Нb|]
20?? - [Y??? Д0СТУП 3АПPЕЩ

Читать полностью…

Предыдущий пост уже раскритиковали, потому что наблюдение не переносится на язык дельфинов и других животных.
Но зато вот вам рандомный мем в честь того, что я еду с работы домой.

Читать полностью…

Ребята из Сколтеха попросили рассказать про два их соревнования: 🪑 по графам знаний и по мультиязычной детоксификации текстов (дорожки на ACL и CLEF-2024):

🧬 Shared Task on Knowledge Graph Question Answering: https://sites.google.com/view/textgraphs2024/home/shared-task
😈 Multilingual Text Detoxification (TextDetox) 2024: https://pan.webis.de/clef24/pan24-web/text-detoxification.html
Проходить это будет в Банкоке и Гренобле.

Иллюстрации ко второму соревнованию мне особенно понравились, поэтому с удовольствием прикрепляю их к посту 😜

Читать полностью…

Ещё три статьи про внутренние представления в нейросетях, которые мне понравились за последнее время:

1️⃣ Про изменение анизотропии и внутренней размерности эмбеддингов NLP-трансформеров в процессе обучения (плюс рассмотрена анизотропия по слоям) - "The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models":

/channel/abstractDL/250
/channel/abstractDL/271

(В комментариях к постам можно задавать вопросы авторам!)

2️⃣ Про изменение внутренней размерности по слоям и в процессе обучения сверточных нейросетей - "Intrinsic dimension of data representations in deep neural networks":

https://arxiv.org/abs/1905.12784

На этот раз без разбора, но если вы понимаете, что такое внутренняя размерность, то суть должно быть несложно уловить по иллюстрациям. Если не знаете, рекомендую начать с видео 3blue1brown https://www.youtube.com/watch?v=gB9n2gHsHN4 , которое знакомит с главной идеей внутренней размерности, а потом в самой статье прочитать про оценку этой размерности с помощью алгоритма TwoNN.

3️⃣ Про роль разных голов внимания NLP-трансформеров в извлечении информации из длинного промпта, их связь с галлюцинациями - "Retrieval Head Mechanistically Explains Long-Context Factuality":

/channel/seeallochnaya/1329
/channel/seeallochnaya/1330
/channel/seeallochnaya/1331

#объяснения_статей

Читать полностью…

Итак, насколько мне удалось понять, для каждой конкретной головы авторы сначала выделили соответствующее ей подпространство в выходе Multi-Head Attention (MHA) слоя (напомню, что на выходе MHA-слоя выходы всех голов просто конкатенируются и умножаются на матрицу W_o; зная W_o и порядок голов, из получившегося результата можно выделить обратно вклад каждой головы в большой эмбеддинг на выходе). Затем, они прогнали изображения ImageNet через CLIP и для каждого изображения нашли его эмбеддинг в это подпространство. То же самое сделали они для своего набора текстов. Далее, они смотрели, по какому направлению у набора эмбеддингов изображений с данной головы наибольшая дисперсия и подбирали под это направление наиболее близкий эмбеддинг текста из набора. Затем они исключали это направление из пространства, смотрели на следующее направление с максимальной дисперсией и так далее. Делалось все это это с помощью мутноватого алгоритма TEXTSPAN, который, похоже, представляет из себя смесь перебора и процесса ортогонализации Грамма-Шмидта 🤔. Таким образом, эмбеддинги картинок с каждой головы как бы раскладывались по "базису" текстовых описаний. В общем-то, по этому базису они и делали вывод о том, на какую семантику реагирует данная голова.

Несколько иллюстраций из статьи прикрепляю к посту для наглядности. Если что, в самой статье их намного больше, если интересно, рекомендую глянуть.

#объяснения_статей

Читать полностью…

В кои-то веки поддержу Панчина в его начинании и запощу у себя его видос:

https://youtu.be/EVBwYFQwPaU?si=I55ssHzIG5UHMVJA

P. S. Если будете разводить политоту в комментах не в меру, придется... принять меры 🤡 так что будьте осторожнее 😁

Читать полностью…

Интересный видос, в котором всего за восемь минут рассказывают сразу про несколько замечательных свойств функции Дирихле (функция эта примечательна тем, что ломает многие "наивные", интуитивные предоставления о математических функциях и потому является как бы контрпримером к таковым представлениям): https://youtu.be/7HbyO2PPXkg?si=RWEk_kQJ-e3VlLdN (англ.). Видос рассказан довольно простым языком, так что даже первокурснику будет понятно.

Напомню, что про эту и другие интересные и необычные функции 🤓 можно прочитать в замечательной классической книжке: /channel/tech_priestess/110 (правда, для её полного понимания требуется больше математической подготовки 🤓).
Заодно напомню и про ещё один интересный контринтуитивный математический объект, удостоившийся подробного описания и в книжке, и в видео на Ютубе, и в моем паблике - кривые, заполняющие пространство ( /channel/tech_priestess/728 ).
Эти кривые правда крутые.

#математика

Читать полностью…

Показалось, что в предыдущем посте я недостаточно раскрыл тему того, что вообще делает из человека хорошего рисёрчера.

На эту тему написано множество книг (и ещё больше телегам-постов), но, надеюсь, моя точка зрения кому-то приглянется. Нижеприведённые качества обычно вырабатываются у людей за Ph.D., но, как мне кажется, их можно осознанно тренировать. Как? Записывайтесь на мои курсы осознанности.

Во-первых, (этот пойнт был и в предыдущем посте, но кто ж меня читает) у всех отличных исследователей, кого я знаю, есть неутолимая тяга разбираться в предмете. Где в модели не текут градиенты? Откуда берутся артефакты на картинках? На каких примерах происходят ошибки? Сходится ли модель на игрушечных данных? Последний вопрос – мой любимый; хочется уделить ему особое внимание. Дело в том, что в машинном обучении чаще всего вот эти вот все "настоящие данные" с "ground truth"ом – это всё дикий шумный лес, за которым порой бывает сложно разглядеть, куда, собственно, надо улучшать метод. 🤔

Приведу пример из одной из моих статей. Писал я её в ковидном заточении ⛓, когда я увидел на архиве статью под названием "Mincut pooling in Graph Neural Networks" (почему-то после публикации моей статьи её переименовали в куда более модное "Spectral Clustering with Graph Neural Networks for Graph Pooling" 🤔). Я начал играться с их лоссом, но на некоторых графах он у меня не сходился. Для дебага я написал простенький генератор синтетических данных – две гауссианы и k-NN граф на их основе – такой должен хорошо кластеризоваться. Потыкав с генератором, я заметил, что на нецентрированных данных MinCut лосс из статьи не работает. После этого достаточно было разделить лосс на две компоненты и посмотреть, как они оптимизируются в процессе обучения, чтобы понять, что в их статье (шок) никакой кластеризации графа не происходит – происходит только ортогонализация фичей вершин. Это позволило мне понять, куда копать, и написать неплохую статью, которую после трёх лет страданий всё же опубликовали в JMLR. Эти эксперименты, конечно, в финальную версию статьи не прошли.

Во-вторых, это умение отделять зёрна от плевел (pop quiz: кто помнит, кто такие плевелы?) в чужих статьях. Такое вот умение читать между строк и сквозь них 🤔 – вот это утвеждение сделано потому что авторам нужно было что-то сказать или они и правда проверили все остальные альтернативы? Правда ли в этом месте нужен вот этот компонент или его ввернули ради красивой теоремы в аппендиксе? Звучит довольно очевидно, но слишком часто мне приходится разубеждать инженеров, которые вычитывают в литературе какую-нибудь неподтверждённую дрянь и кидаются её реализовывать.

Перефразируя Камю, рисёрчера делает рисёрчером в большей степени то, о чём он умалчивает, нежели то, что он пишет в статьях. Вместе с подписчиками надеемся на то, что меня отпустит с пацанскими цитатами. 🐺

Читать полностью…

Где-то году в 2021м-2022м я начала проходить курс "Дифференциальная геометрия" (или "Введение в дифференциальную геометрию"?) от ВШЭ на coursera для того, чтобы освежить в своей памяти этот уважаемый предмет. В курсе можно было не только смотреть лекции, но и проходить тесты (с выбором варианта либо вводом числа), что я с удовольствием и делала. Но вот незадача: после всем известных событий курс сгинул вместе со всеми остальными курсами coursera от российских университетов. А там уж и мне стало не до того.
Недавно я вспомнила про этот курс и поняла, что скучаю по нему. Может быть, кто-то знает, где теперь найти этот или похожий курс хорошего качества? 🥺🥺🥺

#учебные_материалы

Читать полностью…

Попались мне за последние дни целых два очень интересных выпуска подкаста со странным названием "подлодка". Один из них называется "обязательные знания для тимлида":

https://music.yandex.ru/album/7570122/track/121189304

Однако, в выпуске этом есть много информации, полезной не только для тимлидов, но и для всех остальных. Мне особо интересной показалась часть про физиологию и психологию труда.
🌟 Так, у меня словно гора с плеч свалилась, когда я узнала, что это совершенно нормально, что работник плохо работает в условиях стресса. Дело в том, что у меня много знакомых хвастаются, что их стрессовая ситуация заставляет мобилизовываться (в хорошем смысле) и работать более эффективно, чем обычно. А я так не могу. Меня стресс, наоборот, выбивает из колеи и снижает мою работоспособность в разы. Раньше я думала что так происходит потому что я какая-то неправильная и вообще слабачка и ничтожество, и я очень сильно себя за это ругала. А когда узнала, что это нормально, то почувствовала себя так, будто мне отпустили тяжёлый грех. 💫
🌟 Кроме этого, много полезного можно узнать про то, как улучшить свою работоспособность и работоспособность подчинённых (если они есть), правильно обустроив свое рабочее место, построив нужным образом отношения в коллективе и прочее, и прочее, и прочее.
🌟 Ну и в целом разную интересную информацию можно услышать про управление людьми и организацию работы, а главное, указания, куда копать дальше, если хочется развиваться в этом направлении.

---

А в другом выпуске можно послушать по-настоящему захватывающий рассказ про Аду Лавлейс -

https://music.yandex.ru/album/7570122/track/124190366

Из него можно узнать ответы на следующие вопросы:
🌟 КТО был отцом Ады?
🌟 КАК ей удалось получить такое замечательное математическое образование?
🌟 ЧТО из себя представляла аналитическая машина Чарльза Бэббиджа?
🌟 КАК выглядели первые в мире программы?
🌟 ПОЧЕМУ личность Ады до сих пор вызывает такие бурные дискуссии?

Скандалы, интриги, расследования, да ещё и с объяснениями технических деталей того, в чем именно заключались открытия Лавлейс и Бэббиджа в области программирования (многие из этих открытий, по всей видимости, сделаны "в неразрывном сотрудничестве", как сейчас говорят) - такие объяснения я слышу нечасто и поэтому ценю. 🍿

#подкасты

Читать полностью…

🌸Стрим на Рабкоре в 20.00🌸

Сегодня, в 20.00 по мск

На этом канале я часто рассказываю про проблемы авторских прав, доступа к научных знаниям, взаимодействия ИИ и науки.

Сегодня на Рабкоре необычный стрим: сегодня в гостях — Юрий Кашницкий @new_yorko_times , Principal ML Scientist в Elsevier, а также создатель открытого курса по МЛ mlcourse.ai

Приходите!
Будем обсуждать проблемы науки и научного знания:
— Ситуацию с доступом к научным работам, подходы традиционных издательств и открытых платформ;
— Как так вышло, что издательства берут деньги за публикацию статей?
— Платформы распространения научных публикаций, их историю и роль сейчас;
— Акселерацию науки с помощью ИИ — в чьих она руках? Попадут ли публикации из того же Эльзивир в обучение вообще?
— Какие способы читерства существуют в науке? Как LLM меняют научный ландшафт уже сейчас?
— А распознать текст, написанный LLM, вообще возможно?

🟣Youtube:
https://youtube.com/live/Ycx-DwO0cbY

Читать полностью…

Но, отвечая на Ваш вопрос, я вспомнил и о неприятии А. Пуанкаре математиками его эпохи: его учитель Эрмит, например, браковал его (даже на вступительном экзамене в Эколь Нормаль) за то, что «на его чертежах окружности неотличимы от треугольников». Пуанкаре нашел выход – он поступил не в Эколь Нормаль, а в Эколь Политехник, да и Академию Наук был избран не по математике, а по астрономии (для чего и написал свою главную математическую книгу «Новые методы небесной механики»).
Но самое главное – он изобрел топологию, в которой треугольники и окружности
эквивалентны.

из интервью В.И. Арнольда

Читать полностью…

Краткое пояснение к репосту выше.

UMAP - это метод уменьшения размерности. То есть, UMAP принимает на вход набор точек из пространства высокой размерности, а на выходе показывает их вложение в пространство маленькой размерности (чаще всего, на плоскость). Метод является:
а) нелинейным (грубо говоря, разные части исходного пространства по-разному "растягиваются", "поворачиваются" и "сжимаются" в процессе проекции на плоскость, которую мы видим на финальной диаграмме);
б) вероятностным (т.е. при запусках с разными начальными состояниями генератора псевдослучайных чисел может получиться разный результат);
в) сильно зависящим от гиперпараметров (т.е. чтобы метод действительно показал те свойства пространства точек, которые важны для вашей задачи, его нужно настроить с умом).

В принципе, уже этой информации достаточно для того, чтобы понять, почему по расстояниям между точками на плоскости, в которую вложил ваши данные UMAP, не нужно делать выводы о расстояниях между точками в исходном пространстве (т.е. в чем заключается методологическая ошибка статьи из репоста). Метод просто для этого не предназначен. Вместо этого, основным свойством UMAP-а является то, что он в какой-то степени сохраняет отношение соседства - то есть, кластеры точек (группы соседних точек) на плоскости, которую нам показывает UMAP, будут в какой-то степени соответствовать кластерам точек в исходном пространстве. А поскольку обычно в качестве пространства рассматривается пространство некоторых признаков (фичей) реальных объектов, то те точки, которые формируют кластер, будут соответствовать тем реальным объектам, которые являются "похожими" друг на друга. Таким образом, посмотрев на двумерное вложения облака таких точек с помощью UMAP, можно визуально идентифицировать группы похожих объектов. Ну а дальнейшая ваша реакция на эту информацию уже должна зависеть от особенностей конкретной задачи.

Очень хорошее, наглядное объяснение того, что такое UMAP и примеры его применения можно увидеть в этом коротком видео:
https://www.youtube.com/watch?v=6BPl81wGGP8 (англ.)
Если вы раньше не сталкивались с этим методом, крайне рекомендую его посмотреть и пройтись по ссылкам в описании видео - так станет намного яснее, что к чему. Заодно и избежите ошибок в будущем!

#учебные_материалы

Читать полностью…

Ещё из наблюдений:

💿 Заметила, как на мои рецензии и оценки влияет мое физическое состояние. Так, в тот момент, когда у меня обострились проблемы со здоровьем, и я испытывала физическую боль, мои ревью стали намного более токсичными, чем обычно, а оценки ниже. Это произошло в период оценки 1й-3й статьи в цикле, и чуть позже, прямо перед началом дискуссии с авторами, я решила поднять оценки на эти статьи на полбалла, чтобы как-то компенсировать данную необъективность. Тексты, впрочем, мне править было некогда, так что их тон так и остался раздраженным. Пока я не поняла, как мне справляться с собой в таких ситуациях, чтобы быть более справедливой, буду ещё думать об этом.

💿 По идее, такие вот случайные факторы, влияющие на объективность ревьюеров, должен сглаживать мета-ревьюер, который (в идеальном мире) является самым ответственным и опытным научным коллегой, который изучает каждое ревью и выводит некую финальную взвешенную оценку по их совокупности. Но на практике, конечно, так получается далеко не всегда. Иногда встречаются и метаревьюеры-самодуры, которые игнорируют оценки рядовых ревьюеров и уж, тем более, не снисходят до чтения абстракта статьи (про текст уже никто даже не заикается), а просто пишут какую-то хрень и ставят итоговую оценку, никак не коррелирующую с оценками ревьюеров.

💿 Например, когда мы с коллегами отправили очередную работу про детекцию сгенерированных текстов на декабрьский цикл ARR, наш препринт получил оценки от ревьюеров 3, 2.5 и 2 по пятибальной шкале. Не густо, но если бы метаревьюер поставил среднее арифметическое (то есть, 2.5), статья вполне могла бы отправиться в какой-нибудь дополнительный том или на NLP-конференцию уровня B (😈). Однако, сверхразум не стал разбираться, что к чему и...
...поставил единицу (минимально возможная оценка, которая интерпретируется как "Even after revisions, the paper is not likely to be publishable at an *ACL venue"). 🤡 По какой-то причине ему показалось, что в статье детектируется генерация только одной модели, и это его, видимо, очень сильно разозлило. 🔥 Хотя это очевидно не так - в статье детектировались генерации нескольких генеративных моделей и большой упор - ironically! - делался на кросс-модельный сетап (т.е. такой сетап, где детектор тренируется на выходе одного генератора текста, а потом качество его детекции проверяется на другом). Этот момент был, в том числе, отображен и в абстракте, и даже в TL;DR, то есть чел даже в те два предложения, которые идут сразу после названия статьи, не вчитался, не то, чтобы на оценки ревьюеров внимание обращать... Честно говоря, у меня возникло подозрение, что он мог просто прогнать ревью и текст статьи через какую-нибудь LLM, попросить выдать саммари, получить ошибочное заключение, а потом для порядка пять минут потыкать в рандомные части статьи и сделать про них пару замечаний - типа прочитал.
Попытки что-либо разъяснить, разумеется, успехом не увенчались - наш комментарий с разъяснениями ответом удостоен не был. Пришлось забирать работу с ARR, дорабатывать текст (разумеется, за те два месяца, которые длился цикл, секция "Related Work" устарела 🙄), проводить дополнительные эксперименты - в соответствии с замечаниями тех ревьюеров, которые были адекватными и критиковали статью по делу, - а потом...
...
...отправлять все это на DL-конференцию, не связанную с ACL, потому что на ARR статья уже зашкварилась. Черт, я даже не уверена, можно ли в принципе переподать её на ARR с такой оценкой. Но если и можно было бы, то все новые ревьюеры и мета-ревьюер видели бы зашквар в виде единицы и абсурдного мета-ревью, которое не отображает суть работы, а это так себе перспектива. 😱

💿 Справедливости ради, такой треш, похоже, встречается довольно редко. Так, среди тех статей, которые рецензировала я сама, ВНЕЗАПНОГО мета-ревью с единицей мне не встречалось. И тем не менее, такие случаи неприятны, а инструменты борьбы с ними неясны. Да, можно пожаловаться на ревью с оскорблениями или домогательствами. Но механизмов воздействия на просто нерадивых мета-ревьюеров я пока не знаю.

#наука

Читать полностью…