Эфир, кстати, закончен, и его запись с разметкой по темам разговора будет выложена через неделю.
P.S. Кто-нибудь вообще узнал мухомор из вкусвилла? 😬

Читать полностью…

Микродозим мухоморы вместе с Протеиновым Шовинистом! Подключайтесь!

/channel/ProteinChauvinist?livestream

Читать полностью…

https://youtu.be/USLv9B_oIOQ

Ну наконец-то наш культ разоблачили! 😈😈😈

Ладно, не совсем наш. Примерно половина из того, о чем он говорит, мне в моей практике (в аспирантуре/на работе) не встречалось или встречалось в очень маленькой степени. Возможно, мне повезло; а может быть, его страшилки в большей степени относятся к Западным академическим структурам или даже к конкретной области, в которой работал автор - точно не знаю. Но хот тейк все равно смешной. 😼

Читать полностью…

https://www.safe.ai/blog/humanitys-last-exam
(спасибо Игорю за наводку)

Ребята собирают "последний экзамен человечества", идеальный бенчмарк против моделей. За лучшие 50 вопросов платят 5000$ за каждый, за лучшие 500 по 500$, за любой принятый вопрос — соавторство в статье. Чем больше принятых вопросов, тем выше позиция в списке авторов. Я на свой первый вопрос уже 2 часа потратил и отослал (только он так и не отобразился в личном кабинете 💀).

Отсылать тут. Для отправки нужно, чтобы 5 топовых моделей на вопрос ответили неправильно. Вопрос должен быть авторским и уникальным. Ответ должен быть однозначным и объяснимым.

Вопросы гораздо проще составлять, если вы НЕ из IT, там допускается широкий спектр тем.

Читать полностью…

Что мне надо было бы опубликовать в канале, чтобы вы от него гарантировано отписались?

Читать полностью…

С пятницей 13м, тёмные геометры

The Dual Language of Geometry in Gothic Architecture: The Symbolic Message of Euclidian Geometry versus the Visual Dialogue of Fractal Geometry
N. Ramzy
Published 2015

https://www.semanticscholar.org/paper/The-Dual-Language-of-Geometry-in-Gothic-The-Message-Ramzy/3fdc77dbd4537d8471badd3d8bf95f84daa00d5e

Читать полностью…

...в Бога-Машину, конечно 👍👍👍

Читать полностью…

Котенков тоже родил! 🎉

https://habr.com/ru/companies/ods/articles/839694/

Читать полностью…

Наконец, родила:

https://habr.com/ru/articles/820531/

...учебный материал, посвященный оценке внутренней размерности геометрических фигур и облаков точек. 😌

#математика #учебные_материалы

Читать полностью…

А я скоро запощу статью на Хабре. 😉 Угадайте про что. 😉

Читать полностью…

До анонса принятых статей на NeurIPS – самую большую конференцию по машинному обучению – осталось чуть меньше трёх недель, но за кулисами кипит работа по финальному отбору статей. За последние годы конференция достигла колоссальных размеров – в прошлом году на конференцию было подано чуть более 13000 статей. 👥👥

Обслуживает этот поток ценных идей пирамида из 13000 рецензентов, 1000 area chair и 100 senior area chair. Каждый рецентент должен отрецензировать 6 статей, а area chair назначается на пачку из 12 статей, по которым должен принять окончательное решение, советуясь со своим senior area chair. В этом году меня первый раз повысили до смотрящего area chair 😎, из-за чего у меня немного поменялись взгляды на весь процесс.

Во-первых, сильно начали меняться оценки авторов после фазы rebuttal (ответа авторов на рецении). Рецензенты как будто боятся сразу поставить высокую оценку и выжидают, когда им станут доступны рецензии других людей. Сверяются с ними, что ничего не пропустили, и потом поднимают оценку. В моей пачке в среднем скор вырос на полбалла – и это с учётом статей, которые авторы сняли с процесса.

Во-вторых, авторы слишком увлекаются спорами с рецензентами. В двух случаях авторы в своих ответах писали то, что в конечном итоге цементировало моё решение о реджекте статьи. В одном особенно неудачном случае авторы решили конфиденциально сообщить о том, что, по их мнению, рецензент некачественно выполняет свою работу и вообще дурак . Пришлось глубоко разобраться в статье и прочитать сопровождающий код – оказалось, неправы были авторы. 🤦‍♂️

Ещё из новых ощущений – конфликт интересов: в этом году четыре статьи из моей пачки – работы, написанные на основе моих предыдущих статей. Для таких статей тяжело найти баланс – с одной стороны, я область знаю наизусть и поэтому могу склоняться выбирать понятные для себя статьи. С другой стороны, любые ошибки и сокрытия я тоже вижу с пол-пинка, так что авторам приходится несладко.

С увеличением ответвенности стало интереснее заниматься процессом – если честно, рецензировать я уже подзадолбался. За всё время я написал уже больше 100 рецензий, и сил моих читать одинаковые ошибки больше нет. Посмотрим, все ли мои решения останутся неизменными после поверки с senior AC.

Кстати, если у уважаемых подписчиков есть какие-то вопросы по всему процессу, могу попробовать ответить в комментариях. 👉

Читать полностью…

В комментариях помогли найти потерянное:
https://arxiv.org/abs/2402.01781
🎉🎉🎉
и ещё накидали много других интересных статей.

Всем спасибо! И сладкой, как щербет, ночи 🛏

Читать полностью…

Наткнулся на интересный пейпер — ресечеры протестировали насколько часто люди могут воспринимать GPT4 за реального человека:

— В 54% раз, люди восприняли GPT4 как человека

— В таком же тесте, где люди общались с людьми, кожаные мешки угадали себе подобных в 67% раз

Но самое интересное это промпт который использовали ученые — там есть такие части:

— Ты довольно непринужден и у тебя не очень хорошая орфография: ты часто портишь слова, потому что печатаешь слишком быстро. Ты очень краток и лаконичен.

— Ты не слишком хорошо разбираешься в вещах и не боишься этого признать. Ты плохо разбираешься в математике и не знаешь ничего о языках, кроме тех, на которых говоришь. Иногда ругаешься.

То есть чтобы сойти за живого человека, достаточно быть не очень приятным и образованным ☕️
AGI на заметку

Читать полностью…

Кстати, вот ещё хорошие новости для всех, кто интересуется темой mechanistic interpretability. Появились записи докладов с ICML-ного воркшопа, специально посвященного этой теме!
Вот они, слева направо:
https://slideslive.com/icml-2024/workshop-on-mechanistic-interpretability
Я лично собираюсь глянуть доклад по статьям Dissecting query-key interaction in vision transformers (это Spotlights 1), Decomposing and Interpreting Image Representations via Text in ViTs Beyond CLIP (Spotlights 2) и The Geometry of Categorical and Hierarchical Concepts in Large Language Models (Oral). А вы?

P.S.Очень удобно, что тут можно прокликивать слайды с правой стороны каждого видоса, и красный кружок на видосе будет показывать таймкод, который соответствует данному моменту пррзентации. ☕️

#объяснения_статей

Читать полностью…

Finding mundanity in the absurd

Читать полностью…

Если у кого-то есть контакты академика Хохлова ( /channel/khokhlovAR ), умоляю, перешлите ему этот мем

Читать полностью…

Иногда я читаю или вижу что-нибудь на тему того, как развиваться в научном ресерче (то есть в том, в котором пишут научные статьи)... и каждый раз испытываю сильную подавленность. А иногда испытываю подавленность даже просто вспоминая или задумываясь об этой теме.
Потому что все, что люди обычно говорят на эту тему, пронизано бессмысленностью. Под развитием в ресерче обычно понимают получение более высоких должностей, чтобы руководить большим количеством людей и фармить больше Хирша, а самому участвовать в исследованиях поменьше! Сами должность и Хирш, разумеется, при этом служат проксями для фарма денег и славы.
Но боже мой, как же это тупо и неэффективно... фармить деньги намного проще, работая прикладным ресерчером (который решает только конкретные задачи коммерческой компании, а статьи на отвлеченные темы не пишет) или инженером, а фармить известность намного проще, заведя всратый канал или блог на любой платформе или, блин, еще каким-нибудь из миллионов способов. Если чел ставит эти вещи главной целью своей академической карьеры - ну поздравляю, сверхразум выбрал абсурдно долгий и неэффективный метод для их достижения.

При этом никто особо не говорит о тех вещах в ресерче, которые лично мне, например, на самом деле интересны.

Мне интересно извлекать вещи из небытия в бытие. Вот, допустим, раньше какая-то идея, алгоритм, теорема или просто логический вывод существовали лишь как потенциальная, нереализованная возможность - так сказатб, в мире идей, в небытии. А ты берешь и заходишь за грань, на ту сторону, находишь их, берешь за ручку и ведешь на свет, в бытие, как выводил Орфей Эвридику из Аида (у него, впрочем, не получилось, но и у нас ресерчеров тоже часто не получается, это норма). И идея такая выходит в мир, обрастая мясом из экспериментов/доказательств. А еще мне интересно анализировать результаты экспериментов, интересно обыгрывать идею по-разному, до тех пор, пока она не принесет плоды, отлавливать ошибки в своих рассуждениях и коде. Ну и в целом мне нравится познавать мир, упорядочивать информацию, строить логические системы у себя в голове...

...но про то, как развиваться и улучшаться в этих аспектах - например, как находить более интересные идеи, ставить более прикольные эксперименты или глубже понимать реальность, - почему-то никто не пишет когда говорит про "развитие в ресерче". Нет, блин, давайте лучше обсуждать че то скучное, тупое, нагоняющее максимум подавленности и поражающее бессмыслицей.

Разговоры о карьере разработчика, впрочем, навевали на меня примерно тот же вайб. По этим разговорам выходит, что развиваться в области разработки нужно для того, чтобы... нет, конечно, не для того, чтобы создавать прикольные программы, как вы могли об этом подумать, маленькие что ли? Цель развития - получать повышение за повышением, чтобы... перестать заниматься разработкой и стать топ-менеджером, это же очевидно!

Но... зачем... вот заработаю я эти миллиарды воображаемых денег... а дальше что?
Мне деньги нужны в первую очередь для того, чтобы я могла спокойно заниматься тем, что мне интересно, не отвлекаясь на бытовые проблемы и нужды. Чтобы лечить болезни и решать разнообразные проблемы, ассоциированные с мясной тушкой и чтобы все эти проблемы, опять же, не отвлекали от того, что мне интересно. Ну и конечно чтобы на них устраивать себе прикольный отдых, когда я устаю и хочу переключиться, чтобы потом - опять же! - с новыми силами вернуться к любимым занятиям. Другими словами, они нужны, так сказатб, как красивая, комфортная рамка для картины под названием "жизнь", а на самой картине при этом я рисую то, что мне нравится.

Но зачем мне будут нужны деньги, если я не смогу при этом заниматься тем, что мне интересно - например, опять же, познавать мир, извлекать идеи с "той стороны", создавать то, чего раньше не было? Другими словами, зачем нужна рамка, если картина пуста?
Так почему же блин все бесконечно твердят про то, как украшать эту рамку и ничего не говорят про то, как улучшать наполнение?!!

#о_себе

Читать полностью…

Приятная новость - помимо постера, наша с коллегами статья "AI-generated text boundary detection with RoFT" (писала о ней, например, тут - /channel/tech_priestess/1743 ) получила Oral Presentation a.k.a. Spoltight на конференции CoLM:

https://colmweb.org/AcceptedPapers.html (рис. 1). 👉

А знаете, кто ещё его получил? 🤨

Не угадали, не Гитлер! 🥸
Его получила MAMBA (рис. 2).

Ну, а кроме смеха, есть во всем этот и грустный элемент: дело в том, что никто из нас не сможет поехать в США и этот самый доклад сделать. Одна из соавторов подала на визу, но её отправили на проверку, которая с вероятностью 99,9% не закончится до дат конфы (7 - 9 октября). Поэтому мы сейчас опрашиваем людей, которые едут на CoLM что-либо докладывать или показывать постер. Если вы входите в их число и готовы помочь с нашим постером/докладом, пожалуйста, напишите об этом в комментариях или в личку @laida_kushnareva .

Читать полностью…

Эфир с @tech_priestess состоится
22 сентября, в воскресенье, в 19:00

Читать полностью…

Стрим про карьеру, собеседования и бигтех
#career #interviews

Choose your fighter. Собрал вам тут бигтех-банду для стрима:

- Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие). Недавно устроилась, может рассказать про собесы и что именно спрашивают на менеджера;

- Артем Санакоев (LI) – Staff Research Scientist в цюрихской Мете, GenAI, автор канала @ai_newz (пост-приветствие). Собеседует на синьорные позиции в Мету;

- Сергей Иванов (LI) – Senior Applied Scientist в парижском Amazon, соавтор канала @graphML. Провел 100+ собесов в Амазон, может рассказать про хардкорные поведенческие вопросы;

- Борис Цейтлин (LI) – Staff MLE в берлинском eBay, автор канала @boris_again (пост-приветствие). Недавно отмучился с собесами;

- Юрий Кашницкий (LI) – Staff GenAI Solutions Architect в амстердамском Google Cloud, автор канала @new_yorko_times (пост-приветствие). Читатели этого канала знают про этот долгий заход по собесам (пост). Он же (то есть я) будет скоморошить, вести встречу.

Вопросы можно задавать заранее тут в треде, либо во время стрима. Можно адресовать конкретно кому-то из спикеров, например, «Вопрос Борису: доколе?»

Время: 20 сентября, 17:30-18:30 CET. Streamyard – ссылка для просмотра (там же по ссылке можно добавить в календарь).

Записи не будет, все вживую. Мест – максимум 1000 😀

Читать полностью…

Вчера суд Массачусетса вынес решение отклонить иск Франчески Джино к Гарварду и коллективу DataColada, который раскрыл фальсификации в нескольких работах Франчески. Этот скандал с фальсификациями – самый громкий за последние несколько лет: Джино была одним из ведущих учёных-бихевиористов, её работы были классикой в области. Дополнительную перчинку придаёт скандалу название её книги, вышедшей за пару лет до разоблачения: "Rebel talent: Why it pays to break the rules at work and in life". Такая вот ирония судьбы. 🤔

Мне кажется решение довольно важным в контексте прецедентности: расследовать чужой фрод в исследованиях – можно и нужно, в науке должно быть больше разоблачений плохих методов и сомнительных практик. Один из моих любимых блогов по теме ведёт Лиор Пахтер, который знатно проезжался по сомнительно известному в узких кругах исследователю графов Альберту-Ласло Барабаши.

А в ваших областях существуют такие правдорубы? Приглашаю обсудить в комментариях. 👀

Читать полностью…

Апокалипсис грядёт из-за развития нейросетей — патриарх Кирилл

По мнению главы РПЦ, развитие технологий в отрыве от веры ведёт к «катастрофическим последствиям».

Если человечество теряет религиозную веру в условиях нарастания технологий, связанных с появлением искусственного интеллекта, то мы действительно входим в эпоху апокалипсиса.

Отказываемся от веры в бога — опять опускаемся в эти дарвинистические и марксистские концепции. Единственный выход из этого кризиса — это вера в бога.

Читать полностью…

Новый эфир!
Гостем будет Лаида, автор канала Техножрица @tech_priestess
Она согласилась раскрыть мотивы машинопоклонников, рассказать, как они видят мир.
Задавайте ей вопросы под этой записью
Выбирайте время встречи в опросе
А место встречи - неизменно: @ProteinChauvinist

Читать полностью…

Можно выложить кучу бесплатных обучающих материалов, никто не будет думать о том что завтра на хабре будут обучающие материалы. Можно разоблачать жуликов от ML, никто не ждёт что завтра будут разоблачения. Можно писать серьёзные научные статьи, всё равно и про них никто не подумает. Но стоит только раз написать о том что муж не нужен...

Читать полностью…

Обновила на архиве статью AI-generated text boundary detection with RoFT, которую недавно приняли на конференцию COLM.

Напомню, что в этой статье мы с коллегами рассматривали тексты, частично написанные человеком и частично сгенерированные LLMкой и детектировали номер предложения, в котором произошел переход от человеческого текста к машинной генерации. Основной особенностью статьи является тщательное изучение сценариев, в которых детектор обучается на доменах или генерациях одних моделей, а тестируется на другом, прежде невиданном домене или генерации невиданной модели.

Также напомню, что:
💜 В этом сценарии классификатор на основе стандартной предтренированной модели Roberta оказался хорош in domain, но плохо переносился между доменами и моделями (сильно падало качество на out of domain);
💜 Классификаторы на основе TDA оказались неплохо переносимы (качество на out of domain падало не сильно), но имели низкое качество в целом;
💜 Наилучшим компромиссом между качеством in domain и out of domain оказались классификаторы на основе средней перплексии и дисперсии перплексии по предложениям на основе моделей phi 1.5/phi 2 от Тани Гайнцевой.

Ну, а основными отличиями этой конкретной версии статьи являются исправление мелких ошибок и улучшение читаемости диаграмм.

Кроме того, мы с Таней добавили код на гитхаб проекта. Ставьте звёздочки и сохраняйте, чтобы не забыть!

#объяснения_статей

Читать полностью…

Мы примерно так в боевом нлп за первые полгода после релиза чатгпт настолько засрали весь интернет аи-калом, что нормальный датасет человеческого контента сейчас собрать оттуда в принципе невозможно. К счастью, всем похуй.
/channel/eternalblizzard/786

Читать полностью…

ДРУЗЬЯ, СПАСИТЕ!!!

Я весь вечер томлюсь, не нахожу себе места, хожу кругами, сама не своя, словно принцесса, заточенная в башню злой колдуньей! А все потому что сегодня я потеряла нечто важное, нечто, что поначалу не оценила по достоинству и отбросила в сторону, словно шелуху, и лишь потеряв, осознала ценность потерянного... 🥺

В общем, я потеряла ссылку и название статьи на архиве, суть такова:
LLMке ставится задача Multi-Choice Question Answering. То есть задача с промптом вида:

Question: ...
Choices: A) ... B) ... C) ... D) ...
Answer:

Датасетов такого типа известно много - MMLU, HellaSwag и т.д.
Только авторы данной статьи заменяли в этих датасетах опции A), B), C), D) на варианты со случайными буквами, типа F) L) Q) N), цифрами типа 3) 1) 8) 2) или символами типа *) #) $) &). И в ряде случаев модель, которая хорошо умела решать стандартную вариацию датасета с опциями A), B), C), D), уже не могла ответить на те же самые вопросы с опциями из перемешанных букв или символов.
Я не помню, было ли в статье что-то еще, но вот эта часть очень для меня важна!!!

ПОМОГИТЕ ДАМЕ В БЕДЕ!!! ♥️♥️ УМОЛЯЮ! 🥴

Читать полностью…

По фактам 🤙

https://platform.intellbot.ai/forms/66cd8c486d90a0d4aa11d169

Читать полностью…

Захожу после работы на ютуб, а там все сверкает, переливается, крутится, вертится... 😍 Что же это?! ..🤔
...ну конечно же, новое видео от 3blue1brown!

https://youtu.be/9-Jl0dxWQs8?si=VuVVJaYfPZYNxS9j

Стала смотреть, а видео-то не простое: к моему удивлению, оно оказалось посвящено интерпретации эмбеддингов с MLP-слоев трансформера 🥳

✍️ В первой части видео автор показывает, по каким примерно принципам факты могут извлекаться из этих MLP (multi-layer perceptron) слоев. Сама идея о том, что MLP слои трансформера в большей степени отвечают за "вспоминание" фактов, чем его MHA (multi-head attention) слои, известна в ресерч-сообществе довольно давно и берет свое начало из ряда статей, самая известная из которых эта - https://arxiv.org/abs/2202.05262 . Однако, я в первый раз вижу, чтобы эту тему раскрывали в ролике популярного формата!
✍️ Вторая часть раскрывает главный феномен, стоящий за серией постов (и статей) от Anthropic про features superposition ( https://transformer-circuits.pub/2022/toy_model/index.html ). Суть его в том, что в пространство высокой размерности, оказывается, можно напихать неожиданно большое количество векторов, "почти" перпендикулярных друг другу - намного больше, чем количество векторов в ортонормированном базисе этого пространства. Далее вспоминаем, что в пространстве эмбеддинга языковой модели вектора можно интерпретировать как некоторые концепции, а значит, в эмбеддинг можно напихать намного больше "почти" (но не совсем) независимых концепций, чем размерность этого эмбеддинга, получая эдакий раздутый псведо-"базис", по которому можно раскладывать другие вектора и изучать их семантику в соответствии с таким разложением. Это и называется features superposition в статьях Антропик.

Под самим же роликом, к еще большему моему удивлению, оказалась ссылка на туториал, который я сама сейчас ковыряю, чтобы разобраться с библиотекой TransformerLens:
https://arena3-chapter1-transformer-interp.streamlit.app/
и еще много других интересных ссылок. ☕️

#учебные_материалы #объяснения_статей

Читать полностью…

🤝Возвращаюсь. И возвращаюсь с подборкой вакансий!

Прошел месяц с последнего большого и содержательного поста в канале. Много всего было: новые проекты про которые обязательно расскажу. Еще один сокрушительный провал, который научил еще важным вещам. Законченный ремонт. Новый человек, которого я могу начать называть другом. Законченная проектная школа. Ух! А еще было очень много роста. И вот артефакт моей месячной пропажи:

Я хочу позвать вас работать вместе со мной!
👉ВАКАНСИИ👈

Я ищу ребят, с которыми бы могли бы работать вместе в Центре педагогического мастерства или в DLS. Там есть вакансии как для дизайнеров и исследователей-аспирантов, так и для совсем новичков, которые, может, ищут самый первый реальный опыт работы. Везде так или иначе платим деньги, пусть и местами совсем небольшие.

ЦПМ — место, где я помогаю делать ивенты. Это годная образовательная организация в Москве, которая особо сильно заточена на олимпиадной подготовке московских школьников и их учителей. Там я работаю в прекрасном и теплом коллективе профессионалов.
DLS — проект с духом стартапа на текущий момент. Это проект, где мы много где только-только учимся, но уже успели сделать себе доброе имя и репутацию. Во всех позициях проекта мы не предложим золотые горы, но предложим начать с нами сейчас, чтобы потом расти во что-то все более и более серьезное. По вопросам можно заходить ко мне в личку или в комментарии к посту.

Делитесь вакансиями в своих каналах и с друзьями. Давайте делать крутое вместе..
Я первый раз в жизни вот так вот нанимаю людей. Массово, за деньги. И где ТЗ — далеко не ХЗ.

Обнимаю❤️

2 дня писал и корректировал эти вакансии. Не могу не выложить уже, поэтому ночью🌚

Читать полностью…