Техножрица 👩‍💻👩‍🏫👩‍🔧

27 July 2023 20:51

Рис. 1, 2, 3 к постам про ACL Anthology (см. ниже).

#академический_ликбез

Техножрица 👩‍💻👩‍🏫👩‍🔧

26 July 2023 18:45

Настроение: в максимально нежных и любовных тонах, смакуя каждую фразу, каждое слово, словно вкусный ванильный эклер, расписать раздел "Contributions" в статье, которая готовится к публикации на ближайшую конференцию, а потом надеть майку с надписью "I ♥ NY", усесться на подоконник с чашкой кофе с корицей, глубоко затянуться дымом из тонкой сигареты, которую я возьму двумя пальчиками с маникюром небесного цвета, медленно выдохнуть, тряхнуть такими же нежно-голубыми волосами и задумчиво всмотреться в бесконечную даль туманного мегаполиса, думая о нем - о машинном обучении, пока по моему лицу будут стекать капли... но это будут не слёзы счастья, нет. Это будет всего лишь вода, которой меня будет поливать система автоматического пожаротушения, установленная на потолке. 🏠

Техножрица 👩‍💻👩‍🏫👩‍🔧

23 July 2023 11:05

Раз уж зашел разговор про просветительство, заодно объясню, зачем я время от времени делаю обзоры на ИИнфобизов, а изредка, бывает, даже на псевдонауку. После этого обещаю продолжить делать посты про Machine Learning) 🙏

Итак, под этими обзорами я часто вижу недоумение: зачем же так подробно разбирать очевидное? Ведь любому разумному человеку и так понятно, что разбираемый в обзоре ИИнфобиз/сомнительный ученый продает ерунду.
Но на самом деле эти вещи кажутся очевидными вовсе не каждому разумному человеку, а либо уже зрелым, опытным людям, набившим шишки, либо тем, кому повезло изначально быть воспитанным в среде, в которой их так или иначе обучили критическому мышлению.

Я, например, прекрасно помню, как в подростковом возрасте меня увлек фильм "Тайна воды". При этом вряд ли меня можно было назвать глупой: к тому времени я уже интересовалась физикой и математикой, решала задачи из "КВАНТа". Однако и я, и мои родители смотрели этот фильм с интересом и за красивой картинкой не замечали, что он представляет из себя не более чем большую-пребольшую рекламу сомнительного бизнеса по продаже "структурированной" воды, щедро приправленную дешевыми приемчиками в стиле рен-тв (этот канал я, кстати, тоже тогда смотрела неиронично 🙏). Так что когда я обнаружила, что в интернете фильм ругают и называют антинаучным, я удивилась и начала мучительно пытаться понять, так в чем же конкретно заключаются ошибки и недостатки фильма? Однако, на любой мой вопрос о том, почему фильм плохой, часть собеседников просто кидали разные приколы и угарали, не отвечая ничего содержательного; другие же кидали материалы с эмоциональной, а не фактической критикой, наподобие бюллетеня "В защиту науки" №2 (стр. 12), в которых не было сколько-нибудь подробного объяснения, что же конкретно не так. В общем, с большим трудом мне удалось мало-помалу выудить содержательную критику фильма и разобраться, за что же его так не любят.
Хорошо, кстати, что сейчас хоть какая-то содержательная информация просуммирована на страницах Википедии: здесь и здесь (по второй ссылке - информация об "ученом" - а на деле, скорее, бизнесмене, который являлся одним из бенефициаров фильма), а тогда все это приходилось буквально выискивать по крупицам (на скорости 3 Кбайт/сек, между прочим 👆).

Естественно, что точно так же из-за слабо развитого критического мышления я верила и инфобизам. Благо что в те времена у меня очень мало свободных денег, так что инфобизы не особо обогатились от моей наивности. 🤭

Соответственно, поскольку я помню свои собственные ошибки, у меня время от времени естественным образом возникает желание помочь каким-то менее опытным людям, чтобы они их не повторяли. А именно: показать примеры того, как можно с помощью простого честного анализа публично доступной информации разбираться, стоит ли серьезно относиться к какому-то подозрительному исследованию или рекламе ИИнфобиза. В этих примерах я всячески стараюсь сделать акцент именно на анализе информации и простой логике, по возможности минимизируя апелляции к авторитету и насмешки над какими-то малозначимыми деталями. Этим мой анализ отличается от той критики на данные темы, которую чаще всего можно найти в интернете, т.е. заполняет недопредставленную нишу. Поэтому я думаю, что он вполне полезен как демонстрация применения критического мышления для тех людей, которым почему-то не хватает таких примеров в их окружении.

При всем при том я ни в коем случае не считаю, что мои читатели глупее меня и осознаю, что и сама могу делать ошибки в своих рассуждениях. А иногда - чего греха таить - так и просто написать что-то на эмоциях, о чем потом пожалеть. А могу вообще придумать какую-то фантазию или просто приколоться. 😈 Так что то, что я пишу, тоже не стоит принимать на веру, а можно и нужно воспринимать критически (чем в комментариях часто и занимаются, и правильно делают).
Ну что еще сказать? Слава Омниссии! 🙏 Он – бог в машине, источник всех знаний. А я всего лишь его покорная слуга. 🙏

#о_себе #ИИнфобизнес #псевдонаука

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2023 21:53

Добрый день!

Ссылку на этот пост мне скинул Сергей Марков и попросил прокомментировать. Во-первых, тут люди интересуются происхождением ника Scinquisitor. Этот ник я выбрал еще в далеком 2008/9. если не ошибаюсь, году, когда я был еще ноу-нейм студентом/аспирантом и решил создать блог в ЖЖ про различные ошибки мышления и псевдонауки. Причиной создания блога было мое негодование и даже шок: я тогда осознал как часто людям продают всякие псевдомедицинские препараты (сам даже стал жертвой) и услуги типа астрологии. Выбор ника связан с двумя вещами. Это отсылка к мему "никто не ждет испанскую инквизицию", типа а научную никто не ждет тем более (и в целом моя деятельность больше похожа на инквизицию из Монти Пайтон т.к. условной Компании Материи Медики с ее миллиардными доходами едва ли много дела до каких-то там критических статей). А во-вторых тем, что многие защитники разных направлений псевдонауки любят называть своих критиков инквизиторами и сравнивать себя с жертвами Лысенко. Я подумал будет иронично самоназваться.

Во-вторых, тут в обсуждении упоминают мою книгу Апофения. Апофения это новелла про мир, победившего мракобесия. Там нет положительных героев. Там все доведено до абсурда, гомеопаты разбавляют гомеопатически уран в ядерном оружии, а священники тяжелую воду заменяют на святую. Там человека судят за убийство утки. Поэтому странно ожидать реализм в каких-либо диалогах. Я также отмечу, что некоторые приведенные в обсуждения отрывки взяты из первой неизданной версии Апофении (2014 год), которую я по фану выложил бесплатно в интернет. Потом я ее сильно менял, там поработал редактор, и уже издал как полноценную книгу в издательстве Питер.

В-третьих, мне кажется, что некоторые участники дискуссии не так много интересовались проявлениям человеческого незнания и, возможно, недооценивают масштаб бедствия. По недавнему опросу ВЦИОМ у нас 92% населения не смогли назвать ни одного современного отечественного ученого. У нас больше половины населения считают, что вся радиоактивность - дело рук человеческих. У нас есть компании, которые зарабатывают более 20 миллиардов в год на продаже сахара под видом лекарств. И блогеры в инстаграме делают по 80 млн месяц на торговле травками от онкологии, а потом подают на настоящих онкологов в суд за критику (недавний пример).

Поэтому я считаю, что не нужно быть уж слишком высокого самомнения, чтобы считать, что существует фундаментальный кризис элементарного знания.

Тем не мнее, я в своих книгах всегда сочетал и простое и сложное. В Сумме Биотехнологии я писал не только про то, какие ГМО хорошие, но и про то, как работают технологии вроде мозговой радуги, как работает клонирование, как улучшают и усложняют методы генной инженерии и как они устроены в деталях, какие эксперименты лежали в основе открытия передачи наследственной информации и так далее. Простой книгу никак не назвать.

Защита от темных искусстве не только про разоблачение каких-то заблуждений, но и подробный труд про огромный массив исследований, посвященных вопросу: почему люди верят в странные вещи. Ну и Гарвардский Некромант на абстрактном и фантастическом примере научного изучения магии пытается показать все самые глубокие сложности науки, от проблем воспроизводимости и интерпретации результатов научных экспериментов, до самой необходимости придумывать новые гипотезы, когда ученые сталкиваются с противоречиями. Сейчас я пишу самую сложную свою книгу, где очень подробно разбираю механизмы старения с ссылками на (уже набралось) тысячу научных исследований. Пишу уже больше года, почти каждый день.

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2023 16:35

Мое отношение к научпопу и просветительству как к явлению, часть III.

Итак, я бы выделила три основных направления в критике авторов научпоп-контента, их читателей/зрителей, а также самого контента. Первое направление можно охарактеризовать как обвинение в "некомпетентности", второе - в "сектанстве" (или, более мягко, "сциентизме"), третье - в "нетерпимости к инакомыслящим".
Рассмотрим, верны ли эти обвинения в случае подкаста "Скептик". Если коротко: первое - скорее да; второе и третье - в маленькой степени. А теперь по порядку.

1. Подкаст вели несколько человек - двое уже закончили университет, но не были учеными, а остальные были студентами (включая меня) либо аспирантами. Трудно ждать от такой компании глубокого и на 100% правильного понимания тех научных статей, которые мы освещали. Тем не менее, я ни о чем не жалею, потому что мы и не позиционировали себя как непререкаемых авторитетов, которым нужно верить на слово. Напротив, мы (по крайней мере, я) хотели чтобы слушатели учились самостоятельно мыслить и рассуждать, а не просто соглашаться с кем-то, кто имеет формальные регалии. Напомню: суть подкаста заключалась в том, что челики приходили поболтать на темы, которые им интересны и показать, как мы используем научный скептицизм для того, чтобы разбираться в разных новостях и вопросах. Мы и сами-то друг с другом не всегда соглашались и поправляли друг друга во время этого подкаста. А еще в выпусках часто можно было услышать такие слова, как "если я правильно понял", "мое мнение", "если поспекулировать" и т.д.
2. "Сциентизмом" называют ту позицию, в которой наука, (текущий) научный метод, научное знание возводятся в ранг догмы и поклонение им начинает напоминать религиозное поклонение. В какой-то степени некоторые из нас (в первую очередь, я) сциентизмом, действительно, страдали. Но далеко не в той степени, которую обычно вменяют научпопперам. Так, в этом выпуске: https://www.youtube.com/watch?v=S3RNxCq-Okg&list=LL , начиная с 7:44 , мы обсуждали новость, в которой ученый раскритиковал некоторые научные журналы, и в итоге сами присоединились к критике системных проблем в науке. Т.е. наука никогда не воспринималась нами как что-то, что нельзя подвергать критике, хотя и делали мы это не очень часто просто потому что были тогда не в курсе многих системных проблем. Сейчас я, конечно, намного больше могу сказать по этому поводу. Кстати, название "техожрица" также содержит крупицу самоиронии и отсылку к сциентизму - я осознаю, что мое мировоззрение содержит некоторое искажение в эту сторону и иногда над этим иронизирую.
3. Насчет агрессивности по отношению к инакомыслящим. В том же выпуске на 28:21 можно услышать мой рассказ о межфакультетском курсе "Мировоззренческие основы современного естествознания". Межфакультетский курс - это курс от преподавателя одного факультета, предназначенный для студентов других факультетов. В данном случае курс вел преподаватель физфака МГУ, который, как ни странно, при этом был креацианистом (христианином). Разумеется, я не могла оставить это без внимания, и записалась на данный курс специально для того, чтобы спорить. Тем не менее, курс оказался малобугуртным. В начале преподаватель, в самом деле, хвалил христианство в контексте истории развития науки и намекал на то, что, возможно, христианство и есть верная религия, от чего у меня, конечно, пригорало, и я много с ним спорила. Тем не менее, он быстро перешел к нейтральному рассказу про какие-то философские направления, историю науки, рассказывал про теорию эволюции и отчасти ее критиковал. Впрочем, его критика теории эволюции в принципе не содержала явного мракобесия, поэтому здесь повода бугуртить у меня уже не было. В итоге я сказала в подкасте, что курс был в целом познавательным и не таким плохим, как я ожидала. Когда в курсе было что-то, от чего я бугуртила, я бугуртила. Когда причин для бугурта не было, я относилась к курсу и преподавателю нормально. Вряд ли это можно назвать нетерпимостью или ненавистью.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2023 09:50

Мое отношение к научпопу и просветительству как к явлению, часть I.

Тема для меня непростая, потому что в том круге общения, в котором я состою в последние несколько месяцев (может быть, даже год), принято напропалую засирать все, что связано с этой темой, без разбора. Звучит грубо, но другого выражения просто не подберешь. Когда я критикую научпоп, меня поддерживают (впрочем, с издевкой - мол, наконец-то Лаида взялась за ум), а как только скажу про научпоп что-то хорошее - закидывают какашками (мол, посмотрите на эту любительницу Докинза и Панчина, мамкину атеистку). В общем, на меня в этом вопросе в последнее время очень сильно давили, и было много острых и неприятных конфликтов на этой почве. В результате мне долгое время просто не хотелось поднимать эту тему в паблике.
Но поскольку в последнее время читатели задали много вопросов и подняли много тем, которые, так или иначе, связаны с проблематикой моего отношения к религии, паранормальоному, научпопу и просветительству, я решила все-таки сделать это. Если вам правда интересно меня понять, а не просто засрать, то вот мой рассказ:

Итак: мое отношение к научпопу - самое непосредственное. Еще в подростковом возрасте меня увлекали книги "Вы, конечно, шутите, мистер Фейнман", "Элегантная Вселенная", серия "Занимательная ... (физика, математика, ...)" от Якова Перельмана, передача "Очевидное - невероятное", которые сыграли важную роль в том, что мне вообще захотелось заниматься наукой. А где-то 8-10 лет назад я и сама начала активно участвовать в популяризаторстве. А именно, я участвовала в производстве подкаста "Скептик" (все выпуски: https://www.youtube.com/playlist?list=PLgiJtHgkaPAiTy7b-aybWMbz2McHJNXYO ), цель которого заключалась в популяризации критического мышления (как мы его тогда понимали) и научного скептицизма. Соответственно, в этом подкасте мы рассказывали про новости, связанные с религией и всем, что не проходит фильтр научного скептицизма (в отрицательном ключе), новости, связанные с наукой (в положительном ключе), разбирали разные когнитивные искажения и ошибки в аргументации, а также отвечали на вопросы слушателей. Аудитория у подкаста была сравнительно небольшой: как можно видеть на ютубе, типичный выпуск набирал по несколько тысяч просмотров, а постоянных активных слушателей, которые еще и комментарии оставляли, было всего пара десятков.
Естественно, никто никакой прибыли от этого мероприятия не получал. А моя основная мотивация к участию в этом подкасте была очень простой: чиллить с челиками. Мне нравилось, что я нашла единомышленников, с которыми можно регулярно общаться, а потом еще и делиться результатами этого общения в интернете и получать комментарии еще и от слушателей. Нравилось разбирать вместе с этой компанией разные новости и аргументы, обсуждать их, выражать свое отношение: хвалить то, с чем согласна и критиковать то, с чем не согласна. Конечно, я узнавала для себя много нового и интересного в процессе этой деятельности, училась лучше выражать свои мысли, и это мне тоже очень нравилось. В общем, для меня это было интересным, познавательным хобби и поводом подискутировать.

У нас был также маленький подкаст на более свободные темы, "Дельфинарий". Вот один из выпусков, в котором рассказывалось про наш жизненный путь, а именно, как мы отошли от религии и эзотерики и стали скептиками: https://www.youtube.com/watch?v=_DHlyJO0-ZQ&list=PLgiJtHgkaPAiVadIuYHcDxmAlsO6P5xhx&index=5 . Мой рассказ начинается с 19:06, но я рекомендую послушать весь выпуск, так как, по моему мнению, все истории здесь интересные.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

20 July 2023 08:47

В продолжение постов /channel/tech_priestess/791 и /channel/tech_priestess/792 .

Короче, я пошерстила материалы turbotext и поняла, что это не просто случайно проскользнувший кекус. Они реально везде позиционируют "Всезнайку" как "свою нейросеть", которую они "выпустили" и "обновляют" 😳

Меня всегда удивляло, зачем люди пишут настолько очевидную ложь. Ложь, которая не является ни шуткой (смешного ничего нет), ни художественным приемом (художественной ценности тоже нет), просто тупейшую очевиднейшую ложь, который за пять минут каждый может раскрыть.

Так, на рис.1 (источник: https://telegra.ph/Pomoshchnik-po-lyubomu-voprosu-CHto-umeet-Vseznajka-ot-Turbotext-03-14 ) turbotext пишет, что "выпустил обновленную версию нейросети". Но ведь очевидно, что Turbotext физически не мог этого сделать. Он мог обновить только промпт и постпроцессинг выхода нейросети. Саму НЕЙРОСЕТЬ (а именно, chatGPT), очевидно, может обновлять только OpenAI 😂
Что мешало написать, например, что они обновили СЕРВИС "всезнайка", что было бы, видимо, правдой? Зачем писать, что обновили саму нейросеть? Народ смешить? 😂😂😂

На рис. 2-3 можно увидеть ещё пример того, как "Всезнайку" в канале turbotext ai ( /channel/turbotext_ai ) называют "нашей нейросетью", а chatGPT вообще ни разу не упоминают.
Я уже молчу про фразу "first text generator with artificial intelligence" на рис. 4... 😂
Какой смысл так позориться, если можно было просто написать, что "всезнайка" - не "НАША НЕЙРОСЕТЬ", а, например, "НАШ СЕРВИС на основе нейросети от OpenAI"? И тогда этого поста бы не было 😅

#ИИнфобизнес

Техножрица 👩‍💻👩‍🏫👩‍🔧

19 July 2023 21:31

Что-то день у меня сегодняшний не заладился: всю ночь болел желудок, а когда пошла чистить зубы, так вообще вырвало. Стоит ли говорить, что после этого я весь день чувствовала себя как зомби.

Хорошо, что на глаза попалась реклама очередных нелепых ИИнфобизов (рис. 1), которая сумела взбодрить меня и вернуть к жизни! Сама фраза "аналог ChatGPT на русском" уже сходу удивила своей бесмысленностью: ведь оригинальный ChatGPT и так может генерировать на русском, так что же это за "аналог", который делает точно то же самое?
Перейдя по рекламе на сайт https://turbotext.pro/ai , я начала смотреть, что же из себя представляет данное творение. Бесплатно оказались доступны лишь две попытки генерации, но обойти это ограничение оказалось легко, переключая ip-шники в VPN-приложении (по две генерации можно делать с каждого ip).
Быстро выяснились следующие факты:
а) большая часть знаний модели о событиях ограничена осенью 2021-го;
б) при генерации на английском всплывает фраза "as an AI language model".
в) на прямой вопрос о том, что из себя представляет данная модель, она также подтвердила, что основана на ChatGPT (рис. 2).
Но больше всего меня удивило в данной генерации не это (это как раз было ожидаемо), а то, какой компании было приписано создание ChatGPT 🤔
Начав расспрашивать модель подробнее (рис. 3-6), я проорала в голос. 😂
Между прочим, напомню, что файн-тюнить ChatGPT пользователям OpenAI в данный момент не дает ( https://platform.openai.com/docs/guides/fine-tuning ), а значит фраза "базирована на ChatGPT" на деле означает, что это даже не дообученная версия, а буквально ChatGPT, только с дополнительными промптами и/или постпроцессингом, которые срывают ему кукуху и заставляют верить в то, что его создал TurboText, а не OpenAI. 🤣

Просит же turbotext за использование того же ChatGPT под другим названием 150р в день с ограничением в 200 генераций (рис. 7), что, конечно, во много раз дороже, чем использование ChatGPT через API. 🤡 Ох уж эти ИИнфобизы, каждый раз находят, чем рассмешить.

#ИИнфобизнес

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 July 2023 13:46

Тем временем паблик "КРИНЖ", посвященный мемам и рассказам про сомнительные, либо не относящиеся к науке, либо просто забавные статьи/монографии из РИНЦ, опубликовал мини-расследование с использованием некоторых моих старых постов про генетическую музыку (таких, как /channel/tech_priestess/719 и 4 поста ниже). ⬇️

#псевдонаука

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 July 2023 11:54

Старый добрый комикс, иллюстрирующий принцип "garbage in -> garbage out" в машинном обучении. ⬇️

Техножрица 👩‍💻👩‍🏫👩‍🔧

15 July 2023 12:25

Решила испытать возможности нового Kandinsky 2.2 в области смешивания пар изображений.

Больше о модели: https://habr.com/ru/companies/sberbank/articles/747446/
Больше о культурном феномене "ЖКХ АРТ": https://dvor.digital

#генерация

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 July 2023 08:20

Интересное соревнование анонсировали на соревновательном треке NeurIPS 2023.
В нем нужно сделать такую эффективную имплементацию большой языковой модели, чтобы она сумела как можно лучше дообучиться за один день на одном GPU:
https://llm-efficiency-challenge.github.io/index
Submissions принимаются до 30 сентября.
А тут можно посмотреть формат submission для интересующихся:
https://github.com/llm-efficiency-challenge/neurips_llm_efficiency_challenge

-

Жалко, что в соревновании рассматривают только задачу дообучения, а не предобучения. Было бы интересно получить новые данные о том, насколько хорошо можно предобучить с нуля что-либо в таких условиях.
Например, как это сделали в этой статье:
https://aclanthology.org/2021.emnlp-main.831/
В ней за такой короткий срок предобучения смогли добиться качества, близкого к оригинальному BERT - правда, на сервере с несколькими GPU.
(Кстати, к вопросам о цитированиях: почему у этой статьи их всего лишь 50? Она опубликована в ACL Anthology и выглядит очень полезной для инженеров, а такие статьи обычно цитируют намного активнее. Почему эта работа не так сильно полюбилась? 🥺).

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 July 2023 20:57

Расскажу еще пару слов про исследование из поста выше, "Topological Data Analysis for Speech Processing" ( https://arxiv.org/abs/2211.17223 ).

Суть такова.
Мы подавали на вход модели HuBERT примеры из датасетов, затем извлекали для каждого примера с каждой ее головы матрицу внимания, а потом строили по матрице взвешенный граф. Затем мы считали от каждого такого графа нулевые баркоды. В случае того способа фильтрации, который мы выбрали в данной статье, нулевые баркоды показывают, как меняется количество компонентов связности в графе по мере того, как мы добавляем в него ребра сначала с большим весом, а потом с весами поменьше ( анимация: https://topohubert.github.io/speech-topology-webpages/tda/example_01.html ). Сумма баров в таком баркоде также равна сумме весов ребер в минимальном остовном дереве данного графа ( https://e-maxx.ru/algo/mst_kruskal ). Эту сумму мы в итоге использовали как некоторую характеристику связности графа. Кроме этого мы считали некоторые алгебраические характеристики самих матриц внимания, а также меру расхождения между представлениями (эмбеддингами) на разных слоях модели, называемую Representation Topology Divergence ( наглядный пример расчета: https://topohubert.github.io/speech-topology-webpages/tda/rtd_example.html ).
В итоге, для каждого примера из HuBERT извлекалось по несколько десятков чисел, которые содержали в себе различные свойства эмбеддингов этой модели. Дальше эти числа - признаки эмбеддингов - использовались как фичи для классификации (в этом аспекте статья похожа на статьи Artificial Text Detection via Examining the Topology of Attention Maps и Acceptability Judgements via Examining the Topology of Attention Maps).
Показывалось, что классификация по этим фичам, извлеченных из предобученной (но не файн-тюненной) модели, дает результат на нескольких задачах такой же или лучше, чем если просто затюнить на них саму модель. Среди задач были: детекция искуственно сгенерированной речи, распознавание эмоций, распознавание спикера и др. Отсюда выдвигается предположение, что предложенные нами признаки эмбеддингов действительно несут в себе информацию, полезную для решения данных задач и, более того, позволяют очень успешно утилизировать эту информацию. На одном из датасетов с эмоциями (CREMA-D) получился результат даже лучше известной нам SOTA.

Кроме этого, было показано интересное наблюдение о том, как ведет себя граф, построенный по матрицам внимания с некоторых голов модели, по мере того, как мы добавляем в него ребра сначала с большим, а потом с меньшим весом. При таком добавлении сначала появляются компоненты связности между токенами, соответствующими одной и той же фонеме, потом - компоненты связности между токенами, соответствующими разным фонемам, и только потом добавляются токены, соответствующие тишине. Таким образом показывается то, что матрица внимания модели как бы сильнее связывает между собой токены, соответствующие одному и тому же кусочку произнесенного слова, а связь между разными кусочками слов менее сильная. Вроде бы наблюдение простое, но мы не смогли найти статей, в которых бы оно описывалось, поэтому тоже рассказали о нем в своей статье. ✍

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 July 2023 08:25

У нас в комментариях под этим постом: /channel/tech_priestess/747 получается довольно интересная дискуссия о философии науки. Было бы интересно узнать больше мнений на эту тему.

P.S. Картинка для привлечения внимания к философским вопросам 🤡

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 July 2023 11:20

https://youtu.be/RqV54_2wiEs

Доклад по статьям "Artificial Text Detection via Examining the Topology of Attention Maps" и "Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts" на семниаре Международной лаборатории алгебраической топологии и ее приложений.
Доклад не предполагает глубоких знаний по Deep Learning, но для понимания желательно знакомство с математическим аппаратом алгебраической топологии хотя бы на идейном уровне.

Докладчик - я.
Сайт лаборатории - https://cs.hse.ru/ata-lab/
Главные статьи, использованные в докладе: https://aclanthology.org/2021.emnlp-main.50/ , https://arxiv.org/abs/2306.04723
Слайды во вложении.

P.S. Спасибо @unfinity за загрузку на Ютуб.

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

26 July 2023 22:19

Тем временем, мне ВКонтакте начала попадаться новая потешная реклама какого-то ИИнфобиза, которого я раньше не видела, с явными проблемами с русским языком (рис. 1-2).

После ее просмотра, я решила зайти на Отзовик, чтобы насладиться там рассказами благодарных учеников. Однако, отзыв конкретно на курс по нейросетям нашла всего один - он приложен на рис. 3. А про то, как сами авторы курса используют ИИ для своего бизнеса, красноречиво расскажет рис. 4. 😄

Впрочем, есть много отзывов на другие курсы той же инфоконторы - https://otzovik.com/reviews/smm-akademiya_mihaila_hristosenko/ , которая в основном специализируется на обучении смм.
Кристально ИИскренние отзывы с 5 звёздами на курсы про продвижение в соцсетях выглядят особенно пикантно на фоне того, что мы видим, зайдя на вк-страницу основателя организации - Михаила Христосенко:
https://m.vk.com/hristosenko -
30-40 лайков в среднем под каждым постом, при том что подписчиков у аккаунта 30 тысяч (!). Конечно же, мы верим, что автор действительно глубоко разбирается в вопросах продвижения, а не просто купил 30 тысяч ботов. 👍

Appendix:

⚫️ Рис. 5-9 - многообразие ИИ-портретов героя данного поста, взятых из его рекламных материалов (почему-то он очень любит их делать).
⚫️ Рис. 10 - УИИ передает привет при чтении Отзовика. 🥰
⚫️ Мое лицо, когда я не знаю, как регистрироваться в нейросетях (если честно, я даже не знаю как регистрироваться в логрегрессии) и только и могу что делать глядь: 😭

#ИИнфобизнес

Техножрица 👩‍💻👩‍🏫👩‍🔧

26 July 2023 08:18

#ml #masters #cv #refit

Читаю книги Тима Мастерса "Data Mining Algorithms in C++" и "Assessing and Improving Prediction and Classification". Он не классический МЛ-щик, мне кажется, до всего дошёл сам, порой его идеи очень глубоки.

"The importance of consistent performance is often ignored, with average performance being the focal point instead. However, in most cases, a model that performs fairly well across the majority of training cases will ultimately outperform a model that performs fabulously most of the time but occasionally fails catastrophically. Properly designed training sets and optimization criteria can take consistency into account."

А ведь и правда, ну кто смотрит на разброс метрик по фолдам CV? Да никто. Даже в процедурах модуля model_selection (GridSearchCV итд) по умолчанию берутся просто среднеарифметические метрики по тестовым кускам. А ведь постоянство метрик может быть очень важным качеством в реальных приложениях. Наверное, лучшим подходом будет при сравнении моделек от средних значений метрик отнимать их стандартное отклонение (с неким коэффициентом, например, делённое на 2). В sklearn это можно сделать, если передать в процедуру model_selection кастомный refit.

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2023 22:00

лучше приложить ссылку, которая сразу приведёт в тред комментов: /channel/tech_priestess/808?comment=8478

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2023 16:36

Мое отношение к научпопу и просветительству как к явлению, часть IV.

Теперь перейдем к рассмотрению того, что же не так с Панчиным, про которого мне так много говорят (и который мне, честно говоря, уже надоел).
Ситуация с Панчиным (и другими похожими челиками) отличается от ситуации с моим (нашим) подкастом, на мой взгляд, мотивацией (по крайней мере, тем, как эта мотивация выглядит с моей колокольни; конечно, я могу и ошибаться). Складывается впечатление, что он воспринимает свою деятельность не как "хочу в чем-то разобраться и рассказать другим", "хочу почиллить с челиками", "хочу побугуртить от того, что меня возмутило" или "хочу найти с кем бы посраться в комментах", а как Большую, Великую, Светлую Миссию.
Складывается впечатление, как будто читатели и зрители воспринимаются им не как такие же люди, как и он сам, с которыми хочется чем-то поделиться, обсудить, или же поспорить, а как какая-то темная, неразумная масса, на которую нужно как бы свысока пролить свет научного знания и сделать внушение для того, чтобы она не потекла к целителю, гадалке или гомеопату.
Мне знакомо такое отношение в первую очередь благодаря общению с одним из давних знакомых, который время от времени говорил что-то вроде "Да зачем им (читателям, слушателям) сложное рассказывать. Им надо основы повторять почаще, вдалбливать, чтобы точно отложились". На что я, естественно, отвечала, что мне скучно слишком часто повторять простое, а я не делаю в свободное время то, что мне скучно (я что, дурочка себя мучить?).
Однажды челик даже выдвинул идею - придумать церковь, в которой поклоняются Докинзу, Дарвину и т.п. вместо богов. Его логика заключалась в следующем: большинство людей все равно не поймут принципов критического мышления и научного скептицизма, это для них слишком сложно. А бороться с экстрасенсами и гомеопатами все равно важно, потому что из-за них люди кидают деньги на ветер вместо того, чтобы реально решать свои проблемы со здоровьем и жизнью. Так что лучше уж пусть глупые люди верят в науку, чем в мракобесие - это меньшее из зол.
Сейчас я стала более ироничной, поэтому сейчас я бы ответила: "О да, давай, а кому не понравится наша церковь, тем будем откручивать ручки и ножки и превращать их в сервиторов!", а потом задвинула бы какую-нибудь копипасту из вахи. Но в то время я более ранимо ко всему относилась, так что эта идея возмутила меня до глубины души - ведь она идет против самых глубоких принципов критического мышления! В результате я очень много и долго с ним спорила на этот счет - знатный был срач!
Ну так вот.
У меня складывается впечатление, как будто Панчин именно так и мыслит - неиронично считает своей целевой аудиторией быдло, которое нужно обрабатывать своеобразной проповедью или пропагандой и поэтому вбивает им в голову какие-то догмы. И из-за того, что вот это "просветить как можно больше темных людей, любой ценой вдолбив им, что гомеопаты плохие" воспринимается как некая "миссия" во имя "общественного блага", по-другому он, наверное, и не может, т.к. сам уже превратился в заложника этой самой миссии.
Обычный атеист может троллить более или менее умных верующих или эзотериков, толсто или тонко, а может вообще никого не троллить - в зависимости от своих интересов. Но человек, который воспринимает свою "борьбу с мракобесием" не как хобби, а как "миссию", не имеет такого выбора. Ради своего понимания "общественного блага" ему приходится снова и снова находить соломенные чучела - максимально слабых идейных противников - и годами выбивать из них солому скучными, монотонными движениями. Ведь выставлять идейных противников глупыми становится не развлечением (которое нормальному человеку со временем надоедает), а идеологически важным действием, частью пропаганды во имя Великой Миссии.
Из-за этой же миссии снижается способность признавать ошибки, ведь авторитет также становится частью политики: "А вдруг если я признаю крупную ошибку, мой авторитет упадет, и люди будут меньше верить в науку? Этого нельзя допустить".
Отсюда и возникает его неприятное поведение, на мой взгляд.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2023 09:52

Мое отношение к научпопу и просветительству как к явлению, часть II.

В моем новом круге общения (т.е. в последние месяцы) меня, кстати, также сильно засирали за то, что мне понравились аргументы из книги Докинза "Бог как иллюзия" и за то, что эти аргументы сильно повлияли на меня в свое время (об этом в том числе рассказано и в том выпуске "Дельфинария", ссылку на который я скинула выше). Я, честно говоря, не понимаю, какой реакции люди ждут в ответ на эти засирания. Должна ли я как-то стыдиться своего жизненного пути или того, как я познавала мир, пользуясь той информацией, которая у меня имелась на тот момент? Должна ли я раскаиваться в том, что именно Докинз сильно на меня повлиял? Или, может быть, я должна начать просто бояться упоминать Докинза, чтобы меня не засрали?..
Я поняла, что Докинз не является специалистом в богословии и философии, от чего (по-видимому?) проявляет однобокость и допускает ошибки при рассуждении на эти темы, и за это его критикуют. Но с чего вдруг мне должно быть стыдно от того, что многие из его аргументов показись мне весомыми, мне непонятно. Если кому-то не нравится какой-то его аргумент - критикуйте этот конкретный аргумент наздоровье, меня-то за что стыдить?

Ладно, продолжу дальше рассказывать про встречи скептиков.
Кроме подкастов, у нас были и просто оффлайн встречи, на которые приходили разные люди что-то рассказывать про темы, которые им интересны (в основном что-то научно-популярное). Приходили, кстати, и Ася Казанцева, и Александр Панчин. В то время я не обращала на Панчина особого внимания - ну зашел к нам аспирант-биолог потусить, рассказать про биологию да "потроллировать верунов" - обычное дело, он был одним из многих таких в то время. Я и представить себе не могла, что со временем Панчин получит огромную аудиторию, а большинство моих знакомых начнут ассоциировать все просветительское движение именно с ним и (вообще непонятно почему) засирать меня (!) за его грехи. 0_0
Теперь что ни разговор про научпоп - то разговор про этого несчастного Панчина (почему, также понятия не имею; как я уже сказала, для меня увлечение научпопом началось вообще с книг и телепередач физиков - советских и американских). Я с тех пор, как перестала тусоваться с научпоперами восемь лет назад, уже вообще забыла, кто это такой. Недавно вот начала все-таки читать и смотреть, что он делает, чтобы хотя бы понять, за что меня оскорбляют...
---
Итак, это был рассказ про мои, так сказать, личные взаимоотношения с научпопом и о том, какую важную роль в моей жизни он сыграл. Я бы еще могла добавить то, что если бы научпопа не существовало, я бы, скорее всего, просто давно сделала роскомнадзор. Почему? Потому что именно из-за научпопа я в итоге и пришла в науку, а без науки, в свою очередь, бы у меня не было вообще ничего, что бы меня удерживало от этого шага в моменты сильных депрессивных эпиздов. Но когда я этим делюсь, меня иногда, бывает, засирают еще более изощренно: ко мне начинают относиться со снисхождением. Прямо при мне один человек однажды сказал другому, мол, да хватит наезжать на ее научпоп, не видишь, что ли, что для нее это жизненно важное верование. В контексте спора эта фраза (по крайней мере, в том виде, в каком я ее услышала) имела оттенок "мол, не разрушай ее любимые иллюзии, а то подохнет еще". Стоит ли говорить, как мне мерзко видеть подобное презрительное отношение к себе.
В общем, до сих пор не понимаю, чем я заслужила столько презрения и насмешек за свои увлечения.

Тем не менее, я примерно поняла, за что этого несчастного Панчина (и других просветителей, которые ведут себя в том же стиле) подвергают критике - когда соберусь написать третью часть, расскажу свое видение того, в чем, по моему мнению, заключаются недостатки их деятельности и почему они (и, возможно, я сама, когда также занималась популяризацией науки) совершают разные ошибки и зачастую ведут себя некрасиво.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

20 July 2023 21:46

Что-то мне скучно. Не хотите задать мне анонимный вопрос или отзыв на канал или ещё что-нибудь? Регистрироваться для этого не нужно.

https://ask.ru/tech_priestess

Можно покритиковать канал, если почему-то не хотите делать это в обсуждениях (хотя я пока ни разу ещё никого не забанила, но вдруг все равно кто-то стесняется 👉).
Самые интересные вопросы опубликую потом когда будет настроение

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

19 July 2023 21:36

Между тем, я напомню, что оригинальный ChatGPT через веб, то есть, в браузере, можно использовать, заплатив около 50 рублей всего один раз за аренду иностранной симки (а не отстегивать 150 рублей каждый день ИИнфобизам). Очень подробную и доступную инструкцию, как это делать, см., например, здесь: https://journal.tinkoff.ru/chatgpt-in-russia/ . Проблема здесь разве что в том, что OpenAI время от времени банит популярные бесплатные VPN-сервисы, да и симок остается все меньше доступных (плюс использовать общественные симки, очевидно, в целом не безопасно).

Но есть и другой способ пользоваться последними достижениями OpenAI - вообще за ноль рублей (как мы любим) и без виртуальных симок. Для этого можно обратиться к Bing AI - напомню, что там есть чат с какой-то версией GPT-4 с прикрученным веб-поиском и DALLE для генерации картинок. Для доступа к Bing AI достаточно только установить браузер Edge, VPN-плагин и зарегистрировать Microsoft аккаунт. Подробная и доступная для не-специалистов инструкция, как получить доступ: https://hi-news.ru/technology/kak-pri-pomoshhi-nejroseti-bing-sozdavat-tekst-i-kartinki-rasskazyvaem-na-lichnom-primere.html

Само собой разумеется, что не только ChatGPT, но и Bing AI (a.k.a. измененный GPT-4) могут делать и рерайт, и перевод, и продолжение текста, и новости генерировать, и все что угодно, не только на английском, но на русском (понимаю, что большинство читателей в курсе, проговариваю на всякий случай для тех, кто недавно в теме, чтобы не платили за всякие кекусы 😅 ).

P.S. Также напомню настоящий прайсинг за API: https://openai.com/pricing

#ИИнфобизнес

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 July 2023 13:47

Минобрнауки и ИМАШ РАН: 158 миллионов на лженаучное госзадание

Что там было в прошлый раз? Гранты РФФИ на биорезонанс на 14 миллионов рублей? Детский лепет. Пристегните ремни, сегодня будет даже что-то покруче.

Сегодня мы поиграем в генетический бисер и узнаем, как Минобрнауки поддерживает талантливых музыкантов, играющих на спирали ДНК. Талантливые музыканты, кстати, по знакомству публикуют свои опусы в журналах, издаваемых Elsevier и MDPI.

Музыка, похоже, успела стать приоритетным направлением в нашей стране, поэтому на коллективы музыкантов и идеи можно брать особенно большие гранты и госзадания. Берите на заметку, господа научные руководители.

https://telegra.ph/MINOBR-i-IMASH-RAN-158-millionov-na-lzhenauchnye-goszadaniya-07-17

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 July 2023 15:33

Разбираю сейчас различные статьи с анализом размерности внутренних представлений трансформеров и вижу, что целый ряд работ проводит такой анализ в контексте файнтюнинга, показывая, что для успешного файнтюнинга достаточно вносить изменение лишь в небольшом подпространстве параметров (например, вот одна из наиболее свежих на данную тему, содержащая множество ссылок на другие работы: https://aclanthology.org/2023.acl-long.95/ ).

Посмотрела я на это и подумала: не подобными ли аналитическими статьями вдохновились и создатели крайне популярного сейчас подхода LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS ( https://openreview.net/forum?id=nZeVKeeFYf9 )?

И в самом деле, заглянув в статью про LoRA, я обнаружила, что авторов привело к их замечательному изобретению в том числе чтение статей на данную тему, таких, как: 1) Measuring the Intrinsic Dimension of Objective Landscapes, 2018 ( https://openreview.net/pdf?id=ryup8-WCW ); 2) Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning ( https://aclanthology.org/2021.acl-long.568/ ) - см. Рис. 1 (интересно, что первая статья выглядит процентов на 90 как аналитическая-описательная, да и вторая тоже).

Вот так вот статьи с тщательным анализом внутренних представлений и процесса обучения моделей могут привести к большому прорыву и в чисто практических вещах, после того, как их прочитают и намотают на ус умные люди. ✍

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

15 July 2023 13:28

Однажды, когда я была маленькой, у меня заболел молочный зуб. Но я не знала, как об этом сказать. Боль в зубе отличалась от тех видов боли, которые я знала до этого, поэтому я не догадалась, что это тоже называется словом "боль".

Я подошла к кому-то из взрослых и сказала "у меня чувства в зубе". Мне ответили "отстань". Но мне по-прежнему было больно. Поэтому я опять подошла и снова стала что-то мямлить. Взрослые, наконец, поняли, что к чему, сказали, что "он у тебя болит наверное потому что не чистила давно" и отправили чистить зубы зубной щеткой.
Но боль никуда не делась.
Так я поняла, что плоть слаба, и слабость моей плоти внушила мне отвращение.

Вечером пришла бабушка, и я сказала ей, что у меня "болит зуб". Бабушка приказала открыть рот.
Я открыла.
Бабушка сказала "Ээ, да он у тебя весь черный, да еще и шатается сильно. Вырвать его надо."
Я испугалась, но бабушка заверила меня, что будет совсем не больно, как комарик укусит.
После этого бабушка засунула руку мне в рот и резко выкрутила зуб из десны.
Я заплакала, убежала и спряталась под гору тряпок под смех взрослых, глотая кровь.

Под этой горой тряпок лежали книга "Что есть что: атомная энергия", фонарик и калькулятор.
Я сидела там очень-очень долго и читала эту книгу с фонариком до тех пор, пока у меня не выросли механодендриты, провода и трубки, такие же, как на картинках про ядерный реактор.

Так я стала техножрицей.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 July 2023 23:31

У меня не осталось никаких сомнений в том, кто автор паблика /channel/ebaresearch

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 July 2023 07:42

Знаете, я ведь с детства любил наряжать куклы в разные платья. Кому-то больше подходит розовое, кому-то красное, а кто-то лучше выглядит в модных брюках-клеш. Моя любовь к нарядам помогает и в профессиональной сфере. Я представляю себе, что активации -- это кофточки, инициализация -- косметика, а оптимайзеры -- туфельки. Ведь оптимайзеры как обувь: где-то нужны резиновые сапоги, а где-то нежные, бархатные ботинки "прощай молодость"; а лернинг рейты как носочки: с начесом, для warmup начала; или грязные, вонючие, засохшие носки как константный шедулер.

Вообще, детство можно считать отправной точкой моей исследовательской карьеры. В детском саду я всегда старался обойти всех и найти самый быстрый путь к горшку. Вы спросите меня: какой смысл? Ведь они все стоят рядом и нет никакой существенной разницы! Но ведь разница сотых долей секунды была! Никогда не забуду того удовольствия, когда удавалось выбрать нужную траектори и поставить новый рекорд, занять позицию на тысячную долю секунды быстрее! Именно тогда я почуствовал истинный запах и вкус соты.

В школе друзей у меня не было, но зато учился я очень даже хорошо: в третьем классе я решил свою первую СЛАУ, в четвером узнал что такое производная и строил графики до одури, до онемения в пальзах, до сточенного в пыль карандаша. Долгое время моим воспитанием занималась бабушка. Бабушка был немногословной и очень строгой. Она никогда не рассказывала мне о том, как устроен мир. Она буквально воспитывала меня кнутом и пряником: я что-то пробовал, а в ответ получал либо удар, либо котлету. Тогда то я и почуствовал собственной шкурой горький вкус реварда.

Сдать ЕГЭ было проще простого. Я поступил в МФТИ. Знаете, мне очень нравилась местная атмосфера. Отчужденность от мира. Необычные люди. Завораживающее, дарующие чувство свободны, открытые окна.

На третьем курсе мне удалось найти свою первую стажировку. Опуская подробности, скажу лишь что это была одна из тысяч аутсорс галер. Именно тогда я сделал себе прививку от продакшена и зарекся никогда больше не катить в прод. Я вычеркнул из своей жизни букву D, оставив только жирную R. Мне кажется что каждый уважающий себя исследователь должен хоть раз сходить в плавание на dev галере, чтобы иметь опыт и право так или иначе высказываться по существу.

Диплом писал по довольно обскурной теме. Пока все переводили датасеты на русский, я открывал для себя различные сферы: исследовал топологии, бороздил океаны негладкой оптимизации, зубрил свойства распределений и собственноручно доказывал предельные теоремы. Я смотрел на своих одногруппников свысока. Я знал, что дальше они пойдут надрачивать бизнес метрики, собирать контейнеры и вести свою скучную жизнь рабов корпораций. А я не такой. Я выше этого.

Свобода - в открытом оверлифе.
Весь мир - лаборатория.
Весь смысл - ресерч.

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 July 2023 13:19

Выложила в Линкедин новость про то, что наше исследование включили в программу Interspeech 2023 со всеми ссылками:

https://www.linkedin.com/posts/laida-kushnareva_interspeech-speechprocessing-tda-activity-7084488426594394113-3C5l/

(На самом деле, это произошло уже пару недель назад, но я то ли забыла написать, то ли постеснялась ☺️)
Очень волнуюсь, конечно, в связи с предстоящей конференцией: дадут ли визу (вчера наконец-то подала документы), будет ли мне хоть что-то понятно из чужих докладов на этой конфе (я ведь всё-таки больше специализируюсь на обработке текста), да и в целом, как коллеги по науке, занимающиеся обработкой речи, воспримут наш необычный подход.

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 July 2023 21:14

Ребят, как устроен алгоритм, который показывает новости под строкой поиска в Google Chrome на Андроид?

Сколько бы я не нажимала на всратых новостях про Галкина и Пугачёву кнопку "скрыть", мне все равно потом показывают все новые и новые новости на эту тему. И это при том, что я никогда не кликаю на новости про этих конкретных персонажей и не ищу в поиске ничего про них.
Такое ощущение, что алгоритм вообще не реагирует на мои действия и просто консистентно показывает то, что, по мнению создателей, является первым приближением к интересам женщины за 30, родившейся где-то в SOVIET RUSSIA 🙂🙂🙂
Какой же рекомендательный алгоритм делает это приближение? Решающий пень? 🤔
Интересно, можно ли подать на разработчиков в суд за то, что их пень оскорбляет меня таким мнением о моих интересах и интеллектуальных способностях? 🤡

Рис. 1-4 - типичный ассортимент новостей.

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 July 2023 20:40

В этом посте хочу порассуждать на вот какую тему. Пару раз случалась такая ситуация: разбираю я в канале какую-то статью, которая использует новую интересную идею для решения задачи Х, но при этом до SOTA не дотягивает. И в комментариях иногда пишут: "ой ну это фуфло, вон модель Y эту задачу X намного лучше решает, метрики больше и все ей пользуются".

Меня каждый раз очень удивляют подобные комментарии. Ценность научных работ совсем не всегда заключается в том, чтобы побить SOTA. Подобные работы круты тем, что они предложили абсолютно новый взгляд на проблему, новое решение, которое тоже неплохо работает. Возможно, кто-то прочитает эту статью, вдохновится и придумает ее улучшение, которое уже побьет эту самую SOTA. Или окажется более обобщаемым. Или просто поможет исследователям посмотреть на проблему с новой стороны и придумать еще один, совершенно новый подход к решению этой задачи.

К такой ситуации есть хороший пример: машинный перевод. Сейчас все понимают, что эта задача решается нейросетями, внутри Google translate сидят крутятся нейронки. Но так было не всегда: до примерно 2015 года с этой задачей лучше справлялись phrase-based подходы, и в продакшене крутились именно они. И был огромный пласт людей, которые в нейронки в переводе совсем не верили, и продолжали улучшать phrase-based системы, хихикая над теми, кто пытался готовить нейронки.
Да и в vision домене ситуация была та же: до 2012 года много кто не верил, что нейронки смогут даже в классификацию картинок. На того же ЛеКуна косо смотрели, когда он начал продвигать свои CNN. А когда-то еще раньше смеялись над теми, что вообще начинал смотреть в сторону нейросетей.

Короче, если что-то пока работает плохо, это не значит, что оно фуфло и это надо выкинуть. Это надо сначала исследовать.

Еще я замечала в каком-то смысле "обратное" явление, когда люди быстро готовы выкинуть в окно старую технологию, когда появилась новая. Например, сейчас многие не хотят смотреть в сторону CNN, потому что есть трансформеры. Хотя CNN и трансформеры — это две совсем разные архитектуры, каждая со своими достоинствами и недостатками. И во многих моделях можно использовать их обе. В той же Stable Diffusion есть и свертки, и трансформеры.

К этому у меня есть такая история: в нашей школе DLSchool в конце семестра студенты делают проекты. Тему проекта можно выбрать из нескольких разных. Я несколько лет подряд курировала проект про автоэнкодеры. В нем студентам нужно было самостоятельно разобраться с устройством vanilla AE, VAE и Conditional VAE, написать код и поставить несколько экспериментов. И года 4 назад ко мне в личку приходили студенты со словами: "Здравствуйте. Думаю взять ваш проект, но меня смущает то, что автоэнкодеры же как бы устарели. Для генерации картинок теперь есть GAN. Зачем тогда AE?"
А посмотрите, что мы имеем сейчас. Часть Stable Diffusion — VQ-VAE. Или вспомним MAE, который положил начало развитию подходов masked image modeling. Или, например, новые подходы к нейросетевому сжатию изображений, многие из которых основаны на автоэнкодерах.

В общем, не спешите закапывать старое, если придумали что-то новое, которое в чем-то лучше этого старого. Оно вам обязательно пригодится. Особенно если это не узкоспециализированная модель, а такая базовая штука, как AE.

Ну и главная мысль поста такая: в науке нужно стараться быть максимально открытым к новому и не позволять себе думать, что ты уже все в своей области понимаешь и знаешь, что и как будет работать. А еще важно развивать в себе умение смотреть на проблему под разными углами.