Telegram-канал tech_priestess - Техножрица 👩‍💻👩‍🏫👩‍🔧: Unsorted

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 October 2024 18:40

После того, как мы отправили статью про Intrinsic Dimensions на NeurIPS, я вернулась к решению задачи RoFT. Я старательно пыталась приспособить к ней детекторы на основе TDA (Topological Data Analysis), консультируясь с Ириной (тимлид) и Сергеем Баранниковым, но получалось плохо: задача оказалась очень сложной, и на кросс-модельном сетапе все детекторы вели себя безобразно, включая и топологические (напомню, что под кросс-модельным сетапом понимается сетап, когда детектор учится распознавать генерацию одних моделей, а потом тестируется на генерации других, которых он раньше не видел). Кроме того, я поначалу не заметила, что в датасете есть очень похожие друг на друга примеры - иногда с одинаковым началом, а иногда и вовсе идентичных. Бонусом к этому выяснилось, что я, по невнимательности, неправильно сделала предобработку данных, что в сумме привело к тому, что результаты первых пары месяцев работы были слиты в ~~skibidi~~ toilet, датасет пришлось чистить, а результаты переделывать. Впрочем, надо ли говорить, что после устранения данных проблем качество детекторов не улучшилось...

Осознав, что не справляюсь, я позвала на помощь новых соавторов - Таню ( /channel/dl_stories ), Германа ( /channel/junkyardmathml ) и Диму Абулханова, чтобы они посмотрели на задачу свежим взглядом, подсказали новые идеи и помогли с экспериментами.

И в самом деле, с приходом новых людей дело пошло поживее, и мы соорудили небольшую научную работу, которую отправили на воркшоп BlackBox NLP. Однако, полностью доделать статью к дедлайну мы не успели, и она отправилась на воркшоп в сыром и недоделанном состоянии. 🥴 Материала там было меньше трети от того, что содержится в последней итерации статьи, и парадигма/вывод также были другие: главным вкладом работы заявлялся оригинальный детектор на Intrinsic Dimensions + Time Series SVM, который на тот момент показывал себя лучше других на кросс-модели, а анализу самой задачи посвящалось меньше внимания.

Этот сырой препринт был отвергнут, но обратная связь от рецензентов оказалась полезной, мы с коллегами внимательно её разобрали и начали по ней работать. Ну как работать... конечно, время от времени появлялись более крутые темы и идеи для других исследований, и тогда исследование про RoFT уезжало в бэклог, откуда я потом его доставала, настойчиво убеждая всех не бросать данную тему. В процессе было сделано много улучшений - в частности, Таня добавила к списку рассмотренных методов детекторы, основанные на перплексии GPT-2 и внесла большой вклад в анализ проблемы.

Ну, и настало время загадки Джокера: какую итоговую оценку улучшенная работа с интересным анализом получила на ACL Rolling Review от мета-ревьюера? Правильно, единицу. При этом, оценки и ревью от промежуточных ревьюеров были более-менее средними - что-то вроде 2.5-3 из 5; было видно, что они хотя бы поверхностно прочитали текст научной работы. Однако, безумный мета-ревьюер написал какую-то чушь, которая просто не соответствовала содержимому статьи и влепил кол. Можете сами проверить, заслуживает ли та версия статьи единицы - она лежит на ArXiV, помеченная как v1. Её легко отличить от финальной COLM-версии (v3) по форматированию, а также значительно отличающемуся тексту и меньшему количеству экспериментов.

Это был полный, не побоюсь этого слова, пиздец. Особенно учитывая, что единица на ARR расшифровывается как "Even after revisions, the paper is not likely to be publishable at an *ACL venue". Простыми словами, "единица" это полный зашквар. На наши робкие возражения никто не ответил, и старшие коллеги сказали, что дальше на ACL статью лучше не отправлять, чтобы не терять время. Учитывая, что ACL - практически монополист в сфере топовых конференций по компьютерной лингвистике, это резко сузило круг venue, на которых работа могла быть опубликована. 😭

#о_себе #наука