Люблю высокие технологии и кушать. Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
ШОКИРУЮЩИЕ НОВОСТИ!
😮😮😮
Наша с коллегами статья на конференции CoLM была...
😳
отмечена...
😳
как...
😳
OUTSTANDING PAPER!!!
❤️❤️❤️
https://x.com/COLM_conf/status/1843291689659908468
😉😉😉
Ждём завтра новостей от людей, которые согласились сделать доклад и повесить постер!!!
♥️♥️
(Спасибо всем кто помогал искать!!!)
😻😻😻
Что-то после трёх серьезных дедлайнов за одну неделю и необходимости на выходных готовить презентацию совместно со списком "что говорить на каждом слайде" для человека, который будет её докладывать на американской конференции, мою ненависть к человечеству стало совсем трудно сдерживать.
Чувствую, скоро с кем-нибудь крепко посрусь 😖
В преддверии завтрашней презентации своей статьи на ECCV-2024 накатала atmyre/NXEHPCIxZJz">подробный пост о том, про что статья. Кратко — о новом способе использовать CLIP guidance для обучения модели image enhancement. Если будут вопросы по статье, спрашивайте в комментариях!
А если вы на ECCV, то приходите завтра в утреннюю постер-сессию к стенду #103, буду очень рада =)
чатик решил, что расстрелять надо ревьюверов, манипулятору достаточно пожизненного
Читать полностью…Помните, писала, что у нас с коллегами приняли статью на COLM, но конференция в США и ни у кого из нас нет виз? Так вот, конференция 7-9 октября в Филадельфии, и мы все еще в поисках человека, который мог бы туда поехать и презентовать нашу статью😢
В том посте я писала, что нужно будет постоять рядом с нашим постером. Но теперь все немного сложнее: наша статья попала на oral (spotlight). То есть, нужно будет выйти сделать доклад по нашей статье на 12 минут🌝
Поэтому если вдруг вы или ваши коллеги едут на COLM, и готовы с этим нам помочь, напишите, пожалуйста, Лаиде. Вы очень-очень нам поможете!
(Я помню, что под предыдущим постом были люди, готовые помочь. Спасибо вам большое, что тогда откликнулись! Если вы все еще готовы помочь, будем очень рады)
А кто это умудряется ставить палец вниз в первое же мгновение после выкладывания постов? Хейтер написал специального бота? 😮
Читать полностью…Здесь могла быть ваша реклама РЕКЛАМА ДОМАШНЕГО СЕМЕЙНОГО ОГНЕМЕТА.
Ideogram 2.0 + Kling 1.5 + Suno.
Сегодня мне на почту пришла картинка от Google Scholar Alerts с изображением цветных воздушных шариков и надписью "Your profile reached 100 citations". Это заставило задуматься: раз на Google Scholar есть поздравление с достижением определенного количества цитирований, то почему нет системы ачивок?
По результатам серьезных размышлений над данной проблемой, я набросала Proposal Of Achievements For Google Scholar (рис. 1). А какие ачивки добавили бы вы?
#наука
Ох, друзья, не хватает сил и времени на ведение паблика в последние дни.
А все потому что мы с коллегами доделываем новую статью на конференцию! 😼 А ещё начинаем потихоньку готовить camera-ready версию другой статьи, которую уже приняли на Findings of EMNLP 😉, но на архив она пока что не выложена. 😌
Когда оба дедлайна пройдут, мы выложим обе статьи на архив, а я расскажу вам про их краткое содержание.
Если у кого-то есть контакты академика Хохлова ( /channel/khokhlovAR ), умоляю, перешлите ему этот мем
Читать полностью…Иногда я читаю или вижу что-нибудь на тему того, как развиваться в научном ресерче (то есть в том, в котором пишут научные статьи)... и каждый раз испытываю сильную подавленность. А иногда испытываю подавленность даже просто вспоминая или задумываясь об этой теме.
Потому что все, что люди обычно говорят на эту тему, пронизано бессмысленностью. Под развитием в ресерче обычно понимают получение более высоких должностей, чтобы руководить большим количеством людей и фармить больше Хирша, а самому участвовать в исследованиях поменьше! Сами должность и Хирш, разумеется, при этом служат проксями для фарма денег и славы.
Но боже мой, как же это тупо и неэффективно... фармить деньги намного проще, работая прикладным ресерчером (который решает только конкретные задачи коммерческой компании, а статьи на отвлеченные темы не пишет) или инженером, а фармить известность намного проще, заведя всратый канал или блог на любой платформе или, блин, еще каким-нибудь из миллионов способов. Если чел ставит эти вещи главной целью своей академической карьеры - ну поздравляю, сверхразум выбрал абсурдно долгий и неэффективный метод для их достижения.
При этом никто особо не говорит о тех вещах в ресерче, которые лично мне, например, на самом деле интересны.
Мне интересно извлекать вещи из небытия в бытие. Вот, допустим, раньше какая-то идея, алгоритм, теорема или просто логический вывод существовали лишь как потенциальная, нереализованная возможность - так сказатб, в мире идей, в небытии. А ты берешь и заходишь за грань, на ту сторону, находишь их, берешь за ручку и ведешь на свет, в бытие, как выводил Орфей Эвридику из Аида (у него, впрочем, не получилось, но и у нас ресерчеров тоже часто не получается, это норма). И идея такая выходит в мир, обрастая мясом из экспериментов/доказательств. А еще мне интересно анализировать результаты экспериментов, интересно обыгрывать идею по-разному, до тех пор, пока она не принесет плоды, отлавливать ошибки в своих рассуждениях и коде. Ну и в целом мне нравится познавать мир, упорядочивать информацию, строить логические системы у себя в голове...
...но про то, как развиваться и улучшаться в этих аспектах - например, как находить более интересные идеи, ставить более прикольные эксперименты или глубже понимать реальность, - почему-то никто не пишет когда говорит про "развитие в ресерче". Нет, блин, давайте лучше обсуждать че то скучное, тупое, нагоняющее максимум подавленности и поражающее бессмыслицей.
Разговоры о карьере разработчика, впрочем, навевали на меня примерно тот же вайб. По этим разговорам выходит, что развиваться в области разработки нужно для того, чтобы... нет, конечно, не для того, чтобы создавать прикольные программы, как вы могли об этом подумать, маленькие что ли? Цель развития - получать повышение за повышением, чтобы... перестать заниматься разработкой и стать топ-менеджером, это же очевидно!
Но... зачем... вот заработаю я эти миллиарды воображаемых денег... а дальше что?
Мне деньги нужны в первую очередь для того, чтобы я могла спокойно заниматься тем, что мне интересно, не отвлекаясь на бытовые проблемы и нужды. Чтобы лечить болезни и решать разнообразные проблемы, ассоциированные с мясной тушкой и чтобы все эти проблемы, опять же, не отвлекали от того, что мне интересно. Ну и конечно чтобы на них устраивать себе прикольный отдых, когда я устаю и хочу переключиться, чтобы потом - опять же! - с новыми силами вернуться к любимым занятиям. Другими словами, они нужны, так сказатб, как красивая, комфортная рамка для картины под названием "жизнь", а на самой картине при этом я рисую то, что мне нравится.
Но зачем мне будут нужны деньги, если я не смогу при этом заниматься тем, что мне интересно - например, опять же, познавать мир, извлекать идеи с "той стороны", создавать то, чего раньше не было? Другими словами, зачем нужна рамка, если картина пуста?
Так почему же блин все бесконечно твердят про то, как украшать эту рамку и ничего не говорят про то, как улучшать наполнение?!!
#о_себе
Приятная новость - помимо постера, наша с коллегами статья "AI-generated text boundary detection with RoFT" (писала о ней, например, тут - /channel/tech_priestess/1743 ) получила Oral Presentation a.k.a. Spoltight на конференции CoLM:
https://colmweb.org/AcceptedPapers.html (рис. 1). 👉
А знаете, кто ещё его получил? 🤨
Не угадали, не Гитлер! 🥸
Его получила MAMBA (рис. 2).
Ну, а кроме смеха, есть во всем этот и грустный элемент: дело в том, что никто из нас не сможет поехать в США и этот самый доклад сделать. Одна из соавторов подала на визу, но её отправили на проверку, которая с вероятностью 99,9% не закончится до дат конфы (7 - 9 октября). Поэтому мы сейчас опрашиваем людей, которые едут на CoLM что-либо докладывать или показывать постер. Если вы входите в их число и готовы помочь с нашим постером/докладом, пожалуйста, напишите об этом в комментариях или в личку @laida_kushnareva .
Эфир с @tech_priestess состоится
22 сентября, в воскресенье, в 19:00
Стрим про карьеру, собеседования и бигтех
#career #interviews
Choose your fighter. Собрал вам тут бигтех-банду для стрима:
- Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие). Недавно устроилась, может рассказать про собесы и что именно спрашивают на менеджера;
- Артем Санакоев (LI) – Staff Research Scientist в цюрихской Мете, GenAI, автор канала @ai_newz (пост-приветствие). Собеседует на синьорные позиции в Мету;
- Сергей Иванов (LI) – Senior Applied Scientist в парижском Amazon, соавтор канала @graphML. Провел 100+ собесов в Амазон, может рассказать про хардкорные поведенческие вопросы;
- Борис Цейтлин (LI) – Staff MLE в берлинском eBay, автор канала @boris_again (пост-приветствие). Недавно отмучился с собесами;
- Юрий Кашницкий (LI) – Staff GenAI Solutions Architect в амстердамском Google Cloud, автор канала @new_yorko_times (пост-приветствие). Читатели этого канала знают про этот долгий заход по собесам (пост). Он же (то есть я) будет скоморошить, вести встречу.
Вопросы можно задавать заранее тут в треде, либо во время стрима. Можно адресовать конкретно кому-то из спикеров, например, «Вопрос Борису: доколе?»
Время: 20 сентября, 17:30-18:30 CET. Streamyard – ссылка для просмотра (там же по ссылке можно добавить в календарь).
Записи не будет, все вживую. Мест – максимум 1000 😀
Вчера суд Массачусетса вынес решение отклонить иск Франчески Джино к Гарварду и коллективу DataColada, который раскрыл фальсификации в нескольких работах Франчески. Этот скандал с фальсификациями – самый громкий за последние несколько лет: Джино была одним из ведущих учёных-бихевиористов, её работы были классикой в области. Дополнительную перчинку придаёт скандалу название её книги, вышедшей за пару лет до разоблачения: "Rebel talent: Why it pays to break the rules at work and in life". Такая вот ирония судьбы. 🤔
Мне кажется решение довольно важным в контексте прецедентности: расследовать чужой фрод в исследованиях – можно и нужно, в науке должно быть больше разоблачений плохих методов и сомнительных практик. Один из моих любимых блогов по теме ведёт Лиор Пахтер, который знатно проезжался по сомнительно известному в узких кругах исследователю графов Альберту-Ласло Барабаши.
А в ваших областях существуют такие правдорубы? Приглашаю обсудить в комментариях. 👀
На дворе сезон Нобелевских премий, завтра выдается премия по физике, а значит, пора погадать на кофейной гуще!
Сразу скажу, что эта премия давно себя изжила, и идейно, и практически. Физика сейчас делается не одиночками, а большими коллективами. Очень мало какие открытия можно приписать конкретному человеку, это почти всегда много небольших шагов в нужную сторону, а не большой скачок, как раньше. Единственный бонус от нее: привлечение общественного внимания к разным областям науки.
Так вот, кто же получит премиую в этом году? Напомню, в прошлом году получили премию за аттосекундные лазеры, в позапрошлом — за квантовую запутанность, в 2021 - за климатические модели, а в 2020, 2019 и 2018 — за всякие космические штуки.
Думаю, физика частиц и космология в этом году мимо: у одной мало что случилось за последнее время, а у другой уже было несколько больших премий недавно. Поэтому у меня варианта два: либо что-то очень прикладное, либо что-то связанное с квантовыми технологиями. Моя ставка — на последнее, чисто за хайп, поэтому Дойч и Шор (но они получили breakthrough prize в прошлом году) или Якир Ахаронов и Майкл Берри по совокупности заслуг.
А как вы думаете?
Важность масштабирования в Deep Learning. 😌
Источник иллюстрации: https://arxiv.org/abs/2410.01692
90 лет сборнику «Математическое просвещение».
Первый выпуск первой серии был подписан к печати 29 сентября 1934 года. 13 выпусков первой серии выходили с 1934 по 1938 годы под редакцией Ростислава Николаевича Бончковского и Иоасафа Ивановича Чистякова.
Шесть выпусков второй серии — с 1957 по 1961 год — под редакцией Якова Семёновича Дубнова, Алексея Андреевича Ляпунова, Алексея Ивановича Маркушевича.
Московский центр непрерывного математического образования начал выпускать третью серию в 1997 году. Первым главным редактором выпусков третьей серии был Владимир Михайлович Тихомиров, а основным «мотором» многие годы был Михаил Николаевич Вялый.
Полистав выпущенные сборники, читатель найдёт массу интересных материалов (на основном сайте или в более качественной обработке первой и второй серий на сайте https://www.mathedu.ru/catalogue/collections/groups/#mp ). А некоторые математики гордятся, что являются авторами этого культового издания.
/channel/EtudesRu/759
Очередной день, очередной кризис репродукции в науке. Три недели назад я писал про дело Франчески Джино, теперь под подозрением Элизер Маслия – один из топовых учёных по исследованиям болезней Альцгеймера и Паркинсона. У него примерно 800 опубликованных статей, и до недавнего времени был главной подразделения нейронаук в National Institute of Aging.
Журнал Science опубликовал свою выжимку из полного досье – и там полная жесть. Проблемы в 132 👽 статьях, следы уже почти профессиональной манипуляции. Важен ещё и домен, в котором работал Маслия: налажать в лекарстве от Паркинсона – это вам не исследования честности, от фальсификаций в которых плохо будет разве что паре сотен MBA с маккинзоидами. Интересно, будут ли какие-то последствия ⛓, кроме увольнения – всё-таки от Альцгеймера умирает больше ста тысяч человек в год, а прогресс замедлился буквально на годы.
Рекомендую почитать оригинал статьи в Science: там сильно больше подробностей. Обидно, что такими темпами доверие к науке как институту подорвётся полностью.
Рис. 1, панели 1-3 - несколько соавторов пишут текст научной статьи в overleaf одновременно.
Рис. 1, панель 4 - ревьюеры 2 и 1 читают получившееся произведение.
Протеиновый Шовинист выложил запись нашего стрима-разговора-интервью-дебатов с улучшенным звуком. А в соседнем посте он выложил разметку этой записи по темам и моментам времени, в которые они обсуждаются.
---
P.S. поскольку я пришла на стрим слегка подвыпившей 🥴 и уставшей 🥴, я не смогла хорошо пояснить за историю культа Механикус и модель о1. Но вы можете подтянуть свои познания в этих важных областях, используя следующие источники: видос про механикусов, статья на Хабре про о1.
#подкасты
Сказка "Сервер, видеокарта и ведро с файлом".
Жил-да-был глубоко-глубоко в недрах защищенной корпоративной инфраструктуры сервер с видеокартой, и у карты той памяти было видимо-невидимо. Жили они не тужили, да только вот беда: пустовала та память, потому что не дал им Бог-Машина LLMки для инференса.
Пригорюнился сервер. Взмолился он к священному лику, объятия распростершему 🤗: дай мне веса LLMки скачать. Но сказал лик обнимающий: 🤗 Max retries exceeded with url, ибо настройки безопасности не позволили ему те веса заветные на сервер прислать.
Закручинился сервер еще сильнее, а видеокарта вздохнула кулерами тяжко. Долго бы они грустили, а может быть, сервер-то виртуальный и вовсе бы сгинул, если бы не прослышали герои наши про ведро чудесное, что в облаке корпоративном живет. Дескать, если в ведро то файл положить, то сервер сможет себе это ведро подмонтировать да файл забрать. А ведро то настолько глубокое, что любая LLMка влезет!
Приободрились наши герои и думать стали да кумекать, как веса от обнимающего лика в ведро засунуть. Долго ли коротко ли думали, да нашли способ: оказалось, что ведро то можно подмонтировать к серверу другому, который менее ограничен в доступе к общению с ликом святым.
И взмолился сервер, менее ограниченный в доступе: о великий лик светлый, распростерший объятия для всех нас грешных! Сам я не могу эту LLMку инференсить, ибо памяти мало на видеокарте моей, но позволь мне скачать веса её для брата моего с видеокартой побольше, чтобы я веса те в ведерко положил, да им переправил!
И ответил лик светлый: 🤗 Loading shards 1 of 7... Loading shards 2 of 7... ... Loading shards 7 of 7. И возрадовались сервера, и загудели видеокарты! И были сохранены веса на HDD накопитель, в zip архив упакованы, и был скрипт запущен для отправки архива в ведерко чудесное, и было ведерко подмонтировано к серверу с видеопамятью большой, и был архив переправлен на накопитель, серверу принадлежащий, и был архив распакован. И было утро; и настал вечер.
И возрадовались герои наши, что теперь есть им что запускать да над чем гудеть ночами! И был запущен скрипт для экспериментов с LLMкой той, и началось чудо чудное да диво дивное, что в публикацию новую пойдет да народ ученый обрадует.
Тут и сказочке конец, а кто запустил расчеты на выходные - молодец. 😴
Эфир, кстати, закончен, и его запись с разметкой по темам разговора будет выложена через неделю.
P.S. Кто-нибудь вообще узнал мухомор из вкусвилла? 😬
Микродозим мухоморы вместе с Протеиновым Шовинистом! Подключайтесь!
/channel/ProteinChauvinist?livestream
https://youtu.be/USLv9B_oIOQ
Ну наконец-то наш культ разоблачили! 😈😈😈
Ладно, не совсем наш. Примерно половина из того, о чем он говорит, мне в моей практике (в аспирантуре/на работе) не встречалось или встречалось в очень маленькой степени. Возможно, мне повезло; а может быть, его страшилки в большей степени относятся к Западным академическим структурам или даже к конкретной области, в которой работал автор - точно не знаю. Но хот тейк все равно смешной. 😼
https://www.safe.ai/blog/humanitys-last-exam
(спасибо Игорю за наводку)
Ребята собирают "последний экзамен человечества", идеальный бенчмарк против моделей. За лучшие 50 вопросов платят 5000$ за каждый, за лучшие 500 по 500$, за любой принятый вопрос — соавторство в статье. Чем больше принятых вопросов, тем выше позиция в списке авторов. Я на свой первый вопрос уже 2 часа потратил и отослал (только он так и не отобразился в личном кабинете 💀).
Отсылать тут. Для отправки нужно, чтобы 5 топовых моделей на вопрос ответили неправильно. Вопрос должен быть авторским и уникальным. Ответ должен быть однозначным и объяснимым.
Вопросы гораздо проще составлять, если вы НЕ из IT, там допускается широкий спектр тем.
Что мне надо было бы опубликовать в канале, чтобы вы от него гарантировано отписались?
Читать полностью…С пятницей 13м, тёмные геометры
The Dual Language of Geometry in Gothic Architecture: The Symbolic Message of Euclidian Geometry versus the Visual Dialogue of Fractal Geometry
N. Ramzy
Published 2015
https://www.semanticscholar.org/paper/The-Dual-Language-of-Geometry-in-Gothic-The-Message-Ramzy/3fdc77dbd4537d8471badd3d8bf95f84daa00d5e