Техножрица 👩‍💻👩‍🏫👩‍🔧

20 December 2023 20:53

В общем, если автор видео действительно радеет за объективность предоставляемой им информации и желает, чтобы его последователи были не просто сервиторами (т.е. не просто механически ретранслировали все что сказано Верховными Техножрецами), а доросли хотя бы до уровня скитариев (т.е. эпизодически производили в своих головах какой-то мыслительный процесс, пусть и оставаясь в целом под командованием своего Магоса Биологиса), то я предлагаю рассказывать и о таких темных пятнах в истории науки тоже, а не создавать ложное впечатление будто научное сообщество невинно и верно идеалам критического мышления, аки святая Целестина. 🙏
Ну да ладно, хватит о грустном, перейдем к более позитивным моментам видоса. 🍪

2. Во второй части идет разговор с копипастой Фейерабенда. Если кто не знает, Фейерабенд ( https://ru.wikipedia.org/wiki/%D0%A4%D0%B5%D0%B9%D0%B5%D1%80%D0%B0%D0%B1%D0%B5%D0%BD%D0%B4,_%D0%9F%D0%BE%D0%BB ) - знатный тролль, который еще в 75-м году поджег пуканы наукоботов настолько ярко, что они продолжают и продолжают возгораться и гореть до сих пор, даже спустя полвека. Это очень забавно. 😄 Еще более забавно то, что после битвы с копипастой Магос Биологис на 51-й минуте все же попал в ловушку Пола, признав, что гомеопатия сыграла позитивную роль в развитии научного метода, еще раз подтвердив гениальность Магоса Троллуса. 🤓

3. Третья часть мне понравилась больше всего. Там рассказывается про нарочито абсурдные и бессмысленные тролльские статьи навроде корчевателя, которые озорные магосы посылали в научные журналы и вызывали тем сильное бурление варпа. Вот такое я люблю и в этот раз, без иронии, довольна, что Александр начал включать подобные рассказы в свои видео. Это урок для всех нас (а особенно для сервиторов-наукоботов), что если что-то написано в научной статье, то не обязательно так оно и есть.

Можно было бы еще покритиковать видео за слишком поверхностное раскрытие темы того, что же на самом деле такое сциентизм и антисциентизм, но мне неохота этим заниматься, тем более, что я не философ. В целом это видео было довольно интересно смотреть, и мне нравится, что Магос начал включать в свои проповеди какую-то критику. 🤷‍♀️

#наука

Техножрица 👩‍💻👩‍🏫👩‍🔧

20 December 2023 08:21

— Там постоянно, когда тебя вербуют, тебе говорят, какой ты классный, какой ты замечательный, какие у тебя есть возможности. Тебя обещают приобщить к тайнам мира, которых никто не знает, что ты станешь элитой, избранным. Ключики разные, они смотрят, какой к тебе подойдет...
— Да, секты это ужасная вещь.
— Какие секты??? Я тебе про день открытых дверей рассказывал

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 December 2023 20:45

А сейчас будет ложка дёгтя: дело в том, что последние главы книги (начиная с 30й) подпортили мое впечатление от неё и умерили мой задор.
Особенно мне не понравились следующие моменты (вот тут реально пойдут спойлеры):

1. Когда началось реальное описание хода рассуждений трисолярианцев, они оказались намного более тривиальными и предсказуемыми, чем я навоображала у себя в голове. Почти такие же люди, просто с небольшими заморочками и другим внешним видом. Я ожидала большего.
2. Психология и поведение трисолярианина-пацифиста совершенно не продуманы. Если у его цивилизации нет литературы, культуры, гуманизма и других хороших вещей, которые есть у землян, то как он смог понять, что это что-то хорошее, из одной-единственной радиограммы? Откуда у него могло в принципе появиться желание это сохранить, если он не мог даже понять, что это такое? Ведь, насколько я поняла, к записям о той трисолярианской цивилизации, у которой были эти вещи, у этого индивида также не было доступа. В общем, нелогично.
3. "А у нас в Рязани - протоны с глазами. Их бомбят - они глядят!" Вся линия повествования о том, как внутри протонов живут разумные сущности и другие миры, вызвала у меня большой скепсис и разочарование. На мой взгляд, на этом моменте "твердая" научная фантастика размягчилась и поплыла. 🫠 Кроме того, если неведомые цивилизации действительно погибают каждый раз, когда погибает протон, то у читателя резко снижается мотивация переживать за какую-либо цивилизацию в этом сеттинге в принципе. 😁 Особенно за макроскопические цивилизации. Ведь они, оказывается, каждый день устраивают на своих коллайдерах геноциды таких чудовищных масштабов, что все предыдущие рассуждения про грехи человечества обесцениваются и становятся ничем на фоне таких злодеяний. Не люблю, когда все обесценивается.

Тем не менее, я все равно собираюсь прочитать вторую книгу и посмотреть, что будет дальше. Потом отпишусь. А пока можете советовать в комментариях другие хорошие научно-фантастические книги и авторов, особенно на мои любимые темы-темочки, за это буду особенно благодарна. 😊
Грега Игана, Питера Уоттса, Нила Стивенсона, Филиппа Дика и братьев Стругацких можно не советовать, это уже сделали в предыдущих комментариях.
#книги

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 December 2023 19:32

Всем привет.
Сегодня вечером у нас рубрика "страничка из девичьей анкеты". Другими словами, в этом посте я перечислю то, что больше всего люблю! 😻

Итак, вот мой список:
1. Могущественные и непостижимые сущности из глубокого космоса за гранью человеческого понимания. 💜
2. Тайные тёмные культы, поклоняющиеся этим сущностям с помощью страшных ритуалов. 😍
3. Загадочные цивилизации, построенные чуждым нам разумом по странным законам. ❤️
4. Поражающие воображение технологии из далекого будущего. Чем более подробно и достоверно описаны эти технологии и принципы их работы, тем лучше. 🔍
5. Учёные, преданные всем сердцем цели познания сокровенных тайн природы. 💜
6. Хорошо прописанные морально неоднозначные персонажи с глубокими душевными переживаниями, раскрытие их внутреннего мира. 🌷
7. Путешествия в киберпространстве и взаимное проникновение виртуальности и реальности. 💜
8. Потеря понимания того, что же такое наша реальность на самом деле... 🤷‍♀️
9. Сложные многоходовочки, манипуляции, предательства, политические интриги. 😝
10. Осознание всей глубины вопиющего невежества, мелочной жадности, надменной слепоты и тупой жестокости человеческой цивилизации и поучительные дискуссии о том, заслуживает ли она существования. 🥤

Если бы кто-то раньше мне сказал, что существует книга, в которой есть ВСЁ вышеперечисленное, я бы очень сильно удивилась. Но недавно выяснилось, что да, она существует... и расскажу про неё я в следующем посте. #книги

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 December 2023 15:41

#чтивонаночь
Сел на поезд хайпа и написал обзор на MoE трансформеры.

alexwortega/BmwV-nq0DdO">блог

Техножрица 👩‍💻👩‍🏫👩‍🔧

16 December 2023 23:46

Помните, я жаловалась на новостную ленту на своем Андроиде, которая постоянно показывала новости про Галкина и Пугачеву? Так вот, с тех пор, как я разобралась с данной проблемой, ситуация изменилась.

Рекомендательный алгоритм начал заходить издалека, рекомендуя мне новости сначала про компьютерное железо, потом про научпоп, но в конце концов он все-таки не выдержал и перешел к мякотке - н е й р о с е т я м. Сегодня он особенно расстарался - см. рис.1.

Можно подумать, что первая рекомендованная статья - это какое-нибудь введение для новичков в распознавание и синтез речи с помощью нейросетей, но там этого нет и в помине. Содержимое статьи можно назвать только одним словом: пустословие. Единственный заслуживающий хоть какого-то внимания абзац, возвышающийся, словно остров, среди размазанной по статье бесполезной псевдоинтеллектуальной воды, посвящен описанию 40-секундной презентации научной статьи. Там рассказывается про нейросеть, которая научилась синтезировать в своей "речи" те слова, которых не было в обучающей выборке ( https://www.youtube.com/watch?v=FuupduZw9Lw&t=1s&ab_channel=GasperBegus ). Остальное можно не читать.

Ну а содержание второй рекомендованной статьи сводится и вовсе к одной фразе: "OpenAI занимается исследованиями в области AI Alignment (а именно, в направлении, которое они называют Superalignment)." Про 20% компьюта, видимо, взято из оригинальной записи в блоге того же OpenAI ( https://openai.com/blog/introducing-superalignment ), но ссылку на эту оригинальную запись, нам, конечно, не привели. Ну да ничего, главное, что пока бабушка кликает на заголовок "дед шепнул на ушко способ для защиты от грибка ногтей", внук кликает на "OpenAI шумит кулерами для защиты от сверхразумного ИИ", а большего авторам и не надо.

—

Как вернуть обратно новости про Галкина и Пугачеву?

Техножрица 👩‍💻👩‍🏫👩‍🔧

16 December 2023 07:46

Нейросеть улучшит фото блюд ресторанов в «Яндекс.Еде»:
https://shoppers.media/news/6087_neiroset-ulucsit-foto-bliud-restoranov-v-iandeksede
---
Готовимся к тому, что опыт заказов еды в приложениях будет с каждым днём все больше походить на рис. 1. 🚬

Техножрица 👩‍💻👩‍🏫👩‍🔧

14 December 2023 07:34

Автор канала /channel/epsiloncorrect поехал на NeurIPS и сейчас выкладывает много интересного из того, что там увидел (а также рассказал сам), в комментариях к своим постам, тут: /channel/epsiloncorrect/122 , тут: /channel/epsiloncorrect/125 и тут: /channel/epsiloncorrect/126 .
Рекомендую заглянуть всем интересующимся.

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 December 2023 11:50

Приглашаем на Новогодний огонек AIRI Seminars, где исследователи обсудят яркие статьи этого года🎄

🗓️ 13 декабря в 17:00

В программе выступления и дискуссия про самые яркие научные достижения года в компании 10-ти спикеров:

→  Александр Коваленко, AIRI;
→ Дмитрий Юдин, МФТИ;
→ Иннокентий Хумонен, AIRI;
→ Валентин Хрульков, Yandex;
→ Роман Рыбка, Курчатовский институт;
→ Ирина Пионтковская, Huawei;
→ Валентин Малых, MTS AI;
→ Кирилл Солодских, TheStageai;
→ Илья Трофимов, Сколтех;
→ Алексей Осадчий, ВШЭ, AIRI.

Формат: онлайн на YouTube-канале AIRI и офлайн в нашем офисе в Москве. Чтобы попасть на офлайн-семинар, необходимо пройти регистрацию на сайте.

До встречи на заключительном семинаре 2023 года! 💡

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 December 2023 10:00

В комментариях меня неоднократно просили показать на бытовых предметах, как выглядит круглый тензор, и я, наконец, выполняю просьбу...
...
Круглый? Круглый. Содержит в себе упорядоченный набор чисел? Содержит. Вот вам и круглый тензор. 🤷‍♀

#математика_на_примерах

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 December 2023 11:23

Сходящаяся (1) и расходящаяся (2) последовательности.

Во втором видео конечно правильно было сказать "координата никогда не сойдется к пределу", а не к координате (оговорка)

#математика_на_примерах

Техножрица 👩‍💻👩‍🏫👩‍🔧

08 December 2023 13:12

настоящая математика учится так: сдаётся экзамен, заканчивается курсы.. магистратура.. что там ещё. Потом, спустя 10+ лет идёшь такой выбрасывать мусор с ведром очисток от картошки. Выбрасываешь. И по дороге домой «осиняет» - мол, ёбнрт, ведь <подставить термин> для <термин>, чтобы <много терминов>!

Техножрица 👩‍💻👩‍🏫👩‍🔧

07 December 2023 21:46

Рис. 1 - определение топоса.
https://youtu.be/ZpSwFXJ3uWY?si=NnHC4KI3PYsXKD5l - точное выражение того, как я себя чувствую при взгляде на это определение.

(Шла моя N-я попытка наконец-то последовательно с самых основ повторить теорию категорий в надежде в этот раз точно её не забросить, пройтись по всему старому и изучить все новое, необходимое для понимания тех кирпичиков, из которых строится теория топосов...)

Техножрица 👩‍💻👩‍🏫👩‍🔧

06 December 2023 19:40

🔼 Интересное испытание на умение гуглить с умом и в несколько этапов для наших электронных друзей 🙃🤖

Техножрица 👩‍💻👩‍🏫👩‍🔧

05 December 2023 11:50

DALLE3 ОРЁТ НА CHATPGT, ЧТОБЫ ДО НЕГО ЛУЧШЕ ДОШЛО!!!

Старая новость, но все равно скину, потому что ОРНУЛА с такой интерпретации этого приема промпт-инжиниринга:

https://arstechnica.com/information-technology/2023/10/thanks-to-ai-the-future-of-programming-may-involve-yelling-in-all-caps/

P.S. для душнил: да, да, все понимают, что "орёт" не сам DALLE, а какой-то простой триггер, включающийся после его генерации.

Техножрица 👩‍💻👩‍🏫👩‍🔧

20 December 2023 20:53

Занятный видос порекомендовал мне сегодня Ютуб: https://www.youtube.com/watch?v=KjhI4vDfMdY&amp;ab_channel=%D0%90%D0%BB%D0%B5%D0%BA%D1%81%D0%B0%D0%BD%D0%B4%D1%80%D0%9F%D0%B0%D0%BD%D1%87%D0%B8%D0%BD
Название, конечно, сразу привлекло мое внимание. Неужели известнейший Магос Биологис, за которым следует целая свита сервиторов-наукоботов, вновь и вновь скандирующих в секциях комментариев: "Наука Доказала! Слава Науке!", действительно покажет, что наука - это не религия? 😀 Ну чтож, давайте попробуем разобраться.

Условно видео можно поделить на три части: первая - рассказ о механизме коррекции ошибок внутри науки; вторая - разговор с копипастой (Фейерабендом); третья - забавные истории про различные тролльские статьи. Расскажу про свои впечатления от первой в этом посте, а о двух других - в следующем.

1. Итак, в первой части нам на примерах рассказывают про то, как по мере накопления новых фактов, старые научные теории опровергаются и заменяются на более точные и корректные, и все радуются этому прогрессу.
Я бы прокомментировала эту часть так: на самом деле, тут рассказывается скорее не про то, как наука работает в реальной жизни, а про то, как она должна работать в идеале.
В реальной жизни ученые страдают всеми теми же пороками и недостатками, что и все остальные люди. А естественная реакция любого человека, исследование которого критикуют (например, во время рецензирования) - разозлиться или расстроиться (а часто и то, и другое сразу). Да, если у исследователя развито критическое мышление, он сможет - после того, как успокоится - смириться с тем, что был не прав и принять новую точку зрения. Но, во-первых, на смену взглядов всегда требуется время; во-вторых, реальный человек, взгляды которого опровергли, вряд ли будет испытывать при этом радость; в-третьих, далеко не все исследователи в принципе имеют развитое критическое мышление; кому-то теплое местечко дороже интеллектуальной честности, а кто-то и вовсе выгорел и больше не задумывается всерьез ни о каких научных истинах, работая в академии по инерции просто потому что больше ничего не умеет. Я думаю, поскольку Александр долго работал/работает в НИИ, он должен знать об этих явлениях больше меня. 🍷

Что же касается коррекции ошибок в науке в принципе: да, такая коррекция происходит на больших масштабах, но на малых масштабах случаются и рецессии, когда нормальную науку объявляют лженаукой и наоборот. Кроме того, бывали в истории науки и такие случаи, когда самых здравомыслящих людей своего времени, которые были во всем правы, но обладали недостаточными, как сейчас бы сказали, софт скиллами, ученые современники высмеивали и считали придурками.

Для меня самой яркой историей такого рода была история Земмельвейса: см. https://www.historymed.ru/encyclopedia/doctors/index.php?ELEMENT_ID=4948 и https://ru.wikipedia.org/wiki/%D0%97%D0%B5%D0%BC%D0%BC%D0%B5%D0%BB%D1%8C%D0%B2%D0%B5%D0%B9%D1%81,_%D0%98%D0%B3%D0%BD%D0%B0%D1%86_%D0%A4%D0%B8%D0%BB%D0%B8%D0%BF%D0%BF - см. "Реакция научного сообщества при жизни Земмельвейса" . В первой половине 19 века принимать роды и совершать разнообразные манипуляции с роженицами грязными руками и инструментами было не просто нормой; люди вряд ли даже задумывались, что в этом может быть что-то плохое. Однако, Земмельвейс был наблюдательнее других. Он понял и продемонстрировал, что т.н. "родильная горячка" обуславливается инфекционным заражением и начал активно внедрять практику дезинфекции рук и инструментов в работу акушеров. Однако, несмотря на значительный успех в снижении смертности рожениц, которого он смог добиться, его практики встречали большое сопротивление у существенной части как простых врачей, так и научного сообщества. Они высмеивали его и гнобили - предположительно потому что им было просто слишком тяжело осознать, что по их вине, из-за их грязных инструментов получили заражение крови и погибли множество пациенток, которые могли бы и не умирать. 🤨 Действительно, психике человека непросто справиться с таким чувством вины. Намного проще обосрать и высмеять того, кто говорит неприятную правду. 🤨 #наука

Техножрица 👩‍💻👩‍🏫👩‍🔧

19 December 2023 17:49

Выпустили первую стабильную версию Tensorflow-GNN 1.0! 🎅

TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно 🇷🇺, приятно.

Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает. 😛

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 December 2023 20:12

Парочка смекалистых комментаторов быстро сообразили, о чем речь. И в самом деле, речь о "Задаче Трех Тел" Ли Цысиня. А именно, про первые 29 глав этой #книги (из 35 всего).

Меня с самой первой главы зацепил живой язык повествования этой книги. В последний месяц я прослушивала её аудиоверсию на русском в озвучке Игоря Князева каждый раз, когда ехала на работу или куда-либо еще. И каждый раз мир вокруг как будто пропадал, и вот я уже видела не черные стены туннеля за окном поезда метро и не голые зимние деревья на фоне многоэтажек из окна такси; вместо этого передо мной вставали живые, яркие, полные эмоций образы.
Фигурка молодой девушки, размахивающей флагом на крыше под градом пуль; угасающее сознание замерзающей насмерть узницы, облитой ледяной водой в промерзшей камере; гул ветра в загадочной параболической антенне на вершине холма; радиоволны, незримо, но неумолимо распространяющиеся сквозь космическое пространство; предсмертная записка со словами "физика никогда не существовала и никогда не будет существовать"; спокойное, бесстрастное, методичное движение туда-сюда пилой по канату, разрыв - и два тела, падающих в пропасть; математическое моделирование движения трех тел в воображении гения-затворника; гротексные катастрофы, вновь и вновь постигающие сотни цивилизаций в игре, которая выглядит более реальной, чем реальность; огромный корабль, несущий на себе бесценную информацию из другого мира.

НЕ ОТВЕЧАЙТЕ НА ЭТО СООБЩЕНИЕ. ЕСЛИ ВЫ ОТВЕТИТЕ, ВАША ПЛАНЕТА ПОДВЕРГНЕТСЯ ВТОРЖЕНИЮ.
НЕ ОТВЕЧАЙТЕ! НЕ ОТВЕЧАЙТЕ! НЕ ОТВЕЧАЙТЕ!

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 December 2023 15:42

🙏 пояснили за микстраль ⤴️

Техножрица 👩‍💻👩‍🏫👩‍🔧

17 December 2023 08:57

В последнее время часто обсуждают модель Mixtral 8x7B ( https://mistral.ai/news/mixtral-of-experts/ ), использующую архитектуру MoE (mixture of experts). Обсуждают и пересказывают много раз и сами принципы MoE. Мне же, скорее, интересен другой вопрос: чем MoE в Mixtral существенно отличается от того, про который Google писал в прошлом году ( https://blog.research.google/2022/11/mixture-of-experts-with-expert-choice.html )? Есть какое-то краткое объяснение, в чем заключается именно новизна Mixtral по сравнению с другими моделями на MoE или какова причина, по которой он работает лучше, чем они?
Если что, я не предъявляю претензий к Mixtral, просто лень продираться через пересказы одного и то же, хотелось бы сразу перейти к сути 😅

Техножрица 👩‍💻👩‍🏫👩‍🔧

16 December 2023 20:06

Если вы на NeurIPS, приходите на постер-сессию Workshop on Advancing Neural Network Training обсудить ReLoRA и то как мы скейлили метод до 1.3B!

Место: Room 243 - 245
Время: 1pm
Новая версия статьи: тык

twitter.com/guitaricet/status/1736056341343449506

Техножрица 👩‍💻👩‍🏫👩‍🔧

16 December 2023 06:48

🌸Все данные для тестов LLM скомпрометированы? 🌸
#nlp #про_nlp #nlp_papers

Часто можно услышать критику о том, что результатам оценки LLM не стоит доверять, так как многие бенчмарки и датасеты уже давно лежат на гитхабе, а значит, наверняка попали в обучение моделей.

Как надежно тестировать языковые модели, если у нас часто нет доступа к их обучающим данным, а некоторые так и полностью от нас закрыты? Что, если данные были скомпрометированы?

Авторы Alpaca представили новый метод, позволяющий оценить риск утечки (контаминации) датасета, т.е. его ненамеренное/намеренное попадание в обучающую выборку у языковых моделей.

Идея простая: будем считать, что модель "запоминает" задания и ответы на них в той же последовательности, как они идут в датасете. Давайте проверим, сможем ли мы установить статистически значимую разницу в качестве решений задачи, если будем показывать моделям набор тестов задачи в том порядке, как он идут в самом датасете, или же в перемешанном порядке.
Спойлер: да, можем.

Искусственный эксперимент, при котором небольшой модели (1.4 млрд параметров) при обучении на Википедии "подкладывают" тестовые сеты различных датасетов — один раз, десять раз и т.д. — показывает, что при 10 и более копиях теста в обучении разница в качестве решения устанавливается достаточно надежно, и можно с уверенностью сказать, что можель опирается на запоминание, а не на обобщение или другие "возникающие" интеллектуальные способности.

Авторы протестировали несколько LLM (LLaMA2-7B, Mistral-7B, Pythia-1.4B, GPT-2 XL, BioMedLM) на публичных датасетах — и некоторые из них оказались действительно скомпрометированы. Например, Arc challenge точно попал в обучение Mistral, да еще и 10+ раз!

Выводы:
🟣Мы уже можем тестировать языковые модели, в том числе доступные только по API, на "честность" решения самых разных задач, а также можем проверять, не меняется ли картина во времени.
🟣Реальную сложность представляет обнаружение утечки теста, когда он попал в обучение всего один раз (не удается стат значимо установить разницу в качестве решений)
🟣Нас может ждать глобальный и регулярный пересмотр подхода к тестированию моделей, так как открытые ответы регулярно выкладываются на открытые площадки и, соответственно, компрометируются. Оценка LLM должна быть привязана ко времени?
🟣Остается проверить так все модели OpenAI?

🟣Статья: Proving Test Set Contamination in Black Box Language Models link

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 December 2023 11:04

Cейчас идёт NeurIPS 2023 и word2vec на ней взял премию «Test of Time Award"». Технология появилась в 2012 году и всё ещё у многих живёт в проде, несмотря на огромный буст в развитии языковых моделей.

Когда я впервые услышал про w2v, я офигел. Потом мне очень нравилось рассказывать об этом на своих лекциях. DL для всех был вновинку и все офигивали с того, что такая магия возможна.

Чегоооо, в векторах есть смысл и их можно складывать?! Сейчас, конечно, никого w2v не удивишь.

Мне w2v на работе сослужил очень хорошую службу. Когда я ещё работал в Дзене, и мы только начинали делать модерацию, у нас не было ничего кроме штата модераторов.

Мы строили автоматическую модерацию с нуля. Нужны были риал-тайм разметки в толоке и классификаторы на все возможные типы нарушений.

Первой моделькой была логистическая регрессия на tf-idf. Она срезала часть потока в гарантированно плохое и гарантированно хорошее. Оставалось разметить только серую зону.

Второй моделькой стали свёрточные сетки поверх word2vec, обученного на всём рунете. Рок-ауки во всех классификаторах знатно подросли.

После мы стали пробовать более сложные модели и получили ещё немного прироста в качестве (пробовали делать более сложные эмбеддинги и поверх гоняли градиентный бустинг).

В прод эта история ехала очень долго, потому что зазор в качестве, в плане сэкономленных на разметку денег, был не очень большим, а разработка итак была сильно загружена.

Ну а потом мы год ебались, чтобы выжать профит из SOTA вроде BERT. В терминах рок-аук был прирост, но инференс в реал-тайме был очень дорогим, поэтому модели в прод не поехали.

В разных курсах по NLP можно часто встретить мысль про то, что BERT -- это отличный бейзлайн для классификации. Тут хочется добавить приписочку «если у вас есть бесконечные ресурсы для вычислений».

BERT это плохой бейзлайн. Начинать нужно не с него.

Если бы меня попросили сделать модерацию сейчас, я бы точно также обучил бы лог-регрессий, затем апдейтнул бы это дело word2vec, а уже потом бы пробовал большие LLM-ки и BERT.

https://twitter.com/JeffDean/status/1734720190401634474

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 December 2023 07:50

Гайд
Как нравиться девочкам и производить на них хорошее впечатление

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 December 2023 08:28

Ёжик поддержал идею с математическими терминами и аналогиями/примерами из жизни) предлагаю там тоже почитать и поотвечать, у кого есть свободное время.
https://vk.com/wall-186208863_33867

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 December 2023 10:32

В комментариях предложили объяснить с помощью подручных средств собственные числа, и я сразу подумала про собственные частоты и про то, что дома должно быть легко найти или сделать какую-то штуку, для которой можно будет их вычислить, а потом сказать: вот, эти собственные частоты являются собственными значениями матрицы системы дифференциальных уравнений, которыми данная штука описывается. 🤔

-

Кажется, что минимально пригодный для данной цели физический объект - колебательная система с какими-нибудь осцилляторами, похожими на гармонические, которая бы грубо приближалась простой системой из двух дифференциальных уравнений (чтобы получить матрицу 2х2 и из нее достать собственные числа).

Я решила посмотреть видосы от умного чела:
1. https://youtu.be/-pXnfzQfupE?si=tJbsMhRcWzrhN_CZ
2. https://youtu.be/cU4b1vI-J2k?si=6VpAEVsK-7XsoNzs
3. https://youtu.be/xtFUMtHjzAE?si=OlsSI7g9OhfL5vec ,

в которых как раз показывают пример расчета такой системы и попыталась её воспроизвести из подручных средств (три резинки, две сережки, стул).
Результат этой попытки вы видите на приложенном видео...
...
Может возникнуть вопрос, почему я попыталась использовать легкие сережки вместо каких-то более тяжелых грузиков? Ведь используя тяжелые грузики, можно было бы добиться собственных колебаний с меньшей частотой, которую можно было бы легче увидеть глазами и при желании прикинуть по секундомеру. Ответ прост: потому что у меня дома не было более тяжелых маленьких предметов одинаковой массы, которые можно было бы с двух концов прикрепить к резинкам... была мысль что-то к сережкам привязывать, но тогда в нашей системе появились бы дополнительные осцилляторы, и она бы стала совсем далека от простых уравнений из видео.
Ввиду всех упомянутых сложностей, а также уничтожения части лабораторного оборудования, выполнять данную лабораторную работу дальше мне стало лень, так что предлагаю насладиться объяснениями из видео на ютубе и показанной там же компьютерной симуляцией, недоступной для домашних животных 😁

#математика_на_примерах 🥴

Техножрица 👩‍💻👩‍🏫👩‍🔧

08 December 2023 11:01

А давайте-ка попробуем сделать такое упражнение.

Вы мне пишете в комментариях какое-нибудь математическое понятие уровня либо школьной математики, либо первых двух-трёх курсов университета (если брать что-то со старших курсов, я с большой вероятностью это буду тупо не помнить или не знать, и будет неинтересно).
А я в ответ вам попробую привести пример или аналогию к этому понятию, используя бытовые предметы у меня дома (типа тарелки).

Например:
- понятие - группа Ли.
- пример - берём тарелку. Её можно поворачивать по часовой стрелке и против часовой стрелки - получаем группу поворотов, которая изоморфна окружности. Окружность - многообразие. Получается, что эта группа поворотов является группой Ли.

Буду отвечать по мере возможности, скорее всего, вечером или на выходных (сегодня все же рабочий день).

#математика_на_примерах

Техножрица 👩‍💻👩‍🏫👩‍🔧

07 December 2023 08:28

Сделала пост на Ёжике с рассказом про очередной интересный математический канал на YouTube:
https://m.vk.com/wall-186208863_33548?from=mathhedgehog

В посте я рассказывала про три видео с этого канала, которые мне понравились:
1. Про компактность: https://youtu.be/td7Nz9ATyWY?si=xXWgS2NCPw5880DD
2. Про связность:
https://youtu.be/1QAqxiO8VHM?si=mFRgXWW1KENVqmbV
3. Про условно сходящиеся ряды: https://youtu.be/U0w0f0PDdPA?si=J1wLJbi1mQsoDWtM

Рекомендую всем, кто интересуется основами мат.анализа, глянуть видео, а также подписаться на "Ёжика". Там, кстати, записывают и выкладывают и намного более серьезные лекции по мат.анализу и другим математическим дисциплинам, которые читаются лекторами МГУ и других хороших ВУЗов.

#математика

Техножрица 👩‍💻👩‍🏫👩‍🔧

06 December 2023 19:38

GAIA: a benchmark for General AI Assistants [2023] - достойное испытание или очередной тест на запоминание?

Авторы приводят следующую проблему появляющихся бенчмарков - их делают всё более и более трудными, добиваясь этого засчёт углубления необходимых знаний для ответа на вопрос, например, знание узкоспециализированного научного факта.

Но на самом деле рядовые задачи человека - это выполнения длинных цепочек простых операций, связанных с анализом содержимого файла, поиска в интернете, считывание чего-то с сайта и т.д. Именно такого рода испытание для моделей подготовили авторы данной работы. Они вручную составили 466 таких вопросов трёх уровней сложности (см. картинку).

Человек решает 90% вопросов, тогда как GPT-4 с настроенными вручную плагинами набирает только 30% на первом уровне сложности. На третьем уровне сложности та же модель показывает нулевой результат.

На мой взгляд, бенчмарк интересный. С одной стороны, он не проверяет интеллект, как обучаемость, то есть успешное прохождение не гарантирует нам тот самый AGI. Но это отличный тест на применимость AI в реальной жизни в качестве ассистента. Однако, и тут есть одно но.

Это всё будет иметь смысл только в случае, если GAIA будет black-box бенчмарком!

Если вопросы тестовой части бенчмарка выложат в интернет, это неизбежно приведёт к тому, что, во-первых, это попадёт в претрейн вместе с ответами, которые любезно оставят где-то в комментариях, а, во-вторых, разработчики неявно начнут зашивать в модель bias в сторону ответов на конкретные вопросы из GAIA.

Закрытость тестового входа стала ключом качества ARC, как теста на обучаемость, не позволившим исследователям неявно решить задачу "вместо модели" и таким образом обойдя сложность. Будем надеяться, авторы GAIA обеспечат честное и сложное соревнование.

@knowledge_accumulator

Техножрица 👩‍💻👩‍🏫👩‍🔧

04 December 2023 13:57

В комментариях и ЛС мне неоднократно задавали вопросы о том, в какой из ВУЗов РФ предпочтительнее поступать, если есть желание стать специалистом в ML/DS с высшим образованием.

Недавно, наконец-то, появился рейтинг наиболее подходящих для этой цели ВУЗов:
https://rating.a-ai.ru/
На главной странице можно увидеть список самих учебных заведений, а на вкладке "методология" ознакомиться с принципами их оценки.

P.S. Кажется странным, что в рейтинге нет Сколтеха, ведь там очень хорошо развиты исследования, связанные с ИИ. Возможно, это потому что в Сколтехе нет бакалавриата, либо потому что он не государственный и из-за этого не считается за обычный ВУЗ 🤔