Техножрица 👩‍💻👩‍🏫👩‍🔧

26 July 2024 14:19

А тем временем, пока я трогала траву и градины, на сайте ODS выложили секцию "Random DS/ML" с датафеста этого года ( https://ods.ai/tracks/df24-randomdsml ). В этой секции были те доклады, которые не попали по тематике в другие секции - в частности, доклад, наверное, самого молодого участника фестиваля, Захара ( /channel/vf_science ) про распознавание музыкальных нот в звукозаписи и генерацию музыки -
https://www.youtube.com/watch?v=uLZsDD4PFxw , на который я ходила на фесте.

Техножрица 👩‍💻👩‍🏫👩‍🔧

25 July 2024 14:38

Это высказывание неожиданно хорошо подходит для объяснения того, как работают нейросети (хотя изначально, конечно, речь про них не шла).

Например, в задаче классификации каждый слой нейросети упрощает исходную задачу до тех пор, пока те классы, которые модель должна научиться отличать друг от друга, не станут линейно разделимыми. В более общей формулировке - нейросеть постепенно упрощает задачу до тех пор, пока она не станет настолько элементарной, что ее сможет решить один последний слой.

Техножрица 👩‍💻👩‍🏫👩‍🔧

24 July 2024 16:43

Сегодня рассказывала мат.школьникам на летней школе про то, почему нейросети лучше решают задачи, когда в них добавляют больше слоев. 😆

Большая часть объяснения строилась вокруг использования старенькой (да удаленькой) демонстрации-песочницы https://playground.tensorflow.org/ . Попробуйте и вы с ней поиграть... тут есть 4 модельные задачки для классификации и одна задачка для регрессии - все на двумерной плоскости. Задачи решаются у вас на глазах многослойным перцептроном, количество слоев и нейронов в котором вы выбираете сами. Также из нескольких вариантов можно выбрать активации, фичи, регуляризацию и другие настройки обучения и смотреть, как это повлияет на способность модельки решать предложенные задачи.

#учебные_материалы

Техножрица 👩‍💻👩‍🏫👩‍🔧

23 July 2024 10:47

Здравствуйте-здравствуйте, мои дорогие любимые хорошие! Сегодня, 23 июля, в облачном пространстве между Azure и AWS происходит опенсорсное полнолуние, которое обрушит на нас волну синтетических датасетов, обновлений моделей у AI-powered стартапов и бесконечный поток информации, от которого захочется везде отписаться.

Обратите внимание, уважаемые gpu rich kids, звезды предвещают вам необыкновенную удачу и повышенный интерес к вашей персоне. Это время благоприятствует щедрым поступкам, поэтому воспользуйтесь этим шансом на благо опенсорса и поделитесь gguf-ом со своими окружающими. Не забывайте, что делиться - значит властвовать!

Полнолуние не пройдет стороной ресерчеров. Напоминаем, что Луна сейчас ретроградит в доме peer review, а скоро нас ожидает переход в rebuttal, поэтому расчитывайте свои силы грамотно, не кидайтесь в омут новых экспериментов с 405b моделью. Не дайте себя затянуть в водоворот неограниченных возможностей!

Что касается fellow LLM enjoyers, вам звезды говорят запастись терпением и готовиться к новому этапу в жизни. Расчехляйте свои лучшие джейлбреки, настройте abliteration пайплайны и помните, великое требует времени, а в случае домашних 3090 большого времени. Идите своим темпом и наслаждайтесь процессом.

Турбулентное время наступает для тг админов. Звезды предсказывают вам сложный выбор: написать про выход новой модели, репостнуть канал побольше или затаиться в своих мыслительных процессах. Будьте готовы к решающим действиям, ведь от вас зависит информационное пространство!

Пусть это опенсорсное полнолуние станет настоящим праздником для всех, кто ценит технологии, интеллект и свободу знаний.

С вами была Анжела Пипинсталовна, пока-пока!

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2024 12:21

Долго забывала написать в паблике про препринт статьи "Improving Interpretability and Robustness for the Detection of AI-Generated Images", над которым мы работали совместно с Таней ( @dl_stories ), а также с Германом ( @junkyardmathml ) и другими коллегами, но сегодня, наконец, исправляюсь. 🧐
В данной работе было сделано несколько наблюдений про детекцию искусственно сгенерированных изображений с помощью эмбеддингов модели CLIP:

1️⃣ Допустим, у нас есть: A - набор картинок, на которых обучалась заданная генеративная модель (т.е. какой-нибудь GAN или Diffusion Model) и B - набор картинок, которые эта модель сгенерировала. Далее эти картинки можно подать на вход CLIP и извлечь из его последнего слоя эмбеддинги, соответствующие картинкам: A' и B'. Так вот, для каждого отдельного генератора, который мы рассмотрели, эти эмбеддинги оказывались линейно разделимыми с достаточно большой точностью, но при этом у разных генераторов разделяющая плоскость проводилась по-разному, что являлось причиной проблем с робастностью классификатора на этих эмбеддингах. Рассмотрев отрезок, соединяющий центроиды кластеров A' и B' для какого-то генератора ("Residual" на рис. 1), можно понять причины того, почему так происходит.
Как мы помним, пространство эмбеддингов CLIP является общим для картинок и текстов, так что для каждого вектора в этом пространстве можно найти текст, который ближе всего к нему по смыслу. И если рассмотреть тексты, которые ближе всего по смыслу к Residual-ам, то можно понять, в чем конкретно заключается отличительная особенность картинок, сделанных каждым генератором. У некоторых генераторов ближайший текст так и будет выглядеть как "generated photo", у других ближайший текст - это что-то на тему детальности или цветовой гаммы картинок (например, что-нибудь про "vibrant" и "detailed") и т.д. Таким образом, мы показали простой способ интерпретировать работу классификатора сгенерированных картинок на эмбеддингах.

2️⃣ Мы также обнаружили, что некоторые компоненты финального эмбеддинга CLIP хранят в себе информацию, которая важна для детекции конкретного генератора (или конкретного типа генераторов, например, GANов), но уменьшает качество переноса детектора на другой генератор. Если найти и удалить эти компоненты, то можно существенно улучшить робастность классификатора при изменении генерирующей модели. Особенно интересно, что получилось улучшить переносимость классификатора с детекции генераторов-диффузий на детекцию генераторов-GANов (и обратно).

3️⃣ Кроме того, оказалось, что некоторые головы внимания CLIP выделяют более полезные для робастной классификации фичи, чем другие. С помощью этого наблюдения тоже можно выудить из CLIP-а информацию, которая позволяет классифицировать картинки более робастно, чем это делал стандартный классификатор на эмбеддингах CLIP. И здесь тоже можно улучшить переносимость классификатора с детекции генераторов-диффузий на детекцию генераторов-GANов и наоборот.

В общем, такой вот вклад в улучшение интерпретируемости и робастности детекции сгенерированных изображений. Ну а я пошла дальше траву трогать. 🏃🏕🌳

#объяснения_статей

Техножрица 👩‍💻👩‍🏫👩‍🔧

20 July 2024 21:47

Когда пьёшь палёный коньяк на пляже в Анапе

Техножрица 👩‍💻👩‍🏫👩‍🔧

15 July 2024 16:03

Ну чтож, дорогие подписчики, пришло время прославить новую ИИ-папку! Вот она:

/channel/addlist/C_RSYpbW5mIyMjVi

В этой папке собрано почти три десятка авторских ИИ-каналов в телеграмме. Есть каналы-сборники ссылок на научные статьи по ИИ ( http://t.me/NeuralSketches , /channel/j_links ), есть каналы с подробными объяснениями статей и размышлениями на разные темы (например, уже знакомый многим /channel/knowledge_accumulator ), есть каналы с заметками о жизни (например, Тани Гайнцевой - /channel/neural_wine ) и многое другое.

Выбирайте, что нравится или подписывайтесь на все сразу ✍️

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 July 2024 17:24

Когда мне было лет 12-13, я обнаружил, что азарт, взлеты радости и горькие разочарования вызывает у меня такое неожиданное занятие, как чтение гранвилевского курса анализа в русском переводе Лузина, вышедшем в свет в 1935 году. Я нашел эту книжку на чердаке у моего приятеля. Помимо прочего стандартного материала, в ней содержалось и небезызвестное эпсилон-дельта определение непрерывной функции. Поборовшись с этим определением какое-то время (было жаркое крымское лето; я сидел под запыленной яблоней), я так разозлился, что выкопал неглубокую ямку, закопал книгу под деревом и с отвращением ушел. Через час начался дождь. Я ринулся назад к яблоне и откопал бедную книгу. Так я понял, что я ее все-таки люблю.


воспоминания Ю.И. Манина

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 July 2024 18:00

И ещё насчёт ресерча.

Кажется, мы стали забывать классику...

Техножрица 👩‍💻👩‍🏫👩‍🔧

11 July 2024 08:36

По мотивам недавнего обсуждения с коллегами за обедом...
...
Друзья, а у вас есть ролевая модель? Есть какой-то мегауспешный инженер / исследователь, чей карьерный путь вы бы хотели повторить?

Я вот осознала некий парадокс у себя в голове: любой "чрезмерно успешный" карьерный путь мною на уровне эмоций воспринимается как "нить вашей судьбы обрывается". Потому что складывается впечатление, что при достижении определенного уровня успешности карьеры человек начинает уделять менеджменту намного больше времени и умственного пространства, чем собственно занятию наукой.
Выходит, вся карьера так называемого успешного ученого - это всю жизнь заниматься наукой только для того, чтобы потом...
...не заниматься наукой?
(С разработкой, кстати, то же самое - чем выше поднимаешься, тем дальше становишься от собственно кода, а затем даже от деталей архитектуры).

Как будто становится непонятно, зачем тогда вообще такой карьерный рост нужен, кроме как из-за денег. Но я довольно хардкорный технарь и при желании могу за несколько месяцев просто переучиться на что-нибудь чуть более прикладное и намного более прибыльное, чем занимаюсь в данный момент (во всем, что связано с AI, специалисты с многолетним опытом сейчас ценятся очень высоко). А результат будет тот же - i.e. максимизация дохода одновременно с уходом от научной деятельности. 🤷‍♀️
Поэтому я до сих пор так и не знаю, кем я хочу быть когда вырасту... 😌

#о_себе #рассуждения

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 July 2024 16:17

сегодня основное впечатление от конфы такое что ко мне на остановке на обратном пути прицепился какой-то хрен лохматый (но надо сказать довольно симпатичный!) и такой i noticed you at the cooooonference то да се а автобус придет? а как тебя зовут? а пошли на другую остановку вместе я так вчера ездил так быстрее! а че как тебе доклады? а че вообще? а на экскурсию пойдешь а я вот не пойду я пойду лучше исследовать город ночью а ты? а где работаешь? ой как интересно!

в общем я его долго просвещала, балбеса лохматого, насчет того как правильно смотреть на взаимодействие когнитивной теории и дип лернинг практики а потом когда я с ним уже распрощалась до меня дошло что это крис саммерфильд который в дипмайнде и еще заведует лабой в оксфорде. мамочки!!!!

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 July 2024 21:36

На рис. 1-3 можно видеть фотографии блокнота "Простые радости". А какие у нас главные радости?
Правильно, спецкурс по римановым поверхностям!

Ну и, наконец, на рис.4-6 можно ознакомиться со слегка пугающим блокнотом с лаконичным названием ArtNote. В нем содержались лекции и задачи из спецкурса "Характеристические классы". Как видно, на этом моменте мое психическое здоровье начало меня подводить! Весь блокнот исчерчен, перечеркнут, исклеен какими-то бумажными вставками с указанием того, в каком порядке их нужно читать (рис.5) и ссылками на конспекты одного аспиранта (рис. 6) - судя по всему, единственного человека, который понимал этот спецкурс. Знаете, что с ним потом стало?
Словил психоз и напал на коменданта общежития с самодельным копьем, после чего уехал в заслуженный академический отпуск в дом с мягкими белыми стенами.
Не шутка...
...
...ну ладно, ладно, больше не буду вас пугать. Вот вам напоследок рис. 7 - листочек, на котором я, судя по всему, планировала и затем отмечала свой режим подготовки к экзамену по мат.анализу (возможно, это уже был ГОС). Так что всем спокойного вечера и немножечко Коши для тела и души! ✌️

#учеба_на_мехмате #о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

04 July 2024 08:59

https://youtu.be/HT6hM5lDZUk?si=BnR10z1KHx4poxZ_

Tl;Dr: на Амазоне начала набирать популярность продажа книг со сгенерированным содержимым (сгенерированный текст + сгенерированные картинки).

Тем временем Дарья Донцова и авторы цикла Ересь Хоруса, также узнав про ИИ, готовятся приумножить скорость создания новых шедевров: 💃🥴💵

#генерация

Техножрица 👩‍💻👩‍🏫👩‍🔧

01 July 2024 09:32

Я соврал, я ничего не знаю о "заработке на нейросетях без вложений." Садись, мы будем изучать multi-head self-attention

Техножрица 👩‍💻👩‍🏫👩‍🔧

29 June 2024 10:48

Этим, милая Соня, я заканчиваю свое письмо в отношении себя. Надеюсь, Ты уже избавилась от цюрихской атмосферы и дышишь свежим горным воздухом. Во время своего пребывания здесь я очень часто думал о Тебе и представлял себе, как прекрасно было бы, если бы я мог по жить несколько недель с Тобой, друг мой сердечный, среди такой восхитительной природы. Как прекрасно было бы нам — Тебе с Твоей душой, полной фантазии, и мне, возбужденному и освеженному Твоим энтузиазмом,— помечтать тут над многими задачами, которые нам предстоит разрешить: о конечных и бесконечных пространствах, об устойчивости мировой системы и о всех других великих задачах математики и физики будущего. Но я давно уже научился смиряться с тем, что не каждый прекрасный сон осуществляется.
Мне бросилось в глаза, милый друг, что в своем последнем письме Ты совершенно умалчиваешь о состоянии своего здоровья. Это могло бы меня в известной степени успокоить, так как тот, кто чувствует себя совсем хорошо, об этом и не говорит. Однако, Ты знаешь, что я не сторонник доказательств от противного, которые никогда не дают полной уверенности. Поэтому я прошу прямых данных.


отрывок из письма Карла Вейерштрасса к Софье Ковалевской, 20 августа 1873 года, Засниц (остров Рюген), гостиница цум Фаренберг

Техножрица 👩‍💻👩‍🏫👩‍🔧

25 July 2024 17:52

После вот этой вот фигни у нас сегодня на базе дерево упало и порвало кабель, и в одном корпусе вырубился свет 🏄‍♂️

Техножрица 👩‍💻👩‍🏫👩‍🔧

25 July 2024 06:40

Интересно, кто же дал им фото этой маленькой хулиганки с наггетсом, растущим на железной ножке прямо из банки? 😮‍💨

Техножрица 👩‍💻👩‍🏫👩‍🔧

23 July 2024 20:55

Всем привет! Как вы заметили, Танечка (то есть, я) была немного в отпуске от канала, в основном потому что жизнь иногда бывает сложной🫠
Но потихоньку возвращаюсь. И давайте для начала расскажу, что произошло за последнее время хорошего/интересного:

✔️Вышли три статьи, в которых я соавтор (у двух я первый автор, у одной — второй). И две из них уже приняты на конференции! Статьи вот:

- RAVE: Residual Vector Embedding for CLIP-Guided Backlit Image Enhancement (принята на ECCV-2024). Это статья про то, как улучшать засвеченные изображения используя свойства внутреннего пространства модели CLIP. Напишу тут про нее подробный пост чуть позже.
- AI-generated text boundary detection with RoFT (принята на COLM-2024). Эта статья с исследованием методов для детекции границы между реальным и сгенерированным текстов. Первый автор статьи — Лаида, и у нее в канале есть пост про эту статью
- Improving Interpretability and Robustness for the Detection of AI-Generated Images (under review). Тут мы также с Лаидой и другими коллегами исследовали подходы для улучшения робастности и интерпретируемости подходов к детекции сгенерированных картинок. Пару дней назад Лаида и про эту статью пост написала, welcome к ней в канал читать)

Кстати, в связи с принятием статьи на ECCV я туда поеду. Буду рада встретиться с теми, кто там тоже будет)

✔️В этом году впервые проводится такая вещь как международная олимпиада по искусственному интеллекту для школьников (IOAI). Проводится она в Болгарии с 9 августа, а прямо сейчас идет подготовка команд. Я тоже немного помогаю с подготовкой команды России.

Олимпиада эта выглядит довольно необычно. Вообще не так, как я бы представляла обычную олимпиаду по AI или математике. На самом деле, все еще практически не понятно, что именно школьников ждет на самой олимпиаде в Болгарии, но вот что пока есть:
- Sample problems на сайте олимпиады;
- Take-home задачи, которые разослали командам. Это три задачи (по ML, CV и NLP), которые нужно решить дома и сдать решения до 4 августа. Вот эти задачи очень интересные, на самом деле. Надеюсь, что после олимпиады их выложат в открытый доступ. Как только это случится, напишу);

Короче, очень интересно, что будет на финале. Как только он пройдет, напишу об этом тут)

Техножрица 👩‍💻👩‍🏫👩‍🔧

22 July 2024 21:11

ИИ для неспециалистов

Может, здесь окажется неумышленный байт :D

Сейчас я третий раз в жизни попал на более-менее крупный ивент про ИИ, ориентированный не на технических специалистов и (!а это важно!) проводимый не техническими специалистами, организованный Розеткой. Помню свое замешательство во время первого такого события в 2021 году, когда меня позвали помочь помодерировать секцию по ИИ, а вместо кодинга там были рассуждения про этику, проектирование будущего и разбор книги "Новый ум короля". Мне это на тот момент показалось... очень и очень сомнительной движухой. Для меня вообще это было открытием, что люди таким образом тоже занимаются технологиями. И сейчас после вчерашнего ивента у меня появилось несколько вбросов.

Вброс 1. Вообще, я очень часто встречаю такую тему, когда гуманитарные специалисты часто прикасаются к технологиями с позиции о том, что надо визионерствовать, проектировать будущее, рассуждать про этику технологий. Есть распространенная позиция о том, что будущее и вообще развитие технологий возможно только и только если будущему задавать вектор развития, размышлять о нем и конструировать его. Одна из ссылок, чтобы не быть голословным. Вообще, это был постоянный топик в Кружковом Движении, и я очень часто слышу такое в дискуссиях при правительстве.

Что думаете про такое, коллеги? Это действительно нужная и важная штука или это какой-то околоэзотерический способ потешить свое ЧСВ, сказать "я разрабатываю ИИ!" для тех, кто не шарит? Чтобы создать в первую очередь для себя ощущение прошаренности и причастности.

Лично я склоняюсь ко второму варианту и раздражаюсь. Считаю, что "проектирование будущего" должно быть в разработческих лабах, а гуманитарный ИИ это скорее про исследования влияния технологий на социум/демографию/будущее труда и т.п.

Вброс 2. С другой стороны я обожаю проекты, которые занимаются популярным образованием в области ИИ. Рассказывают неспециалистам о доступных ИИ инструментах, делают ликбезы про суть технологии и развеивают магию "черного ящика", делают курсы по основам программирования и учат запускать какие-то простые скрипты. Потому что мы не очень это осознаем, но по факту задать промпт в ChatGPT, а потом интегрировать результат в свою работу, например, по составлению урока по литературе это реально сложно и требует принципиально иного паттерна мышления, чем сейчас есть у неспециалиста. На вчерашнем ивенте для меня это стало по-настоящему сильным открытием. Что, да, для очень и очень многих это по прежнему магия, при этом порой очень и очень пугающая и непонятная. И, да, многие всерьез думают, что ИИ украдет рабочие места, хотя по факту он их только умножает, ха-ха...

Многие осуждают уже эту историю, мол, не надо заниматься популизмом и пудрить людям мозги. Если ИИ, то только с вышматом и курсом по алгоритмам, а остальное техноересь. Ну не знаю. Хотя я до сих пор не могу сказать, глобально я за или против некоторого технологического социал-дарвинизма, но я точно не хочу чтобы его опорной точкой стала степень прошаренности в ИИ. Здесь тоже жду каких-то ваших отношений к мысли.

И еще несколько мыслей после мероприятия. Крутые идеи, btw.

✨Классно, что на взрослый вебинар для учителей позвали школьника, который рассказывал о роли ChatGPT в учебе ;
✨У нас сильная научная школа. Это дает нам сильную выгоду в разработке технологий, хотя Россиия и не в лидерах;
✨ИИ это очень демократизирующая технология. Это не то, что кто-то может запускать ракеты в космос, а кто-то нет. Это та технология, которую могут использовать стартапы и большие корпорации без глобальных отличий "на корню";
✨Хотелось бы чтобы ИИ не приводило бы к консолидации власти в руках больших корпораций;
✨Нам сильно проще представить сценарии, где мы все сделали не так. Киберпанк построить проще, чем светлое будущее. Так уж работает наш мозг.

Если актуально скинуть подборку материалов по ИИ для не специалистов, то пишите. Сделаю.
А, да, ивент у Розетки вышел крутой. Хочу еще с ними вместе поработать. На скриншоте тема лекции про визионерство в ИИ и некоторые книги, которые рекомендовал спикер.

Техножрица 👩‍💻👩‍🏫👩‍🔧

21 July 2024 21:34

Когда взойдёт кровавая Луна
Мир окунётся в квинтэссенцию зла
LLMки превратятся в адских тварей
И всем вам головы поотрывают

Техножрица 👩‍💻👩‍🏫👩‍🔧

18 July 2024 10:31

Возможно, некоторые из читателей недоумевают, почему я так редко отвечаю на сообщения и так редко пишу в паблик...
...а разгадка проста: я трогаю траву (см. рис.1-2).

Да не просто так, а на выездной летней школе для мат.школьников в Подмосковье, которую организовала школа MathCool (см. /channel/math_cool_rus ). Тут я рассказываю старшеклассникам про основы того, как работают простейшие нейросети и как в этом всем используется та математика старших классов, которую они сейчас изучают. Так сказатб предлагаю ознакомиться со способами использовать эту математику на практике.

Один урок уже провела, осталось еще три или четыре (как получится). Вернусь к нормальному офисному образу жизни 29 июля. 💅💋
Вскоре после этого постараюсь рассказать о своих впечатлениях от школы и от рецензирования научных работ, которым также недавно занималась.

#учеба #о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

13 July 2024 19:22

Кое-как, кстати, завершила вчера важное дело - написание рецензий на статьи для NeurIPS.

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 July 2024 18:54

БУНТУЕШЬ ПРОТИВ КОРПОРАЦИЙ, ПОТОМУ ЧТО ОНИ ЗЛЫЕ, ЖАДНЫЕ, МАНИПУЛИРУЮТ ЛЮДЬМИ И ПОДАВЛЯЮТ ИНДИВИДУАЛЬНОСТЬ
@
УВОЛЬНЯЕШЬСЯ С НЕНАВИСТНОЙ ОФИСНОЙ РАБОТЫ, КОТОРАЯ ДЕЛАЛА ТЕБЯ СЕРОЙ МАССОЙ. ТЫ БОЛЬШЕ НЕ РАБ!
@
СОЗДАЁШЬ КРУТОЙ КАНАЛ НА ЛЮБОЙ ПОПУЛЯРНОЙ ПЛАТФОРМЕ И СТАНОВИШЬСЯ ФУЛЛ-ТАЙМ БЛОГЕРОМ - ТВОРЦОМ СВОЕЙ ЖИЗНИ, СВОБОДНЫМ ОТ ОБЩЕСТВЕННЫХ НОРМ И ОПОСТЫЛЕВШЕГО ЛИЦЕМЕРИЯ КОРПОРАТИВНОЙ КУЛЬТУРЫ
@
НЕОЖИДАННО ЗАРАБОТАННЫЕ ОФИСНЫМ ТРУДОМ ДЕНЬГИ ЗАКОНЧИЛИСЬ И НАЧАЛО ХОТЕТЬСЯ КУШАТЬ
@
ТЕПЕРЬ ПРИХОДИТСЯ ДЕЛАТЬ ТОТ КОНТЕНТ, КОТОРЫЙ НРАВИТСЯ АУДИТОРИИ, А НЕ ТЕБЕ И ПОТАКАТЬ ПОТРЕБНОСТЯМ ЧИТАТЕЛЕЙ/ЗРИТЕЛЕЙ, ВЕДЬ ПОТЕРЯТЬ АУДИТОРИЮ ТЕПЕРЬ ОЗНАЧАЕТ ПОТЕРЯТЬ ВСЁ
@
ДЕНЕГ НЕ ХВАТАЕТ, И ЧТОБЫ ХОТЬ КАК-ТО ПРИВЛЕЧЬ ВНИМАНИЕ К СВОЕМУ КОНТЕНТУ, ТЫ ИЗВРАЩАЕШЬСЯ, ПРИДУМЫВАЯ МАКСИМАЛЬНО КЛИКБЕЙТНЫЕ ЗАГОЛОВКИ/ПРЕВЬЮ, НИКАК НЕ СВЯЗАННЫЕ С СОДЕРЖАНИЕМ ПОСТА ИЛИ РОЛИКА
@
ВСЕ РАВНО КАЖДЫЙ РАЗ ТРЯСЕШЬСЯ, ЧТО ВИДЕО ИЛИ ПОСТ "НЕ ЗАЛЕТИТ"
@
ВЕРТИШЬСЯ ТАК И СЯК, ПРИДУМЫВАЯ, КАК МАКСИМАЛЬНО ЭФФЕКТИВНО РАЗЖАЛОБИТЬ ЗРИТЕЛЕЙ/ЧИТАТЕЛЕЙ НА ДОНАТЫ, ЧТОБЫ СВЕСТИ КОНЦЫ С КОНЦАМИ
@
РЕКЛАМИРУЕШЬ КУРСЫ СКИЛЛБОКС, КАЗИНО И ИНВЕСТИЦИИ В ГОВНО, УБЕЖДАЯ ЛЮБИМЫХ ЧИТАТЕЛЕЙ ИЛИ ЗРИТЕЛЕЙ, ЧТО ВСЕ ЭТИ ВЕЩИ КРАЙНЕ ПОЛЕЗНЫ, И ОНИ ВОВСЕ НИ КАПЕЛЬКИ НЕ ПРОСРУТ СВОИ ДЕНЬГИ, А, НАПРОТИВ, СТАНУТ БОГАТЫМИ И УСПЕШНЫМИ КАК ИЛОН МАСК
@
РАДУЕШЬСЯ, ЧТО ТЫ ВОВСЕ НЕ ЛЖИВЫЙ ЛИЦЕМЕРНЫЙ КОРПОРАТ ИЗ ОФИСА, А НЕЗАВИСИМЫЙ ОТ ОБЩЕСТВЕННОГО МНЕНИЯ ТВОРЕЦ, РАБОТАЮЩИЙ НА СЕБЯ, А НЕ НА ДЯДЮ - ПРЯМО ИЗ СВОИХ СОБСТВЕННЫХ РОСКОШНЫХ АППАРАТАМЕНТОВ В ВЕРХНЕЙ ГУБАХЕ
@
ФИНАЛЬНЫЙ ШТРИХ:
БОЛЬШЕ ВСЕГО НА ТВОЕЙ ДЕЯТЕЛЬНОСТИ ЗАРАБОТАЛИ ТЕ САМЫЕ КОРПОРАЦИИ, КОТОРЫЕ ТЫ ТАК НЕНАВИДЕЛ, ВЕДЬ ТЫ ИСПОЛЬЗУЕШЬ ИХ ПЛАТФОРМЫ ДЛЯ РАЗМЕЩЕНИЯ СВОЕГО НЕЗАВИСИМОГО БУНТАРСКОГО КОНТЕНТА

😂😂😂

Техножрица 👩‍💻👩‍🏫👩‍🔧

12 July 2024 17:11

Друзья, пойнт предыдущего поста заключался в следующем:

А) Успешными и достойными подражания зачастую считаются карьеры, в которых человек добился максимально высокого поста;
Б) Чем выше пост ты занимаешь, тем дальше ты от непосредственного участия в научном исследовании;
В) Я люблю непосредственно участвовать в научных исследованиях.

Из А, Б и В следует, что лично мне не хотелось бы достигать такого уровня развития карьеры, на котором я бы оперировала слишком высокоуровневыми вещами и отдалилась бы слишком далеко от непосредственной работы ученого. Поэтому мне сложно найти пример для подражания среди современных распиаренных персонажей.

При этом я думаю, что находиться где-то не на самом верху, а посередине - то есть руководить маленькой научной группой, при этом принимая активное участие в ее работе (в дизайне и анализе конкретных экспериментов, в написании текстов научных работ) - это вполне себе, на мой взгляд, может быть интересно.

Всё...

P.S.
1. Менеджер - это не хорошо и не плохо. Менеджер - это роль, которую можно выполнять хорошо или плохо, в зависимости от конкретного человека, который занимает эту роль и условий, в которых он или она работает. Можно также НЕ хотеть занимать эту роль в принципе, что мы и имеем в данной ситуации.
2. Не понимаю, что вы делаете в этом паблике, если вы настолько сильно ненавидите капитализм и корпорации, что не можете не говорить это под каждым постом... напомню, что автор раковни этого замечательного канала работает в корпах уже последние лет пять. Была бы у автора работа в академии, а не в корпе - пришлось бы вам каждый день читать в паблике рекламу сервиса психотерапии Ясно, курсов Скиллбокс, Скиллфэктори и Университета Искусственного Интеллекта, недвижимости в Дубае (вместо верхней Губахи), а также казино, куртизанок и ставок на спорт. Потому что на академическую зарплату (для сотрудника, НЕ имеющего научной степени) автор не могла бы ни есть, ни пить, и умерла!11.

#о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 July 2024 18:50

Помните, я писала про нашу с коллегами статью AI-generated text boundary detection with RoFT про детекцию того, какая часть смешанного текста написана человеком, а какая сгенерирована?

Если нет, то вот пост о ней:
/channel/tech_priestess/1079

А сегодня пришло письмо о том, что её, наконец-то, приняли на конференцию COLM, посвященную LLM-кам. 😎
Это был трудный путь, ведь статью дважды отвергали с других конференций, и каждый раз приходилось ее тщательно дорабатывать! ✍️
Но зато в этот раз один из ревьюеров, между прочим, даже поставил этой статье 10 из 10 😎 (второй - 8, а третий - 5)

#наука #детекция_искусственных_текстов

Техножрица 👩‍💻👩‍🏫👩‍🔧

10 July 2024 11:21

Выложили запись моего обзорного доклада на DataFest "Как одурачить детекторы LLM-контента" про атаки на детекторы сгенерированного текста:

https://ods.ai/tracks/df24-allm/blocks/d5836fb4-68a2-4a84-b2e7-76381c2ad279

Ставьте классы на сайте ODS, делитесь с друзьями, комментируйте.
P.S. Лицо, оказывается, у меня очень странно выглядело при таком ярком освещении. Не буду больше так перебарщивать с пудрой! 😆

#учебные_материалы

Техножрица 👩‍💻👩‍🏫👩‍🔧

09 July 2024 21:29

Решила разобрать старые вещи и нашла свои конспекты со студенческих времен. Да конспекты не простые, а избранные - те, что были записаны в самых красивых блокнотах, которые мне в то время удалось найти: на каждой странице этих блокнотов были отпечатаны красивые рисунки или узоры. Нужно ли говорить, что в ТАКИЕ блокнотики я записывала только самый забористый, так сказатб, отборный материал, достойный самого лучшего оформления? 🥰

Например, на рис.1-2 можно видеть блокнот в стиле винтаж. Его я использовала для того, чтобы записывать туда свой собственный (весьма корявый) перевод статьи "Dual Cones and Mirror Symmetry for Generalized Calabi-Yau Manifolds" ( https://arxiv.org/abs/alg-geom/9402002 ). Я наивно полагала, что не понимаю эту статью из-за того, что она написана на английском - а с английским тогда у меня было плохо, - и что если я тщательно ее переведу на русский и потом несколько раз перечитаю этот перевод, то все станет намного понятнее.
Понятнее, разумеется, не стало.

А вот рис.3-4 - блокнот в стиле модерн. Сюда были записаны лекции по торической топологии. Пучк-пучк!

Далее у нас идет блокнот в стиле рисунков Леонардо да Винчи (рис. 5-8). Там обнаружились различные записки и упражнения по топологии, а также расчеты, которые затем вошли в мои курсовые и диплом. В блокнот вклеены листочки, на которых мой научный руководитель что-то расписывал про момент-угол комплексы.

#учеба_на_мехмате #о_себе

Техножрица 👩‍💻👩‍🏫👩‍🔧

01 July 2024 12:07

https://github.com/EdinburghNLP/awesome-hallucination-detection

- хороший сборник ссылок на научные статьи и препринты, посвященные теме галлюцинаций языковых моделей. Среди них есть статьи про разные способы детектировать и предотвращать галлюцинации, про бенчмарки с галлюцинациями разных видов в разных контекстах и еще про много всего. Все ссылки сопровождаются кратким пояснением; внутри нескольких статей нашлись ссылки на открытые датасеты и github-репы со скриптами, что очень полезно всем, интересующимся темой.

#учебные_материалы

Техножрица 👩‍💻👩‍🏫👩‍🔧

30 June 2024 09:12

Три стадии взросления:

1. Злишься на кликбейтную рекламу мобильных игр, в которой показан несуществующий геймплей.
2. Смеешься над кликбейтной рекламой мобильных игр, в которой показан несуществующий геймплей.
3. Осознаешь, что реклама это и есть часть игры... в математическом смысле. 🔍

—

В общем, наткнулась вчера на забавный видос, в котором, наконец-то, объясняется, почему эта реклама показывает не то, что на самом деле происходит в игре - https://youtu.be/NhajAqI66nU?si=YRodi2BbcX8U7Wov . Больше всего, конечно, проиграла с рассказа про A/B тесты Сатаны и пририсовывания адского огонька к докладчику с конференции по геймдеву, на который ссылался автор ролика: https://www.youtube.com/watch?v=xNjI03CGkb4 . ))

Tl;Dr: реклама максимизирует количество кликов, а геймдизайн самой игры - количество общей прибыли со всех игроков, что уже пришли в игру, но при этом для первой и для второй задачи лучше всего работает разное содержимое. Т.е. в обоих случаях имеет место адверсариальная атака на мозг пользователя, только вектора атаки - разные.
Возникает закономерный вопрос: а не уйдут ли разочарованные игроки, увидев, что игра не соответствует ожиданиям? Конечно, часть игроков уйдет. Но тем не менее, даже это не обязательно означает, что такая реклама невыгодна.

Формулируя математически:

Допустим, что на кликбейтную рекламу, за которую заплатили N рублей, в игру пришло К игроков, а на честную рекламу, за которую заплатили столько же - Ч игроков. При этом средний доход компании на одного игрока, пришедшего на честную рекламу, равен ЧД, а средний доход на одного игрока, пришедшего на кликбейтную - КД (При расчете этих коэффициентов, разумеется, учитывается, что много игроков платит ноль рублей - например, те, кто сразу уходит, поняв, что игра не соответствует ожиданиям).
При этом общая прибыль равна КД * К при кликбейтной рекламе и КЧ * Ч при честной рекламе. Очевидно, что даже при КД < ЧД общая прибыль от игры все равно может оказаться больше при кликбейтной рекламе за счет того, что К >> Ч. Для этого достаточно выполнения условия КД * К - N > КД * Ч - N, т.е.
КД * К > КД * Ч.
Судя по тому, что кликбейтная реклама процветает, видимо, это неравенство выполняется.

Вот такой вот алгоритм. Невольно после этого начинаешь задумываться, а каков предел совершенствования этого мобильно-игрового адверсариального пайплайна по выкачиванию бабла? Какова его финальная форма?..
...думаю, когда нейросети начнут генерировать production-quality видео в точном соответствии со сложными запросами и, чего доброго, самостоятельно придумывать гейм-дизайн, эффективность атаки на мозг начнет повышаться очень быстро, и вскоре мы увидим точку, в которую все это сойдется.

#познаем_мир

Техножрица 👩‍💻👩‍🏫👩‍🔧

28 June 2024 15:45

Собесы с гуглом и подготовка
#career #interviews

В Гугл я зашел с реферала, наконец не заигнорили. По иронии, реферила меня героиня поста «она в Мистрале, а ты нет». То есть я ей помог уйти из гугла, а она мне помогла прийти в гугл.

Гугл постепенно сошелся к формату 4-х собеседований (это раньше могло быть и по 15-20). У меня были следующие раунды:

- leetcode + system design
- Role-related knowledge
- leadership & googleyness
- General Cognitive Ability
- “casual” беседа с менеджером

В первом раунде литкод показался простым, а дизайн – сложным. Дизайн я гроккал основательно, по плану описанному в посте (к слову о том, что с собесами успех - это на 50% усилия и на 50% удача, все же ни к одной компании я не готовился так долго). У бигтеха можно попросить пару недель на подготовку, обычно к этому нормально относятся. И моки оказались очень полезны (спасибо Алексу и Сергею), особенно учитывая, что до этого я ни разу не проходил дизайн-интервью.

Role-related knowledge - это про LLM и консалтинг, было немало вопросов о том, как описать LLM для клиентов, топ-менеджеров, инженеров. Технические вопросы показались не сложными (курса “Generative AI with LLMs” и своего опыта с LLM хватило), а вот для вопросов про бизнес-смекалку и консалтинг не помешала бы практика с бизнес-кейсами, как в big4 проверяют.

Leadership & googleyness – это, считай, бихейв. Несмотря на то, что я сам менторю, я прошел 4 мока, узнавал, что именно хотят услышать при собесах на стафф позиции в гугле. Это было дико полезно, огромное спасибо Тане, Семену и Анне. По итогу я довольно основательно перелопатил свой story bank. Благо, на собесе не было вопросов с подвохом типа “tell me how you used data to modify your strategy”, было более-менее понятно по вопросу, о каких лидерских качествах речь и какие свои истории рассказывать.

General Cognitive Ability – это open-ended вопросы в стиле “друг открыл магазин шоколада, посоветуй ему бизнес-план”. Тут есть четкий фреймворк, легко ботается. Мне очень помог вот jeffhsipepi">этот ютуб канал (там же и про переговоры целый плэйлист). Дополнительно я брал консультацию с небольшим моком, где мне посоветовали говорить медленнее.

Ну и “casual” беседа с менеджером – никакая не casual, надо рассматривать как бихейв. О жизни можно потом трепаться, как наймут, на собесе смотрят на сигналы, готовился как к бихейву, заготовил самые крепкие истории.

В целом оцениваю вклад бихейва примерно в 80%. Ага, сам не ожидал, что с гуглом такое может быть. Но тут все же позиция в Sales трек, а не SWE, очень много с клиентами и топ-менеджерами надо будет общаться, поэтому и такой уклон.

пс. текст согласован с эйчаром, в подробности про конкретные вопросы, переговоры, решения комиссии лезть не буду.