Как же тонко она чувствует 🥱😴

https://huggingface.co/roneneldan/TinyStories-33M

(TL;DR: одна из маленьких моделей, обученных на датасете простых "детских" историй Tiny Stories, сгенерированных GPT-4 и GPT-3.5; статья - https://arxiv.org/abs/2305.07759).

#генерация

Читать полностью…

В комментариях к репосту выше ⬆️ немедленно скинули ссылку на одно из видео в духе "измеряем пульс колбасы" - https://www.youtube.com/watch?v=-hQgJqmr1U0 . Результат оказался следующим: смарт-часы от Apple многократно измерили колбасе пульс (который то поднимался, то опускался), а браслет от Xiaomi ответил правильно, что измерение пульса в данной ситуации невозможно.
Разумеется, после просмотра данного видео я решила провести эксперимент на своих Samsung frontier gear S3. К сожалению, колбасы в моей холостяцкой берлоге не нашлось, и пришлось довольствоваться измерением пульса Ред була (запись 1, 2).

Все это многое говорит:
- о том, что стоит с толикой скепсиса относиться к показанию измерительных приборов, которые используют закрытые алгоритмы (если алгоритм открытый, то можно разобраться в том, как он работает и каковы границы его применимости, а если закрытый - то нет);
- о необходимости out of domain detection (в данном случае in domain это рука, а out of domain - все остальное).

P.S. Много забавного скинули и в комментариях к посту выше в оригинальном канале размещения.

Читать полностью…

Кажется, мы уже давно перестали удивляться тому, что глубокое обучение больше не прерогатива ученых - теперь обучать нейросети может даже школьник. Но как и почему такая сложная область стала такой доступной? Задумавшись над этим, я пришла к выводу, что главной поворотной точкой стал тот самый 2007й, который уже не вернуть:

💀 именно летом того года родилась CUDA. Использовали ли видеокарты для векторных вычислений общего назначения до CUDA? Да. Но это было намного труднее и неудобнее, и занимались этим в основном ученые.
💀 тогда же появился и первый Python-фреймворк для машинного обучения - scikit-learn.
💀 вскоре после того, как сентябрь догорел, а убийца вытер слезы, появился Theano. Theano был первым Python-фреймворком, в котором можно было делать матричные вычисления на CUDA и делать градиентный спуск и backpropagation на манеру современных фреймворков. Сейчас Theano умер как самостоятельный фреймворк, но идеи оттуда продолжают жить в Tensorflow и Torch.

Кажется, следующими важными точками стали 2014й (появление Jupyter Notebook), 2015й (появление Tensorflow), 2016й (PyTorch) и 2017й (Google Colab). Собственно после этого уже стало возможным заниматься глубоким обучением так, как мы это делаем сейчас.

Кто-нибудь, заинтересовавшийся нейросетями после 2017го, может задаться вопросом "Лаида, но почему когда-то глубокое обучение вообще считалось чем-то сложным? Ведь это просто умножение матриц? 😆" В ответ на это я могу порекомендовать лишь одно: напишите трансформер с нуля на шейдерах без каких-либо библиотек, упомянутых в посте и без современного менеджера пакетов (современный apt-get слишком хорошо автоматически разрешает зависимости 😀).
Предупреждение: рекомендация шуточная - 2007й прошел, вскрытие вен больше не в моде. 🤗

#ML_отцов #ML_эмо

Читать полностью…

Упорный труд.
Посвящается всем, кто добился успеха, и всем, кто не.
#kosmonozhka

Читать полностью…

Всем нам иногда надоедает тема AI detection. Предлагаю отвлечься от нее с помощью этой прекрасной сценки про human detection. 😒

https://youtu.be/MxTWLm9vT_o?si=KnTUtDhCzXjqyhbd

Читать полностью…

Про сами школы см.: /channel/math_cool_rus/271

Моя часть планируется к той, что 14-28 июля.

Читать полностью…

А знаете где я ещё буду делать доклады?!!!!!!!!!!
На летней выездной школе по олимпиадной математике для школьников старших классов, которую организует моя подруга Аня Карпенко, её муж Аскар и другие преподаватели олимпиадной математики. 😎
Там я, в рамках маленького спецкурса-дополнения к обычным занятиям, расскажу мат.школьникам про то, как функционируют и обучаются простейшие нейросети. Так что можете присылать на мат.школу своих спиногрызов или приезжать сами, если вы и есть школьник!
Также можете поучаствовать в конкурсе и помочь нам придумать новый тематический мерч:

Читать полностью…

Однако день не обошёлся и без неожиданных происшествий! Через некоторое время после доклада я встретила свою коллегу по космическому кораблю (в ролевой rogue trader) и попросила меня сфотографировать! Вначале все шло хорошо (рис. 1), но потом я попробовала положить руку на буковку (рис. 2)... дальнейшее ясно без слов 🌚
На рис. 5 мы с оператором вместе, довольные съёмкой и успешной починкой повреждений 😅

#о_себе

Читать полностью…

Версия в высоком качестве из интернета для скептиков

Читать полностью…

🌸5 заповедей бенчмарков, которые больше не работают в 2024 🌸
#nlp #про_nlp #nlp_papers #ai_alignment

Пара мыслей вслух про то, как меняется процедура оценки языковых моделей — и наши ожидания от них.

🌸1. Датасеты и бенчмарки всегда живут дольше, чем модели. По крайней мере, так было раньше. Теперь это не так, бенчмарки устаревают за месяц — тесты оказываются в обучающей выборке, хакнуты кэгл-методами, и т.д.

🌸2. Тестсет может быть открытым, можно выкладывать ответы, разработчики же честные. Честные! Но потом это все попадает в обучающую выборку непроизвольно, с краулингом сети. Контаминация открытого тестсета рано или поздно неизбежна, а учитывая п.1, это время очень сократилось.

🌸3. Новый датасет = более надежный результат. Многие датасеты составляются с помощью фильтрации открытых данных, разметки, часто получавтоматической, данных, которые уже были в сети, соответственно, модели их уже видели. Более надежный результат тестрования гарантирован, только если новый датасет составляется людьми с нуля! Иначе риск контаминации очень велик — см статьи из поста и статью Scale AI. Любые оценки моделей без теста на контаминацию можно смело выкинуть.

🌸4. Разработчики моделей сами прогоняют свою модель и подбирают лучшие параметры. Тоже нельзя сказать, что это верно. Во всех крупных лидербордах и раньше надо было прислать ссылку на код и модель, а теперь и вовсе, честная оценка возможна в условиях контейнернго соревнования — разработчики отдают контейнер организаторам лидерборда, те его запускают и сравнивают с остальными на закрытом тестсете, который разработчики не видели. Перебор гиперпараметров в таком случае сделать нельзя. См Chatbot Arena

🌸5. Однократной оценки достаточно. Во-первых, модели постоянно обновляются, а если они еще и ходят в интернет или используют RAG/обновляемый индекс знаний, то и проверять их надо постоянно во избежание регресса. В-вторных, side-by-side соравнениями из п.4 и AB-тестами оценки можно запускать постоянно — была бы инфраструктура и оценивающие люди. Инфраструктуру и сообщество сейчас во многом обеспечивает HuggingFace— на ChatBot Arena уже больше миллиона оценок, хотя несколько месяцев назад все чуть не закрылось!

С какими проблемами при оценке моделей вы сталкивались?

🟣Мой чеклист отсюда все еще актуален — для продакшена бенчмарков мало, еще нужна комбинация из оффлайн и онлайн метрик.

Читать полностью…

Ставь "🏥" если отправил статью и сразу отъехал в психическую больницу

Читать полностью…

#карьера #career #interview #faang

Behavioural interviews in FAANG+

10. Scope / масштаб
Важно показывать масштаб проектов на определённый уровень. Часто самый первый вопрос - проект, которым гордитесь. Это возможность показать масштаб, влияние и импакт.
Будьте избирательны и выбирайте проекты с достаточным масштабом и количеством подчинённых/ менти.
На менеджера первого уровня/staff по IC ожидается 5-10 direct report/супервайзить 5-10 человек. На sr manager/sr staff - уже несколько команд и влияние на 20 человек, principle/director - 50+ человек.
Это размыто, но порядок цифр примерно такой.
Если вы тех лид команды с 2мя людьми вне фаанга - это синьор в фаанге, поэтому выбирайте проекты, где вы лидили 5+ человек из разных команд, если хотите выше.
Приведу пример в комментариях.

11. Какой сигнал хочет получить интервьюер?
Каждый вопрос задан, чтобы считать какой-то сигнал. В behave это чуть менее очевидно, чем в дизайнах. Думайте, "what is the question behind the question?", какой сигнал хочет получить интервьюер, на какой принцип лидества направлен вопрос. И дайте ему/ей этот сигнал или принцип.
Если считывать сложно, готовтесь! По основным вопросам полно разъяснительных бригад в интернете.

12. Будьте аунтентичны
Из курса психологии мы знаем, что найм - это субъективное эмоциональное решение (как большинство решений).
Важно выделяться из череды кандидатов. Подумайте, какую аутентичную часть себя вы готовы показать.
Пример, на вопрос как развиваю soft skills в Мета я ответила, что занимаюсь с психологом и психотерапевтом. Это разбудило моего интервьюера, интервью прошла отлично.
В Shutterstock я рассказывала, что сама художник и мы смотрели на мою галерею картин. Получила офер.
Не бойтесь быть собой.

13. Адаптируйте вопросы
Если вопрос оказался не в совсем удобной форме, перефразируйте его как вам надо. Примеры в комментариях.

14. Ваши вопросы
Вопросы, которые задаете Вы тоже очень важны. После определённого уровня ваши вопросы становятся важнее ваших ответов. Подготовте их заранее, исследуя команду и компанию.

Моя презентация, которую я сделала 2 года назад для подготовки к behave, там есть детали.

Всем удачи на всяких интервью.
Примеры в треде.

Читать полностью…

Пояснение к предыдущему посту на всякий случай: я совсем даже не против удаленной и гибридной работы. Просто против того, чтобы считать людей, у которых не такой режим работы, как вам нравится, и не такое помещение для работы, как вам нравится, ниже себя.

Читать полностью…

Единственная область, в которой все эти люди могут работать в одной команде, и при этом говорить, что работают по специальности 🌚

Читать полностью…

Советы вкатывающимся в Data Science c невыдающимся резюме
#career

Мир становится жесток, да, долго и сложно. Но можно. Собрал несколько рекомендаций (не исчерпывающий список, по убыванию приоритета):

- Рефералы, рефералы и еще раз рефералы a.k.a. кумовство. Вот правда, благодаря знакомым в принципе можно попасть на такие позиции, на которые в норме бы ваше резюме вообще не рассмотрели. Ничего страшного, если пройдете. Да, будут синдром самозванца, но потом можно и нагнать. О том, как правильно нетворкаться, – неплохо написано в посте “А как собеседоваться в 2023?” (правда, там описана версия для экстравертов 80-го левела, вариант с чуть меньшей соцактивностью тоже подойдет);

- Первое на что смотрят в резюме – реальный опыт работы. И его не заменишь курсам/сертификатами/профилями на литкоде или кэггле. Так что тут лучшее, что можно посоветовать – искать сторонние проекты, чтоб этот опыт получить. Например, HuggingFace инициирует проекты, где любой желающий может подключиться (а-ля обучения берта для тамильского язык, мой коллега там участвовал). Тот же open source. Еще можно найти команду для прикладного проекта в рамках курса (например, такая активность была в курсе ods.ai по MLOps). Это не быстрый путь, знаю, но это чуть ли не единственное, что может выделить одного кандидата на фоне других при прочих равных условиях;

- Если у вас нет Data Science опыта, но есть релевантный опыт в разработке или аналитике, может быть реально поучаствовать в Data Science проектах в компании, где вы уже работаете. Если наберется track record из 2-3 таких проектов, то уже проще будет и формально перейти на DS-позицию. Иногда для этого надо чем-то пожертвовать, например, немного проиграть в деньгах или в должности;

- Как ни банально звучит, первым делом смотрят на резюме, так что его надо слегка прожарить. Сервис ResumeWorded прям хорош (пост).

Что скорее не поможет:

- Набивать титулы типа Kaggle Competitions Master. Тут можно потратить уйму времени и в результате отклик может не обрадовать. Эйчары не сильно различают грандмастеров в Notebooks и соревнованиях, так что ваша лычка может быть не так уж и заметна. Есть, конечно, исключения, например, команды с большим представительством Kaggle Competitions Grandmasters (H2O, Nvidia Rapids), но среднему человеку я не порекомендую такой путь развития (мне он тоже не подходит). При всем сказанном, получить немного опыта на Кэггле – однозначно здорово.

- Получать охапки сертификатов. К ним отношение противоречивое, но если у вас нет релевантного опыта работы, скорее всего сертификаты не спасут ситуацию.

Читать полностью…

Compute Architecture and Memory Systems.

Прямо сейчас проходит пятидневная летняя школа EFCL Summer School в ETH Zurich, в которой один из треков — про память и компьютеры, в том числе в контексте машинного обучения.

Ведет его научная группа Onur Mutlu, у которой есть очень крутые курсы: вводный Digitial Design and Computer Architecture и продвинутый Compute Architecture. Всё выкладывается на ютуб, включая вышеназванный трек из EFCL. Можно даже на трансляцию подключиться и что-нибудь поспрашивать.

Был довольно забавный keynote от Yale Patt (который, собственно, самого Onur Mutlu и учил когда-то), в котором в том числе промелькнул тезис, что учиться надо в стиле “bottom-up”, изучая системы с самых основ; e.g. сначала изучать как устроен компьютер, и уже потом идти учиться программировать. Был пример с гугловским TPU, где один из авторов когда-то слушал курсы про железо, и поэтому заюзал систолические массивы. Еще Yale жалуется, что сейчас машин лернеры чаще всего ничего про этот самый “bottom” не знают :)

Были и тезисы про ресерч: например, что во многих областях ресерч — это про более глубокое понимание того, что уже есть (или того, что было раньше); а у нас, в более инженерных “науках”, ценится исключительно выдумывание чего-то нового. И что пока это не изменится, будем страдать (см. проблемы в академии, со статьями и конференциями). Что инновации всегда следуют за более глубоким пониманием, и в текущих реалиях многие ресерчеры пытаются этот этап перешагнуть, делая статьи-пустышки.

Когда-то давно, в порывах восполнить пробелы в образовании после ВМК, я искал на просторах интернета хорошие лекции про комп. архитектуру; канал Onur Mutlu — лучшее, что нашел. Лекции всяких MIT выглядят гораздо хуже. Справедливости ради, целиком контент я до сих пор не посмотрел (материала там много), но периодически возвращаюсь и что-то досматриваю :)

Читать полностью…

Синдром поиска глубинного смысла

Наткнулась на несколько забавных работ, в которых люди троллят дизайн эксперимента и бездумный анализ данных, который позволяет делать типа научные выводы из мусорных данных

1) здесь мерили гистерезис на бананах, получая ту же картинку, которую некоторые люди пытаются выдать за ферроэлектричество. Соответственно, если ваш материал не лучше банана, то втф

2) Критика функционального МРТ. Ученые показывали мертвому лососю фотографии людей с разными эмоциями и измеряли нейронную активность, повторю, МЕРТВОЙ РЫБЫ. Дальше проводились соответствующие анализы вроде t-теста и подсчета p-value и получались данные, сложно отличимые от адекватных.

Короче, если ваш дизайн эксперимента не похож на это, не зовите:

One mature Atlantic Salmon (Salmo salar) participated in the fMRI study. The salmon was approximately 18 inches long, weighed 3.8 lbs, and was not alive at the time of scanning.

3) померили ЭЭГ у десятка арбузов и даже какой-то "адекватный" анализ сделали. Пишут, всему виной переоценивание точности декодирование ЭЭГ, типа, чуваки, у вас эффект меньше временной автокорреляции, все окей?

upd:
Мне напоминают, что я не написала про графен, кажется уже баян, но все-таки:
Will Any Crap We Put into Graphene Increase Its Electrocatalytic Effect?
да, под "crap" в частности имеют ввиду птичьи фекалии))

При всей саркастичности, мораль у всех работ одна: можно натянуть косячный анализ данных на любой объект и получать "результаты". Так что beware!

Читать полностью…

Раз уж мы снова начали обсуждать образование, то почему бы и не выложить свой диплом техникума? Заодно и для троллей будет вкусный вечерний десерт ☕️ (основным блюдом, разумеется, был диплом специалиста-математика 🥰 - /channel/tech_priestess/1494 ).
Этот странный артефакт из прошлого (рис. 1) я до сих пор храню постольку, поскольку он замещает аттестат зрелости, которого у меня нет. Кроме этого, сказать про него я мало что могу, так как в целом не очень много помню из того периода своей жизни. Кажется, я тогда была совсем другой, и жизнь у меня была совсем не похожая на то, что сейчас. Сейчас я белый воротничок, работаю головой. А тогда я была ближе к синему воротничку, поскольку больше вещей делала руками - например, помогала отцу строить домик на даче, орудуя молотком, бензопилой и малярными инструментами, собирала что-то из деталей, шлифовала, резала, паяла схемы и тому подобное. 👩‍🔧 Те немногие воспоминания, что есть, выглядят скорее как странные отрывки из кино про другого человека.
Впрочем, некоторые вещи были характерны для меня даже тогда - например, любовь к получению троек (см. рис. 2-5) и, внезапно, желание стать ученым, которое появилось где-то в конце первого курса техникума.
Офигительные истории о том, как развивалось мое образование дальше, см., например, тут - /channel/tech_priestess/85 , да куча их в канале.

Ставь "😍" если понравился диплом и "🫡" если не боишься принять челлендж и выложить свой диплом (ВУЗа или техникума) в своем канале! Жду ваших постов и дипломов.

#о_себе

Читать полностью…

Клоун и какашка не являются ступенями образования. 🧐
Или являются? ✍️

Читать полностью…

Есть вопрос к тем подписчикам, кто, как и я, любит математику, но больше не учится на математика и не работает им профессионально. Как вы сохраняете способность доказывать нетривиальные математические утверждения или находить ошибки в чужих доказательствах? Я чувствую, что у меня за несколько лет, прошедших со времен учебы, эта способность очень сильно деградировала. И я не понимаю, как её поддерживать без учителя/без регулярных обсуждений с математиками.
Самостоятельно поддерживать в актуальном состоянии навыки решения задач в духе "найти такую-то величину при таких-то заданных условиях" намного проще, так как правильность такого решения легко проверить автоматически, и есть множество бесплатных курсов с автопроверкой ответа (а также книг с ответами и возможности тупо загнать условия в вольфрам). А вот с доказательствами не так все просто...

#математика

Читать полностью…

Придумай свою математическую футболку

Мы уже сделали много разных футболок, а скоро сделаем еще и толстовки для летней школы.
Уверены, что вы можете помочь нам сделать их ещё круче, поэтому объявляем конкурс:

Предлагаем вам проявить фантазию и предложить свой вариант фразы или рисунка для печати. Ваши варианты присылайте 👉сюда до 30 мая.

Автор самой удачной идеи получит футболку или толстовку с придуманным им дизайном

А для вдохновения покажем, какие у нас уже есть

Читать полностью…

Вопрос к читателям: на что заменить слово "hat", чтобы получилось название новой научной статьи по ML? На размышление даётся backward секунд.

Читать полностью…

Рассказала сегодня на Data Fest 2024 свой короткий обзорный доклад про детекторы LLM-контента с описанием их слабостей и того, какие на них делают атаки. Судя по обилию интересных и содержательных вопросов (их активно продолжили задавать и после доклада), людям действительно оказалась интересна эта тема, чему я была очень рада!
Также встретилась в течение дня с несколькими подписчиками, с которыми я раньше лично не общалась, но которые рассказали, что читают и любят мой канал и также задали много интересных вопросов. Мы обсудили много интересных вещей про ML, научные исследования, ведение каналов и многое другое. Это тоже было очень приятно! Спасибо всем большое за ваш интерес к моей работе и творчеству. 🥰

Слайды доклада прикладываю к посту. Видеозапись должны выложить в июне, тоже ей поделюсь, когда будет.

#о_себе #конференции

Читать полностью…

Мама Кандинского #внезапный_киберпанк

Читать полностью…

Между тем, на 25 мая (суббота) запланирован мой доклад на Data Fest в офисе VK, зал А1:
https://ods.ai/events/fest2024-vk
Доклад называется "Как одурачить детекторы LLM-контента".
Предварительно доклад планируется на 12:25 (хотя время может измениться).
Регистрируйтесь и заходите послушать.

Читать полностью…

Ставь "🥴" если тоже собираешься отправлять статью на NeurIPS в течение последнего часа до дедлайна

Читать полностью…

В боте (@saiga_igusev_bot) в gpt-4o можно теперь засылать картинки. Но бот их не генерирует, если что.

Читать полностью…

А вы заметили, как модно после популяризации удаленки стало чморить обычных офисных сотрудников, ездящих в офис 4-5 дней в неделю на метро и сидящих там по восемь часов? А уж если твой офис представляет из себя классический серый оупенспейс, не раскрашен в яркие цвета и содержит недостаточное количество свистоперделок, ооо... соевик-стартапер обязательно скажет, что ты работаешь в стойле, как скот, а компания твоя - говно.
...
Но какого, я вас спрашиваю, хрена?
Почему пять-семь лет назад я точно так же работала в совершенно аналогичных корпоративных офисах, и тогда к такой работе окружающие относились нормально? Какого хрена теперь, когда я рассказываю о своем корпоративном образе жизни людям с гибким графиком или стартаперам, мне надо терпеть в лучшем случае жалостливые взгляды, а в худшем - выслушивать детские дразнилки про скот, "серую массу" и тому подобный бред?
Я прям блин чувствую это социальное давление, которое как бы говорит, что для того, чтобы быть крутым айтишником, ты должен работать, в идеале, с пляжа на Бали (почему?! никогда этого не понимала), или, на крайняк, хотя бы иметь гибридный формат работы. А если ты работаешь в обычном оупенспейсе, то ты лох.
...
Время от времени я прохожу собеседования в другие компании, чтобы держать себя в форме, но пока все еще решаю остаться на текущем месте, потому что мне нравятся коллеги и кажется, что это место чуть больше других подходит для выполнения моих долгосрочных целей в ресерче.
Ну или потому что я лохушка, серая масса и скот. Иметь какие-либо чувства, цели и мечты и ценить их выше, чем красивый офис и гибридную работу - это же теперь признак серой массы и скота. 🤷‍♀️

#о_себе

Читать полностью…

Вот тут, кстати, ещё больше mental disorders, да ещё и с интерактивчиком - /channel/tech_priestess/449

Читать полностью…

И еще немного про сквернословие 🙏

Читать полностью…