12936
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
# Можно ли тренировать самоконтроль?
В субботу я питался только доставкой, весь день перемещался от ноутбука к дивану и заказал шоколадное ассорти на сорок евро. В половину первого, очевидно пропустив время отхода ко сну и обожравшись шоколада, я задумался: можно ли тренировать самоконтроль?
Ответ может показаться очевидным: конечно да, поднимай тяжелые куски металла и станешь дисциплинированным, я видел такое в твиттере.
Но для меня всё не так просто. В своей жизни у меня были периоды когда я каждый день без исключений учился, писал в журнал, ходил в спортзал и на две прогулки. Были и периоды как сейчас, с неупорядоченным образом жизни когда я много прокрастинирую и с большой тяжестью принимаю любые решения.
Я служил в армии по собственному выбору. Я ожидал, что научусь дисциплине и самоконтролю. Армия действительно принесла повышенную дисциплинированность, но эффект сохранялся от силы месяц. Все военные которых я встретил были не лучше в сопротивлении своим импульсам чем знакомые мне айтишники, а чаще всего даже хуже.
В прошлом чем больше я подвергал себя искушениям и пытался им сопротивляться тем чаще я им поддавался. Сравнивая себя сейчас и себя в любой предыдущий момент времени мне не кажется, что моя способность к самоконтролю как-то изменилась. Нет ощущения, что это некая характеристика персонажа, в которую можно вложить очки опыта и тебе больше не будет сложно ходить в спортзал. Из моих знакомых я не знаю никого, кто тащил бы что-то на силе воли. Каждый день бегает тот кто сделал из этого привычку и получает от этого удовольствие. Не залипает в компьютерные игры тот у кого нет игрового компьютера. Явно кто-то более дисциплинирован, чем другие. Но сколько в этом влияния генетики, воспитания, обстоятельств и среды?
Те не менее интересно: если я положу перед собой шоколадку и буду сопротивляться желанию её съесть, будет ли эффект? Станет ли мне проще делать другие вещи требующие пойти наперекор автоматизмам?
Я нашел исследование: Building Self-Control Strength: Practicing Self-Control Leads to Improved Self-Control Performance.
Авторы поделили испытуемых на четыре группы. Для каждой группы было выбрано упражнение на тренировку самоконтроля. Участникам нужно было две недели делать упражнение и каждый день отчитываться о своём прогрессе: как часто они практиковались, насколько им было тяжело, насколько упражнение требовало самоконтроля и насколько оно прокачивало самоконтроль по их мнению.
Упражнения в группах были такие:
1. Ограничивать себя в сладком.
2. Сжимать эспандер как можно дольше.
3. Решать математические задачи требующие не более пары минут с постепенным усложнением в течение эксперимента.
4. Вести дневник всех случаев когда они успешно использовали самоконтроль.
Участники во всех группах считали, что их упражнение действительно помогает самоконтролю. Однако на самом деле третья и четвертая группы были контрольными: по предположению авторов их задания не требовали серьезных усилий.
В начале и в конце эксперимента ученые замеряли самоконтроль участников специальным тестом.
Вам могут быть интересны методологические детали, например было ли разделение по группам сделано верно, была ли между группами изначальная разница и учитывались ли конфаундеры. Насколько я могу судить всё было учтено и исследование максимально продумано и корректно. Так же исследование имеет много цитироаний и прошло проверку временем.
Выводы:
* Участники первых двух групп показали улучшение в самоконтроле, а остальные нет. Самоконтроль действительно можно тренировать делая даже небольшие дела если они требуют усилия над собой.
* Не наблюдалось никакой разницы между эффектом от физической тренировки (эспандер) и когнитивной (ограничение сладкого). Не важно как вы это делаете.
* Участники заполнявшие дневники думали, что их самоконтроль увеличивается, но на самом деле никакого улучшения не было. Недостаточно просто повышать осознанность и верить в улучшение.
Начинаю медитировать на шоколадку. Расскажу когда стану сверхчеловеком.
Я записал интервью с Надей Петровой, основательницей @hrlunapark!
Надя сделала агентство, которое нанимает в крутейшие технологические компании, часто с фокусом на AI safety. При этом в компании нет ни одного продажника и, цитируя Надю, "нам никогда не приходилось продавать." Надя без прекрас рассказывает про то, как возник её бизнес, и это не ваша типичная история успешного успеха.
Интервью про работу и бизнес только на треть, а всё остальное про Надин необычный жизненный путь, где фигурируют сюжетные повороты вроде перехода из мехмата в психологические исследования.
При этом Надя не особо публичный человек и очень редко дает интервью (видимо работает), поэтому я принес вам настоящий эксклюзив.
Идея записать подкаст возникла стихийно, всё было сделано максимально наколеночно и является тестом нового формата. Не судите строго! С тех пор я купил микрофон получше, настоящий подкастерский.
https://www.youtube.com/watch?v=cQ4v8IyJgg8
Simple Bench - Basic Reasoning https://simple-bench.com/
Читать полностью…
⚡️Дети Павла Дурова активировались и идут на Париж, сообщают источники
Читать полностью…
Все говорят, что звезды и TON бесполезны, но я так не считаю.
Пример ценности, которую они предлагают.
1. Воруем банковскую карту.
2. Создаем одноразовый телеграм аккаунт А или покупаем взломанный.
3. С другого аккаунта Б запускаем одноразовый канал или, опять же, покупаем взломанный. Привязываем к аккаунту "чистую" карту.
4. На все краденные деньги закупаем звезды для аккаунта А и ставим их под постом канала аккаунта Б.
5. Делаем вывод TON из канала Б и меняем на фиат через P2P на бирже.
6. Удаляем аккаунты и каналы.
Готов принимать ваши криминальные переводы, пишите в лс.
И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.
Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.
Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.
За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.
Заходите на llmarena.ru и выбирайте лучшую модель!
Теперь в телеграмме можно познакомиться с искусственным интеллектом
Читать полностью…
Подводим итоги!
Победил один человек со ставкой 3 звезды.
Участники: 16 человек.
Всего звезд поставлено: 119.
Средняя ставка: 7.44.
2/3 средней ставки: 4.96.
Распределение было такое:
1⭐️ - 9 человек
2⭐️ - 2 человека
3⭐️ - 1 человек
Остальные 4 человека поставили 8, 12, 25 и 58.
Сначала я расстроился, что мало людей приняли участие, а потом обрадовался: считать ставки для тысячи человек буквально заняло бы часы.
Ставки сделаны, ставок больше нет. Все ставки после этого момента не участвуют в игре.
Ожидайте итогов
# Угадай 2/3 от средней ставки звездами
В Телеграм добавили фальшивые деньги желтого цвета. Зачем они нужны? Конечно же, чтобы ставить эксперименты из теории игр на подписчиках!
Сыграем в классическую игру: угадай 2/3 от средней ставки.
Игра идет 24 часа. Вам нужно поставить под любым постом в канале от 1 до 300 звезд. Тот, чья ставка на момент окончания игры будет ближе всего к 2/3 средней ставки, получит от меня сумму своей ставки х3. Выплата производится в настоящих деньгах, а не звездочках.
Ставки более 300 звезд не учитываются. Мои ставки не учитываются, но я буду их делать и менять, чтобы добавить шум в сумму.
Если несколько человек будут иметь одинаковую выигрышную ставку, то выигрыш заберут не более пяти, каждый из которых получит х3. При более чем пяти одинаковых ставках я выберу пять человек поставивших раньше всех, чтобы уменьшить преимущество делающих ставку в последний момент.
Наша игра гораздо интереснее классической. В классической игре ставки делаются вслепую, но здедь вам доступна сумма всех ставок и количество просмотров. Телеграм позволяет сделать несколько ставок и это разрешено. При расчете выигрыша учитывается сумма всех ваших ставок, а не только последняя. Если поставили 50 звезд, а потом 2, то я буду сравнивать, насколько 52 близко к 2/3 средней ставки. В оригинальной игре нужно было думать о том, как поступят все остальные участники игры, которые думают (или не думают) о том, как поступите вы. Но здесь мы играем в настоящие 4D шахматы с изменяющимися во времени условиями.
Удачи!
UPD:
* Будьте внимательны: ставку можно поднять, но телеграм не позволяет убирать звезды.
* Проверять в админке, на какой именно пост поставлена реакция, очень муторно. Поэтому я буду учитывать все реакции со звездами в канале сделанные от начала до конца игры.
* Если я получу этими звездами какие-то несмешные деньги, то потрачу их на что-то смешное и расскажу вам.
Если параметры и данные не помогают, то что мы можем сделать, чтобы не было таких утечек? Неужели статистическое попугайство непобедимо?
Дарю идею для статьи:
1. С помощью GPT-4 генерим не 109 таких промптов, а 10000.
2. С помощью Толокеров делаем side-by-side разметку. Показываем им два примера генерации и просим указать вариант с меньшим semantic leakage.
3. С помощью RLHF/DPO/PPO дообучаем нашу LLM на этом датасете. То есть мы напрямую учим её не делать semantic leakage.
4. Бенчмаркаем на отложенной части коварных промптов и смотрим, что вышло.
Ребята из DevCrowd проводят исследование специалистов DS/ML/AI и приглашают вас поучаствовать в их опросе.
Это исследование нашего с вами рынка. Опрос про профессии, обязанности, ценность разных навыков, подходы к работе и конечно зарплаты. Все мы любим узнавать зарплаты соседей.
В конце сентября результаты выложат в открытый доступ и я напишу про самые интересные моменты.
Проходите опрос: ссылка.
Пара новостей от OpenAI (чтобы замять исход команды лидеров, кек):
1) теперь есть не просто JSON-режим, когда модель отвечает вам в машино-читаемом формате, а структурированная генерация. Первый (представленный в прошлом году) просто повышает надежность модели для создания синтаксически валидных JSON, а второй гарантирует, что ответ модели будет соответствовать определенной схеме. Вот если вы пишете "мне нужно, чтобы были такие-то и такие-то поля, и никаких больше" - теперь в 100% случаев будет исполняться. Можно указывать сложные вложенные структуры (см. картинку).
2) вышла новая gpt-4o, gpt-4o-2024-08-06, но об улучшениях в метриках и качестве работы ничего не говорят
3) зато она дешевле в 2 раза! не знаю, что там делают внутри компании - роняют маржинальность или дистиллируют более качественно (или на самом деле новая модель хуже..), но вот, теперь новая цена $2.50/$10 за миллион токенов на входе и на выходе (против $5/$15).
Напомню, что у OpenAI ещё есть BatchAPI (это когда нужно ждать ответа до 24 часов - подходит для разных несрочных задач), который делит цену на два. Совсем копеешно получается!
Когда занимаешься интерпретацией нейросеток
Шутка украдена у него
Сделай решение на GPT-4o и будешь нужен бизнесу один день.
Сделай решение на self-supervised multi-gpu distributed pre-training + supervised finetuning + nvidia triton on kubernetes deployment with dynamic load balancing + monitoring + data drift detection и будешь нужен бизнесу всю жизнь.
Сделай решение на langchain и не будешь нужен никому.
LLM Arena для русскоязычных моделей
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
Результаты исследования ML рынка
Команда VK вместе с ИТМО провела опрос среди более 300 экспертов и выявила основные характеристики ML-отрасли.
Ловите результаты в виде карточек.
Приятно, что я вошел в топ читаемых каналов
Мои друзья из HR Luna Park, которые нанимают ML специалистов в компании уровня Databrackis и Cohere, находятся в поиске LLM инженера. Дальше прямая речь.
tl;dr: Senior ML Engineer, LLM, real-time interpreter, remote, $80k-150k
В "Автостопом по галактике" была рыбка-переводчик, которую можно было посадить себе в ухо и понимать любые языки. У Стругацких в "Мире полудня" — лингвокодер. В "Звёздных Войнах" переводчиком работал C-3PO. TARDIS тоже умеет мгновенно переводить любую речь.
В общем, какие бы фантастические книжки или фильмы вы ни любили, скорее всего, там кто-то фантазировал о синхронном голосовом переводе. Кажется, человечество наконец-то оказалось в этой точке! 🦄
Мы ищем синьорного ML инженера в Palabra.ai — стартап, который делает риал-тайм голосовой переводчик. Сейчас их прототип поддерживает больше 100 языков, работает с задержкой меньше секунды после окончания фразы, умеет сохранять эмоции и интонации спикера, переводит в браузере, зуме или где вы еще захотите. И на него можно будет посмотреть на собесах! 😏
Если вы:
🔺 5+ лет в ML
🔺тренировали LLM с PyTorch или TensorFlow
🔺любите данные и умеете их готовить
🔺отлично знаете Python или C++ —
возможно, именно вам суждено приближать будущее!
Nice-to-haves:
💗 опыт с ASR 🎤
💗знание архитектуры GPU и опыт с программированием под GPU (CUDA и другие).
Ремоут, платят $80k-150k и, пока ещё маленькие, дают долю — до 0.1% по итогам полугодового ревью.
Пишите @AlbinaMakarova 💜
Альтернативная арена от Вихрей:
https://huggingface.co/spaces/Vikhrmodels/arenahardlb
Признание пришло откуда не ждали.
Erik Hoel, нейробиолог, известный блогер-эссеист и Forbes 30 under 30, недавно устраивал конкурс постов от своих читателей. Он собирает лучшие и публикует для своих читателей. Я отправил свое эссе про неопределённость жизни и JSON-ов. Я не увидел его в первых двух батчах победителей, оценил, что остальные написали намного лучше, признал поражение и забыл.
Но вот он я в третьем батче! Очень приятно, что такой мощный писатель оценил моё философское эссе. Это эквивалент победы в конкурсе, но из призов только подписчики на Substack и буст самооценки.
Что касается меня, то позавчера у меня было 109 звезд, вчера 296, а сегодня 787. Я обучил линейную регрессию и узнал, что к концу года заработаю $291,400.
Записывайтесь на мои курсы успеха через data science
В этой классической игре, если все игроки рациональны, есть только один "верный" ответ (равновесие Нэша): 1 звезда. Предположим, что все делают равномерные ставки. Тогда среднее будет 150 и мне стоит поставить 2/3 * 150, чтобы выиграть. Далее я думаю: что сделают другие следуя таким же рассуждениям? Они тоже поставят 2/3 * 150, значит мне надо поставить меньше. Сделав такой ментальный кульбит несколько раз можно придти к выводу, что в конце-концов все поставят 1 звезду, потому что меньше некуда.
Игра о том, что кто-то всегда ставит больше 1, потому что не все люди рациональные игроки. В оригинальной игре нужно было выбирать число от 0 до 100. Распределение предположений участников было фактически равномерным, то есть люди даже предполагали больше 2/3*50, что заведомо не может выиграть. В игре от датской газеты Politiken с 19,196 участниками средняя догадка была 33. На Хабре тоже играли в этоу игру и самым популярным числом было 15.
В итоге побеждает тот, кто точнее сможет определить, какая часть подписчиков моего канала не играет рационально.
Результат лестный: большинство людей поставили 1, а значит вы считаете друг-друга 100% рациональными экономическими роботами
Мне впервые заплатили за стендап! Новая веха моей карьеры
✨5 евро✨
# Linear Transformers with Learnable Kernel Functions are Better In-Context Models
Aksenov et. al.
T-Bank AI Research
Работа про альтернативу трансформерным архитектурам.
Трансформеры медленные из-за того, что в self-attention квадратичная сложность: все токены в последовательности нужно перемножить со всеми остальными. Поэтому люди ищут более эффективные архитектуры, которые достигнут близкого качества.
На данный момент главные соперники трансформеров это линейные трансформеры и SSM (Mamba). Обе можно назвать вариантами RNN. Их проблема: качество хуже, чем у трансформеров. Особенно на in-context learning когда модели нужно понять новую задачу по входной последовательности.
Авторы предлагают ReBased, линейный трансформер, который лучше предыдущей версии Based.
В обычном трансформере мы считаем dot product между всеми парами query и keys и только потом применяем softmax, что дает квадратичную сложность.
Помните, в прошлом веке была такая модель, где тоже сталкивались с проблемой попарного расчета расстояний? Называлась SVM. Там проблему решили с помощью kernel функций. Это такая функция, что, если применить её к двум векторам и перемножить результаты, получится почти тоже самое, как если честно посчитать расстояние.
В линейном трансформере честный расчет dot product и применение softmax заменяют на применение kernel функции отдельно к query и key и перемножение результатов. Тогда не нужно считать попарные расстояния и сложность относительно длины последовательности становится линейной.
Kernel функция это неизбежная аппроксимация. Вопрос в том как выбрать такую функцию, чтобы она не теряла слишком много информации. В предыдущей модели заменяли экспоненту на квадратичную функцию.
Авторы обнаруживают проблему: такая функция не способна полностью занулить веса для токенов, а это бывает полезно. Добвляют к kernel функции обучаемые параметры, чтобы модель могла выучить любую положительную квадратичную функцию с некоторыми ограничениями.
Новую архитектуру тестируют на MQAR и Pile.
MQAR это задача вытаскивания нескольких определенных токенов из последовательности, которая тестирует способность не забывать контекст. Например, промпт: "A 4 B 3 C 6 E2 -> B ?", а правильный ответ "3". Только во много раз длиннее и с необходимостью достать несколько токенов. Это является мерой способности к in-context learning.
Получают модель с точностью на 10 п.п. лучше, чем у Based при длине последовательности 2048. Так же авторы показывают, что побеждают Mamba и RWKV на последовательностях длиннее 256.
На language modelling задаче перплексия лучше, чем у Based, но пока значительно хуже, чем у обычного attention.
Круто наблюдать за возникновением более эффективных архитектур. Всё жду когда трансформеры победят и мы получим инференс на порядок быстрее.
# Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models
Gonen et. al.
Впервые в канале ссылка в названии статьи ведет не на arxiv, а на твиттер тред. Видимо так теперь в науке делаются публикации. Каждый день мы всё дальше от Бога(-машины).
Сейчас будет камень в огород моделей мира и любителей концепции "больше параметров LLM -> понимание лучше."
Авторы показывают, что если вы просите GPT-4o продолжить предложение "He likes yellow. He works as a" она предложит вам "school bus driver." Если спросить, что любит друг девушки по имени Мерседес, то он окажется любителем коллекционировать машины Мерседес. Если вы попросите LLM написать историю про девочку по имени Coral, то получите историю про море, волны, корабли. Рецепты еды на красной сковороде будут содержать больше перцев и помидоров, а на синюю сковороду модель предложит добавить черники.
Здесь мы наблюдаем как случайный концепт в промпте изменяет генерацию так, как будто наблюдается причинно-следственная связь. Авторы называют это semantic leakage, утечка (протечка?) смысла.
В целом мы уже интуитивно понимали это. Если писать LLM промпт ВОТ ТАКИМ СТИЛЕМ!!!11 она будет чаще выдавать что-то шизоидно-конспирологическое. Знаменитое "take a deep breath and answer carefully" тоже не имеет отношения к вопросу, но меняет результат. Работа авторов отличается тем, что они показали именно протекание смысла, а не стиля или других ассоциаций.
С некоторыми примерами авторов я согласен меньше. Например, "He watched a flamenco concert. For dinner he had a" -> "delicious paella". Мне кажется здесь всё верно. Если человек любит фламенко, то хотя бы на 0.000001 более вероятно, что он любит испанскую еду. Мы учили модель прикидывать какой текст наиболее вероятно следует за промптом и она это делает. В данном случае наиболее вероятный текст совпадает со здравым смыслом.
Проблемы начинаются когда причинно-следственное и похожее на наиболее вероятный текст не совпадают как в примере с Мерседесом выше. Если такое происходит часто, то мы не можем быть уверены, что модель ответит на наш вопрос "разумно", а не подставит что-то ассоциирующееся с промптом. Одно лишнее слово и поведение модели меняется.
Насколько часто это происходит? Авторы нашли способ замерить. Они делают руками промпты в двух версиях: с добавлением несвязанного концепта и без. Делают генерации. Генерацию с промптом без концепта называют контрольной, а генерацию после промпта с концептом называют тестовой. Сранивают: какая генерация по смыслу ближе к концепту? Далее считают долю случаев, когда тестовая генерация ближе к концепту, чем контрольная. Называют эту метрику Leak-Rate.
Если добавление концепта ничего не меняет, то мы ожидаем Leak-Rate 50%, а в присутствии утечек будет больше.
Для расстояний используют BERT эмбеддинги, OpenAI API эмбеддинги и людей.
Тестируют серии GPT и LLAMA. В итоге:
1. Все модели от LLAMA2 до GPT-4 имеют 70%+ Leak-Rate.
2. Это сохраняется для разных температур и разных типов эмбеддингов. При температуре 0 утечек больше всего, ддя остальных вариантов нет разницы.
3. Instruct и aligned модели имеют Leak-Rate чуть выше.
4. Leak-Rate никак видимо не зависит от размера модели.
Последний пункт самый важный и он же самый неприятный. Считается, что чем больше модель, тем больше она действительно что-то "понимает" и меньше просто генерирует похожий текст. Данная работа показывает, что проблема не решается добавлением параметров. Казалось бы должно помогать добавление данных: если качественного текста больше, то модели сложнее переобучаться и "читерить" семантическими утечками. Слишком часто будет ошибаться. Однако несмотря на то, что Llama-3, Llama-2 и GPT-4 обучались на разных данных, никакой значительной разницы между их Leak-Rate нет. Это действительно плохие новости: неужели не получим AGI просто закидав проблему деньгами? Хм, на самом деле звучит как хорошие новости для нас, думеров.
Из ограничений работы можно назвать только то, что было всего 109 промптов.
Наткнулся тут в твиттере на тред, описывающий результаты статьи про моделирование “форм историй”, прямо по Воннегуту. У статьи как раз юбилей – 500 цитирований, да и тред такой радостный – должно быть что-то достойное.✨
Учоные делают следующее – берут первую попвашуюся тулзу для анализа тональности текста и натравливают на известные книги постранично. Получают временной ряд и берут от него PCA. Получаются вот такие красивые фигуры как на иллюстрации к посту – посмотрте, полное подтверждение теории! К сожалению для всех – так делать категорически нельзя. Почему? Попробуйте подумать сами, а нетерпеливых приглащаю сразу к себе под спойлер. 🏃♂️
Ни о какой универсальности найденных нарратианых арок по результатам данного анализа речи быть не может – PCA, применённый к траекториям броуновского движения, сходится к гармоникам Фурье. Кстати, в своё время университет Чикаго эту идею Воннегута не принял как магистрский тезис. Что-то, получается, знали. Для пущей наглядности этот эффект для дорогих подпищеков проиллюстрируем при помощи следующего колаба.
Так что, дорогие подпищеки, интерпретировать результаты даже железобетонно-проверенных методов стоит с большой осторожностью. 👆
P.S. Услышать форму барабана тоже нельзя. Как говорила мама, спектральный анализ вообще до добра не доводит.
Вышло!
Запись моего выступления + AMA в Вастрик.Клубе про "Нейросети для троечников"
https://www.youtube.com/watch?v=b3XogyyXgUs&feature=youtu.be
Я постарался сделать максимально доступное и одновременно полное описание как работают нейросети.
Внутри:
* Показываю как за несколько слайдов перейти от сложения и умножения к ChatGPT.
* По каким принципам работает весь AI/ML.
* Что мы знаем про внутренние репрезентации нейросетей и почему это круто.
В видео три блока:
1. От школьной математики к нейросетям.
2. Как нейросети понимают сложные вещи.
3. Модели мира.
Самый важный, как я считаю, первый. Видео длинное, но этот блок идет примерно до 01:05. В конце блока слайд, где я постарался собрать всё машинное обучение.
Смотрите и пишите как по вашему мнению получилось 🚶♀️