12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
#book_review: "Как устроен мир на самом деле" – Вацлав Смил, 2022.
[на русском; на английском]
Книги Вацлава Смила – emeritus 👴 профессора университета, прости Г-ди, Манитобы – Билл Гейтс ждёт как новых эпизодов Звёздных Войн (интересно, как БГ относится к мидквелам). В своём блоге Гейтс страстно рекомендовал эту книгу, хоть и не полностью с ней согласен.
Вацлав испытывает явный ресентимент к диванным айтишникам, которые засунули в свои облака триллионы ВВП, и сидят что-то там программируют 😛. Смил, в свою очередь, предлагает разобраться в том, как работают настоящие столпы современной цивилизации: энергия, пища, и строительство. Один из основных тезисов книги – отказаться от ископаемого топлива сложнее, чем кажется – на его производстве неявно зиждутся эти столпы. Впрочем, Смил успел обсудить много чего; думаю, каждый найдёт, с чем согласиться и с чем поспорить.
В научно-популярных книгах зачастую используется wordcel аргументация – сначала даётся идея, потом десяток жизненных анекдотов 🪢, чтобы читатель как следует интернализировал ценную мысль автора. Вацлав же – суровый чешский учёный-эрудит, поэтому предложения в книге выглядят примерно так:
About 80 percent of global ammonia production is used to fertilize crops; the rest is used to make nitric acid, explosives, rocket propellants, dyes, fibers, and window and floor cleaners. [26] With proper precautions and special equipment, ammonia can be applied directly to fields; [27] but the compound is mostly used as the indispensable feedstock for producing solid and liquid nitrogenous fertilizers. Urea, the solid fertilizer with the highest nitrogen content (46 percent), dominates. [28] Recently, it has accounted for about 55 percent of all nitrogen applied to the world’s fields, and it is widely used in Asia to support the rice and wheat harvests of China and India—the world’s two most populous nations—and to guarantee good yields in five other Asian countries with more than 100 million inhabitants. [29]”
# Рабочие конфликты
На днях коллега прислала мне огромный текст начинающийся с “I am so pissed right now!!!” И далее четыре параграфа текста о том, почему я не прав, что я все порчу и в прошлый раз тоже был мудилой.
Все потому, я поговорил с человеком, который составляет процессы для новой фабрики, чтобы узнать, что мы там можем соптимизировать своим эмэлем. Вывод был такой, что можно встроить наш инструмент в модуль контроля качества, о чем я написал в публичном канале. Коллеге это не понравилось, потому что в её планах модуля контроля качества вообще нет.
Как любой взрослый и уравновешенный человек я захотел ответить: “Хуле ты доебалась? Тебя сука спросить забыли с кем мне блять ходить на встречи.” С моей точки зрения спор был на пустом месте: я просто пошел собирать информацию, чтобы было что обсуждать когда будем отвечать на вопрос “а че делать.” Ответить на него моя работа.
Я конечно же так не сказал. Неписанная корпоративная этика гласит, что конфликт это плохо и его нужно сразу загасить. Все как можно быстрее должны перейти к продуктивной командной работе со взаимной поддержкой, эффективной коллаборацией, кросс-опылением команд, прозрачностью коммуникации и бла бла бла. Но это херня и я не эскалировал конфликт по другой причине.
Мне кажется конфликты очень важны (до тех пор пока они конструктивны). Две причины:
1. Конфликт это точка принятия важного решения
2. Конфликт это шанс для формирования отношений.
Рассмотрим первую причину. Тезис: агрессия это движущая сила изменений. Если человек начинает с вами конфликт значит он хочет что-то поменять. Именно в этот момент надо начинать слушать. Это противоестественно. Естественное поведение это слушать когда все тихо и закрываться когда запахло жареным. Но все тихо только когда ничего интересного не происходит. Если кто-то идет на конфликт значит на кону стоит что-то действительно важное, поэтому стоит обратить внимание. Человек хочет изменений не на пустом месте. Возможно вам стоит поменять что-то в себе. Возможно оппонент ошибается (или хочет вам навредить) и вам придется эффективно сопротивляться изменениям. Возможно вы измените что-то вместе. Но для всех этих случаев вам надо активно включиться в диалог и услышать оппонента. Если вы скатитесь во взаимные обидки ничего не выйдет. Почти все исходы далее будут для вас плохими. Человек пойдет в обход и каток изменений проедется прямо по вам. Или человек отступит, но проблема позже вернется в большем масштабе. Или вы просто останетесь на обочине пока все интересное проходит мимо.
Вторая причина это отношения. Конфликт это своего рода проверка для обоих. По результатам оппонент выявит о вас много такого, что не всплывает в тихие времена. Уходите ли вы в защиту? Истерите ли? Переходите ли на личности? Можно ли вас продавить? Затаиваете ли обиды? Способны ли сохранить холодную голову? При удачном стечении обстоятельств в результате конфликта вы можете приобрести союзника или даже друга. Это не обязательно означает деэскалацию конфликта. Часто необходимо обозначить и отстоять свои границы.
В моем прошлом опыте был неприятный и некрасивый спор с коллегой за первое авторство статьи. Ситуация была в том, что у обоих был весомый вклад: я не смог бы сделать статью без него, а он не смог бы без меня. В какой-то момент у меня возникли подозрения, что мой коллега специально начал скрывать от меня информацию, а так же перерабатывать, чтобы иметь больше прав на первое авторство. Эскалация на уровень начальства не помогла. Кульминация была в ночном созвоне за часы до подачи статьи, где надо было принять окончательное решение. Все выдвинули свои аргументы. Моя гордость была сильно задета. Но я признал правду: мой коллега действительно внес немного больше вклада. Отступление? Возможно я потерял “победу” в споре. Но в результате наша дружба пережила наши рабочие отношения, а потеря первого авторства никак не повлияла на мою жизнь.
Текущий рабочий конфликт я не смог разрешить идеально. Получилось чуть больше пассивной агрессии, чем хотелось бы. Но я даю себе четверку.
Коротко про Anki
Вот так надо прокачивать внутреннего ребенка
https://www.astralcodexten.com/p/should-the-future-be-human
Читать полностью…
Вообще заметил за собой прикольный аспект: ситуации кризиса заставляют меня взбодриться, мне становится смешно, весело и прикольно, я ощущаю себя в каком-то приключении, в ключе “давайте посмотрим что из этого получится”. Уже не первый раз такое (ковид, война, личные потрясения). Такая вот реакция на стресс.
В противовес этому постоянные трудности в течение долгого времени съедают меня по кусочкам и абсолютно вынимают душу. Вот это вот когда пытаешься пытаешься пытаешься и не выходит.
С удовольствем поменял бы эти эффекты местами. Т.к. вторая ситуация всегда возникает после первой, но она длится дольше и как правило определяет исход.
#лабораторный_журнал
Знаете эти страшные и поучительные истории про бекапы, где у кого-то сгорел сервер и всё пропало?
Всегда казалось это какими-то страшилками, но сегодня у нас в Planet Farms такая ситуация. Фабрика буквально горит, а соответственно и крупная доля IT инфры (много чего располагалось на фабрике, чтобы она могла работать в случае отключения интернета). Хранилище наших картинок тоже было там, так что крупнейший датасет салатов в мире резко мигрировал в облако.
Это впервые в моей карьере, так что можно считать это очередной важной вехой на пути инженера.
Прикол в том, что на прошлой неделе мой мидл предлагал сделать бекапы всего хранилища данных в Google Cloud, но мы решили это отложить.
К счастью для нас:
1. Мы делали бекапы БД нашего основного сервиса, я ввёл их ещё в самом начале и мы пробовали их раскатывать.
2. Модели тренировались на сервере в другом месте, так что они сохранились, как и датасеты использованные для их тренировки. То есть это не оригиналы изображений и не все, но большая часть полезного.
Так что в целом ничего не потеряли и гипотетически могли бы всё развернуть за день. Но разворачивать пока некуда :)
Конечно урон ML инфре это сейчас меньшая из проблем компании.
#обзор_статьи
# Perspectives on the State and Future of Deep Learning - 2023
Писать статью про новый метод в Deep Learning - 🙅♂️
Писать статью про мнения нескольких чуваков про Deep Learning - 😎
Это не типичная статья, потому что представляет из себя опрос, который авторы планируют периодически проводить, вплоть до “paperclip-frenzy driven doomsday”. Приводятся несколько вопросов и ответы именитых людей из индустрии. В ролях: Andrew Gordon Wilson, Alex Smola, Max Welling, Kyunghyun Cho, Zachary Lipton, Preetum Nakkiran, Melanie Mitchell, ChatGPT (указана в контрибьюторах???).
Саммаризирую ключевые выводы.
1. Над какой проблемой нам стоит работать, но мы этого не делаем?
* Использование DL в естественных науках: предсказание глобального потепления, создание новых батарей и материалов, прогнозирование эффективности лекарств.
* Мы часто работаем над проблемами, где доступна разметка, а не над проблемами, которые важны.
* Проблема сдвигов распределений (distribution shift): то есть способности DL обучатся на одних данных, а затем успешно прогнозировать на других.
* NLP: проблема рассуждений об абстрактных концептах (датасет ARC). Сейчас DL не умеет в такое.
* Common sense reasoning.
* Методы оценки качества ИИ моделей.
* Методы интерпретации моделей, в частности mechanistic interpretability (это когда мы выясняем что делает конкретный нейрон или другая часть нейросети).
* ИИ для автоматизации научных открытый.
2. Почему мы не продвинулись в понимании (того как работает) DL?
* Понимать непараметрические нелинейные функции просто невыполнимая миссия.
* Эти системы принимают решения так, что нам простым смертным просто тяжело это осознать.
* Мы на самом деле неплохо понимаем DL и в целом “у нас нет теории DL” стало каким-то магическим заклинанием, которое все бездумно повторяют Никто не может сказать чем текущая теория недостаточно хороша.
3. Будет ли DL когда-нибудь интерпретируемым?
* На самом деле проблемы интерпретации не новы, не эксклюзивны для DL и встречаются в других классах методов (упоминаются interpolating kernel methods).
* DL сравнивается с лекарствами: для многих из них мы не знаем механизм действия во всех деталях, но нам это не мешает.
* LLM не умеют в meta-cognition, то есть не могут рассуждать о своих рассуждениях (они могут выводить какой-то текст на тему, но нет оснований полагать, что он связан с реальностью)
В целом ответа на вопрос никто не дает.
4. Двигается ли DL за пределы академических бенчмарков?
* Бенчмарки очень важны для понимания того, с чем мы работаем и есть ли прогресс.
* Есть хороший тренд: раньше сначала делали бенчмарк, а затем атаковали его тысячей моделей, а теперь одна модель проверяется на сотне бенчмарков.
* В целом непонятно чем академические бенчмарки плохи. Но бенчмарки нужно улучшать и усложнять: классические вещи типа ImageNet уже решают инжинирингом и компьютом, а не инновационными идеями.
5. Трансформеры это путь вперед или они ограничены?
* Трансформеры не финальный ответ, но они с нами на пять или даже десять лет из-за того, что железо сильно соптимизировали под них и будет много инерции.
* Сейчас масштабирование параметров дает большие улучшения, но ожидается, что наступит насыщение и придется менять парадигму.
* Есть мнение, что роль трансформеров и вообще архитектур переоценена. Что можно было добиться того же с другой архитектурой применив те же трюки: massive parallel computation, web-scale data и рецептов тренировки (pre-training, instruction fine-tuning, task fine-tuning, in-context learning, RLHF, итд)
* Текст сам по себе далеко нас не заведет, скоро будет большое развитие мультимодальных моделей и мы перестанем думать о NLP и CV как о разных сферах. От себя добавлю, что это уже происходит.
6. Are academics screwed?
* Консенсус человеков: нет.
* ChatGPT-3.5 считает, что статьи будут чаще про то, как подлизаться к господам-роботам.
Наткнулся в канале Left Join на популярное объяснение того, как работает Шазам.
Это напомнило мне, что одна из моих любимых научных статей это статья фаундера Shazam (который кстати крутой мужик) с описанием работы алгоритма.
Она очень просто написана и даже люди не разбирающиеся в обработке сигналов, такие как я, могут в ней разобраться. Особенно мне понравилась метафора про астронавигацию:
1. Шазам вычисляет спектрограммы (2д репрезентации) треков.
2. Ищет на них ключевые точки.
3. Сохраняет в базу данных.
4. Для входящего трека так же вычисляет ключевые точки спектрограмм.
5. Можно представить, что сохраненные в базу данных ключевые точки это звезды на огромном полотне, а набор ключевых точек каждой спектрограммы это уникальное созвездие. Ключевые точки входящего трека это тоже созвездие и мы ищем его на звездном небе.
Рекомендую к прочтению
Честное объяснение, как работают трансформаторные языковые модели
Читать полностью…
Чуть не забыл вас всех оповестить, что сегодня начинается бесплатный (это не реклама инфоцыган) и крутейший Data Engineering Zoomcamp от ребят из Data Talks.
Содержание можно глянуть тут https://datatalks.club/blog/data-engineering-zoomcamp.html
Там и GCP, BigQuery, и Terraform, и dbt, и Spark с Kafka.
Короч полный набор.
Я проходил прошлогодний, одним глазом, чему очень рад, потому что сейчас на работе с нуля разворачиваю и настраиваю dbt, при этом у нас всё на Terraform, и варехаусим всё на моём любимом BigQuery и GCP (ну не люблю я Амазон, ну что поделать).
Поэтому, даже если вы узкопрофильный data analyst или BI, всё равно рекомендую хотя бы одним глазом посмотреть. Будет полезно. А ещё лучше пройти с домашками, полностью бесплатно, всё разжёвано, есть чат с фидбеками и т.п.
Развлекайтесь, короч.
https://theintercept.com/2024/01/12/open-ai-military-ban-chatgpt/
Читать полностью…
🎯🎯 Планы на 2024 год 🎯🎯
Самое время подвести итоги года👩💻📔🔖📚 и конечно поставить себе цели 🏅на следующий. Новый год 🎆🎇🌠 приносит новые вызовы 💪💪💪 и возможности для деградации 🎯 🏋♀️ 🏄.
Мои 3️⃣ главные цели на 2024 год:
1️⃣ Развитиь в себе шизу 👻. Чтобы достичь чего-то нужно идти к этому каждый день 💪💪💪. Поэтому я заведу трекер привычек 🗓📈🧮 и буду начинать каждый день с подъема в 14:00 🌄 и панической атаки 🧨💣🫀💣🧨
2️⃣ Сменить работу 🖌💵💎с просто хорошей на идеально неподходящую. Будет непросто, ведь придется учесть множество критериев: низкая зарплата 💵, часы работы как можно больше 🕓, угроза для здоровья 💔 и полное отсутствие перспектив 📈📈📈. Но я верю, что у меня получится! 💸💸💸
3️⃣ Иммигрировать ✈️ в страну где происходит как можно больше войн 🏹 и этнических чисток🔪
А что вы планируете на 2024 год?
https://www.asc.ohio-state.edu/kilcup.1/262/feynman.html
Читать полностью…
Провел открытый урок про историю архитектур моделей в Computer Vision.
Занятие базовое: от введения в deep learning до непосредственно разборов основных поворотов мысли в архитектурах. Больше всего подойдет тем, кто уже знаком с ML, но не знаком с Computer Vision.
https://www.youtube.com/watch?v=BY-SMkJ1BmY
https://www.stat.berkeley.edu/~aldous/Real-World/million.html
Читать полностью…
Позднее я узнал, что коллега, которая на меня наехала, в том году потеряла ребенка. Конечно это не делает её правой и не требует с ней соглашаться. Но заставляет взглянуть на ситуацию под совершенно другим углом. Никогда не знаешь, что творится у человека, который на тебя срывается.
Читать полностью…
челу надоел эмэль и он пошел на геодезиста
https://twitter.com/geringeradam/status/1751740203205579126?s=46&t=
Tomas Mikolov
Мне всегда было интересно, что щелкает у людей в голове, о чем они думают, чтобы придумать принципиально новую идею. Tomas Mikolov -автор word2vec - модели, которая запустила boost в NLP мире 10 лет назад. И в этом году на NeurIPS ему вручили Test of Time Award за ту статью. В связи с этим сам Томаш написал недавно коммент на эту тему в твиттере, а еще я нашла классное интервью с ним.
Томаш рассказывает, что идеи дистрибутивной семантики появились еще в 80-ых, а языковое моделирование с помощью RNN появилось в 90-ых, и прошло 20 лет, чтобы статья появилась. На первой конференции статью отреджектили (привет прошлому посту!), при том что acceptance rate был около 70%. Какое-то невероятное количество сложностей человек прошел, чтобы новая тогда идея воплотилась в жизнь.
Во-первых, идеологических. "When I started working on neural language models, I received extremely negative reviews from a local linguist at the Brno University of Technology. He would go as far as to say that the whole idea of using neural networks for modeling language is complete bullshit and that my results must be fake. He almost managed to get me kicked out of the PhD program." Но так думали не только академические лингвисты, но и ребята в Гугле: "I published the first ever study showing that neural nets beat n-gram language models increasingly more with more training data when everything is done correctly (today this sounds obvious, but back in the days this was widely considered impossible - even most Google guys did think that the more data you have, the more futile is to work on anything besides n-grams and smoothing techniques)."
Во-вторых, технических. Необходимые составляющие приходилось изобретать самому. Сложно было масштабировать эксперименты, потому что люди тогда еще не доказали что стохастический градиент спуск работает "However, nobody knew whether stochastic gradient descent could work, and some papers claimed it could not." Модели не сходились из-за исчезающих и взрывающихся градиентов, и это, оказывается, Томаш придумал gradient clipping. Наконец, никто не выкладывал ни код, ни данные, чтобы с кем-то сравниться, нужно было генерить все самому. Так и появилась идея benchmark'ов, тоже благодаря Томашу.
Советую прочитаю интервью полностью, читается как детектив, и там много боли про то, как у него крали идеи, не включали в соавторство, про то как community не верило в реалистичность результатов. Такой путь героя, но думаю, что всем нам помогают не сдаваться какие-то сильные эмоции, которые мы не можем получить где-либо еще, и у Томаша были такие:
"I was getting new state-of-the-art results but did not know how much further one could go. It was exciting; I was climbing a mountain that no one had visited before me, and I had no idea how high it was."
#science
Наткнулся недавно на интересный канал - Дима пишет про свой путь в IT, но у него направление другое - запуск собственных продуктов. Были и успехи, и неудачи, жизненно и без "ошибки выжившего". Интересно было почитать.
Например, вот два поста про запущенные и угробленные IT бизнесы:
1. /channel/overemployd/10
2. /channel/overemployd/24
Канал Дима завёл недавно, но обещал выкладывать больше интересного о своей деятельности - будем наблюдать.
#лабораторный_журнал
Давно не постил ничего с этим тегом, потому что в моих рабочих буднях было мало интересного. Теперь мне резко стало очень интересно.
Прогулялся, выпил кофе, вспомнил, что я тимлид, а значит эта ситуация мое боевое крещение как управленца.
Все ML проекты кроме одного сгорели вместе с фабрикой или откладываются до запуска следующей, то есть в лучшем случае на полгода. Наш аналитик занималась изучением истории проблем на фабрике (кстати этот анализ стал возможен благодаря нашей ML системе) и изучением связи климата с проихводительностью. Что тоже стало неактуально. Значит мои подчиненные вероятнее всего в панике и возможно обновляют профиль на линкдине.
Сделал две вещи.
Во-первых, созвонился с командой, пошутил, успокоил. Похвалил за то, что мы в этой ситуации потеряли по минимуму (ML модели сохранились, разметка и данные сохранились, аналитические данные в DWH на месте) благодаря хорошей подготовке в прошлом. Озвучил, что работа для нас всё ещё есть. Разработчики были в процессе большого апгрейда софта, который управляет фабрикой. Хорошие новости: теперь у них не будет проблем с легаси кодом! Теперь им понадобится за полгода подготовить софт для новой фабрики и мы можем с этим помочь. Не самая секси работа для ML специалистов, но варианты есть. По аналитике сложнее, но тоже обязательно что-то придумаем.
Во-вторых, связался с начальством. Сказал, что поговорил с командой, что у меня есть некоторый план и предложения как мы можем помочь. Думаю сейчас им больше всего хочется услышать, что где-то у кого-то что-то под контролем.
Кажется на данном этапе это всё, что от меня зависит. Не завидую тем от кого сейчас зависят вещи кардинального другого масштаба, хотя в некотором извращенном смысле часть меня хочет оказаться на их месте потому что наверняка тушить такой пожар очень интересно.
https://www.astralcodexten.com/p/ai-sleeper-agents
Читать полностью…
Мне всегда казалось, что автономные грузовики сделать проще, чем автономные такси. Не мне одному.
https://kevinchen.co/blog/autonomous-trucking-harder-than-rideshare/
Однако в этой статье автор работающий в сфере автономных машин раскрывает, что в реальности задача автоматизации грузовиков сложнее, чем автоматизация легковых машин.
Кратко почему:
1. Грузовики имеют длинный тормозной путь. Для того, чтобы вовремя остановиться в случае наличия препятствия впереди, нужно два компонента: идеальный recall распознавания и рабочая дистанция сенсоров больше тормозного пути. Текущая лучшая комбинация сенсоров для такой задачи (камера + радар) не удовлетворяет этим требованиям.
2. Управление. Легковая машина может быть смоделирована как один физический объект. Грузовик с трейлером это гораздо более сложная модель из двух связанных объектов. Автоматике нужно учитывать это при управлении.
3. Удовлетворение minimal risk condition. Это требование, чтобы автономная машина остановилась в случае обнаружения любой ошибки в своей автоматике. На городской улице остановиться на обочине нет проблем. На автотрассе это бывает невозможно.
4. В случае ремонтных работ на городской дороге можно просто перестроить маршрут и объехать. На автотрассе это невозможно. Нужно каким-то образом научить машину обнаруживать такую ситуацию и следовать инструкциям полиции, нарушая при этом обычные правила движения. Текущий state of the art это тупо въехать в зону дорожных работ и застрять в сохнущем бетоне.
5. Большие требования к работоспособности компонентнов. Если твоя автономная машина иногда ломается на городской улице, то ты просто паркуешь её на обочине и забираешь её позже. Такой же сценарий недопустим на автотрассе. Соответственно нужна надежность компонентнов на порядки выше, а как известно каждая доля процента надежности дается тяжелее предыдущих. Проблема решаема (на луну же летаем как-то), но вопрос цены и сходимости экономики.
6. Сбор данных сложнее. Автотрассы гораздо лучше улиц в том плане, что они более предсказуемые. Но это так же означает, что они поставляют меньше интересных моментов для обучения нейросеток.
Автор делает вывод, что задача решаема, но мы сильно дальше от решения, чем можно было бы ожидать.
https://www.themotte.org/post/797/chatgpt-vs-advent-of-code
Tldr: GPT4 не решает AoC
Привет новым людям в канале!
Не хотелось бы, чтобы вы составили о нем мнение по щитпосту выше, так что предлагаю несколько более умных материалов для чтения/просмотра:
* Свежий доклад про историю моделей в Computer Vision, подходит новичкам
* Оптики для принятия решений в жизни
* Уличный утилитаризм
* Два способа делать ML - как в ML/DS получать повышения не сделав ничего полезного
* Саммари статьи про самое масштабное исследование universal basic income
И конечно самый популярный материал прошлого года: методичка по поиску работы
Рубрика "изи контрибьюшн" продолжается.
В прошлый раз я добавил зависимости для torchscale, всего одну строчку и тем самым сделал мир немного лучше. В этот раз я решил пойти дальше и внес изменение всего в одном символе.
Вот вам микроистория: Я экспериментировал с CatBoost, пытаясь запустить его на GPU, и обнаружил, что в списке доступных лоссов для GPU отсутствует MAE, хотя есть Huber. Это показалось мне странным, ведь Huber фактически является IF между MAE и MSE. Такого быть не может, что Huber написали, а вот в MAE какая-то серьезная проблема. После теста на Kaggle оказалось, что все работает, даже на MultGPU сетапе. Значит, ошибка была в документации.
Исправил документацию, согласился на бесплатную работу на Яндексе (у них своя лицензия на контрибьюшны), и мой пулл-реквест уже в мастере.
Думаю изменение чуть важнее, чем кажется на первый взгляд. MAE - один из самых популярных лоссов, и CatBoost действительно оптимизирован для GPU, что делает его более удобным и быстрым в обучении. Он просто работает из коробки. Я столкнулся с этой странной проблемой с недоступностью MAE для GPU несколько раз в прошлом, просто не проверяя ее. Заходил, видел что недоступно и шел дальше, ковырять любимый LGBM. Ганс, мы что, фанаты майкрософт? А оказалось, дело было в документации.
Вообще у CatBoost много документации, но она не всегда точная, несмотря на мои диферамбы этой библиотеке. Так что, если вдруг вы хотите внести свой вклад в историю (даже на 356 месте 355 уже мое), внимательно прочитайте несколько страниц документации и обращайте внимание на детали. Глаз за что-нибудь зацепится.
Маленькие контрибьюшны делают библиотеку на 0.1% лучше, но уже сейчас. А вот MR моего бывшего коллеги с FocalLoss лежал в ревью больше года.
10-дневный буткемп в Великобритании для улучшения технических навыков ML4Good!
По темам 1 неделя на буткемпе похожа на ARENA: реализация разных Resnet, GPT-2, SGD с нуля, файн-тюн BERT, распределенные вычисления, а дальше начинаются отличия - изучение статей и дискуссии по темам Adversarial Robustness, Interpretability и даже AI governance.
Из требований всего ничего: 1 курс университета по математике, сильные навыки в программировании и желание развиваться в сфере AI Safety. Последнее необходимо, но если у вас например хорошая математика при малом опыте в программировании и наоборот, то у вас все ещё есть шанс пройти отбор.
Заявки принимают до 21 января, а сам буткемп пройдет с 28 марта по 7 апреля.
Заявки подавать здесь
Я читаю авторский канал Кирилла про стартапы и номадизм и с удовольствием вам его порекомендую: /channel/kyrillic
В мейнстриме про стартапы очень много бахвальства, успешного успеха, фокуса на двух основных задачах машинного обучения (1. поднять бабла 2. наебать инвесторов). В противовес этому Кирилл, компания которого прошла в YCombinator, пишет про реалистичную оценку вероятностей успеха, важность финансовой подушки и других факторов для фаундера, нетривиальные технические детали вроде открытия компании в США и многое другое. Крутой экспертный контент.
Про номадизм тоже много полезного: номад визы, лайфхаки, минусы Португалии (моя больная тема).
В общем очень крутой экспертный контент, советую.