12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Первый стрим в моем канале: поговорим про образование.
17 июня в 12:00 по Москве мы с Cергеем Сластниковым обсудим в аудиочате канала новую магистерскую программу ВШЭ «Прикладные модели искусственного интеллекта», реализующуюся совместно с VK.
Я учился на ФКН ВШЭ на программе "Науки о Данных." Одно из направлений программы включало в себя тесное сотрудничество с крупной технологической компанией и я наблюдал, что это работало отлично.
В целом я очень болею за DS/ML/AI образование в России, особенно в ВШЭ, так как сам преподавал. Поэтому я очень рад, что мне предложили обсудить новую программу.
Программа разработана совместно с VK и направлена на подготовку специалистов в индустриальном машинном обучении. В расписании можно найти курсы по Machine Learning, Deep Learning, C++, Computer Vision, Natural Language Processing, генеративным моделям, а так же обработку больших данных на Hadoop. По моему мнению это хорошая смесь основ и приложений, а так же радует видеть курсы по Data Engineering.
С 2022 по 2023 год в России количество вакансий в ML выросло на 21%. Так что перспективы на рынке сейчас хорошие.
На стриме мы обсудим программу, а так же почему она реализуется совместно с VK, какие это дает преимущества и накладывает ли какие-то ограничения на выпускников.
17 июня, 12:00 по Москве, в аудиочате моего канала. Присоединяйтесь.
В процессе стрима можно будет задавать вопросы гостю через комментарии под специальным постом.
Мой канал попал в папку про аналитику, так что время показать что-нибудь по теме.
Предлагаю мой пост на Хабре: Нормально разбираемся в Нормальном распределении. Вместо описания приведу цитату:
Но что это такое? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Куда делись монеты, шары, урны и кролики? Почему мы от интуитивных объяснений перешли к тупому запоминанию?
Каждая формула несет некоторую идею. В этом посте мы будем препарировать нормальное распределение пока не поймем, что оно в себе несет. В конце мы выведем функцию плотности вероятности и узнаем откуда она берется.
Я покажу, что, несмотря на пугающий вид, Нормальное распределение это не конь в вакууме. Это все еще про броски монеток, урны и другие вещи из реального мира.
Кстати, посмотрите на разницу популярности статей топ-1 и топ-2.
Hackernoon отлично иллюстрирует суть блоггинга и вообще писательства как рынка: winner takes all.
Привет новым подписчикам!
Здесь можно найти пост про то, кто я, про что канал, и что можно в нем почитать: /channel/boris_again/1652
Недавно я написал англоязычный лонгрид про то, как работают опционы в стартапах.
Иногда пишу эссе про жизнь и некую философию домашнего разлива.
Самый популярный материал это определённо методичка по поиску работы в ML/IT.
Нетворкаюсь с ИИ специалистами покупая и продавая маки с MPS, уже встретил более десяти человек из топовых лаб и стартапов
#щитпостинг
Кстати, автор "So Good They Can't Ignore You", Cal Newport, сильно выделяется среди авторов селф-хелпа: он профессор Computer Science и имеет внушающий уважение хирш. Занимается какими-то там распределенными алгоритмами. Поэтому я списываю методологические огрехи книги на то, что автор хотел сделать её максимально короткой, цепляющей и доступной широкой аудитории. Законы жанра
Читать полностью…
Закидывал лонгрид по опционам на Hackernoon как linkpost, так что должно было указано, что источник на моем сабстеке.
Получил 482 прочтений и оно trending на 16 месте.
Однако внутри нет ни одной ссылки на мой сабстек (зато ссылка на сабстек Васи есть, так что он получит больше паблисити). Так же текст был отредактирован без моего согласия. Даже заголовок изменили.
Размышляю между тем, чтобы добавить везде где можно ссылки на свой сабстек и хоть что-то с этого получить, или вообще снести статью.
Вот в этом и проблема. Ничто не тянет на “миссию.” Я не представляю куда всё это движется. Столько всего пробую, но зачем? Что-то там поделал, что-то тут поделал, чуть-чуть заработал, похвастался в телеграм канале. И долго так будет? Может быть я просто слишком быстро сдаюсь, боюсь коммититься? Может быть надо 100% пивотнуться, например, в блоггинг и стать фултайм клоуном 🤡 вместо парт-тайм? Надо обрезать лишнее и сфокусировано фигачить, благо перспективных направлений много. За сорок лет точно получится.
Но, почему-то, нет. Очень страшно упустить, пожалеть, вложить много усилий и понять, что копал не туда. Что обрезать, что оставить? Давно хожу кругами вокруг этого вопроса. На эту тему книга принесла мне новые мысли.
Часть 2/3, начало тут
# Медитации о жизни и средненькая книга "Be So Good They Can’t Ignore You", Cal Newport
"Be So Good They Can’t Ignore You" за авторством Cal Newport является почти священной в достигаторских кругах. У меня были высокие ожидания. Они не оправдались. Это хорошая книга в жанре “автор подтверждает свой нарратив вдохновляющими анекдотами и тремя черри-пикнутыми исследованиями без указания источника.”
Я хотел написать пост о том, что автор построил целую книгу на selection bias, опирается на нерепрезентативные опросы из 1992 года и пропустил все мемы про correlation vs causation. Но потом эта книга навела меня на интересные мысли, так что лучше я напишу про них, а не буду сидеть с лицом 🤓🤓🤓.
На самом деле, в своем жанре книга достойная: короткая, последовательная, дает заряд мотивации и наталкивает на некоторые мысли. Большего от селф-хелпа и не требуется. Главное рассматривать как пищу для размышлений и не верить слишком сильно. Советую прочитать её во время длинного перелета или вроде того.
На этом обзор книги закончен. Дальше расскажу о том, как эта книга позволила взглянуть иначе на вопрос: куда катится моя жизнь и что делать при подступающей тридцатке?
Конкретно меня зацепила часть книги про миссию. Я предпочитаю для себя менее заезженное инфоцыганами определение "life pursuit": общее направление жизненной деятельности. Но буду придерживаться терминологии из книги.
Часть 1/3
Я люблю все, что связано с CLIP моделями, потому что это универсальный швейцарский нож для случая "мне нужны хорошие эмбеддинги изображений или текста и как можно быстрее". Что закрывает львиную долю практических кейсов применения DL в проде. И подавляющую долю кейсов работы с датаметами.
Найти дубликаты? CLIP. Сделать классификатор без данных? CLIP. Отсеять мусор? CLIP. Написать семантический поиск? CLIP. Кластеризовать? CLIP. И так далее. В целом возможности ограничены фантазией: кто-то даже SLAM навигацию на CLIP сделал (но зачем?).
Вышел jina-clip, судя по метрикам во всем лучше OpenCLIP. Плюс модель особо заточена на качественный ретривал.
Мечтает ли GPT-4o о сегментации картинок...?
Рассказал на Habr найденный способ как заставить GPT-4o работать с детекцией объектов на картинке и выдавать координаты (bounding boxes), с которыми можно работать.
Внутри много деталей о том, с какими препятствиями и нюансами мы сталкиваемся в Vibe AI при парсинге сообщений со скриншотов переписки.
Приятного прочтения, буду благодарен вашей обратной связи, лайкам, репостам ❤️
Пример рекламы, за которую мне не платят: ребята делают социальные хакатоны! Далее прямая речь
Hackathon Raptors, ассоциация разработчиков-организаторов социальных хакатонов, решающих социально-важные проблемы, объявляет о старте сбора заявок на участие в двух международных хакатонах. Принять участие смогут разработчики с опытом работы в AI/ML и Web-разработке, индивидуально или в командах до 5 человек.
Судьями хакатонов выступят эксперты из ведущих технологических корпораций: Google, Meta, Microsoft, Nvidia, Siemens Healthineers, Nokia Bell Labs и другие.
Победители хакатонов получат возможность зарекомендовать себя перед экспертами из мировых IT-гигантов, получат признание международного профессионального сообщества, а также денежные призы (за 1 место — 1000$, 2 место — 300$, 3 место — 200$) и призы от спонсоров.
Первый хакатон, INTERACTIVE EDUCATIONAL GAME FOR MYAP $%^&ING, приурочен к дню рождения английского математика, информатика и криптографа Алана Тьюринга. Для подготовки к недельному онлайн-хакатону участники должны разгадать зашифрованную часть названия, а в процессе — разработать прототип браузерной игры. Сбор заявок продлится до 23 июня на сайте мероприятия.
Участники второго хакатона, Mental Health AI Hackathon 2024, будут соревноваться в разработке чат-бота для поддержки ментального здоровья на базе искусственного интеллекта. Хакатон продлится с 27 по 30 июня в режиме онлайн. Подача заявок продлится до 27 июня на сайте.
To avoid survivorship bias don’t forget to ask a few dead people what they think
Читать полностью…
Можно апвоутнуть на hackernews, вдруг взлетит. Оно мотается где-то в new 🥰🥰🥰
Читать полностью…
UPD: спикер заболел, стрим переносится, выложу новое время как станет понятно
Читать полностью…
Яндекс выложил в опенсорс библиотеку YaFSDP – собственное решение для ускорения обучения больших языковых моделей. YaFSDP — это версия подхода FSDP (Fully Sharded Data Parallel) — параллелизм с полным разбиением данных.
При распределённом обучении больших моделей коммуникация между GPU — это узкое горлышко. Сколько не ускоряй этап вычислений, быстрее учиться модель не будет, так как коммуникации ограничивают передачу данных между память. При этом часто эти коммуникации неэффективны.
YaFSDP позволяет сократить время обучения LLM до 25%. Результат зависит от архитектуры и числа параметров нейросети, но авторы заявляют, что можно получить экономию ресурсов GPU до 20%. Библиотека лучше всего работает именно с большими моделями, так как чем больше модель, тем больше оверхед на коммуникацию.
YaFSDP особенно пригодится тем, кто использует GPU в облаке, не может поднять $1 триллион финансирования и хочет сократить расходы. Или для тех регионов, где предложение GPU ограничено.
YaFSDP оптимизирует ресурсы графических процессоров на всех этапах обучения: pre-training, supervised fine-tuning, alignment.
Исходный код библиотеки уже доступен на Github.
Сегодня хочу порекомендовать вам канал Тагир Анализирует.
Тагир занимается аналитикой в Яндекс.Плюс, ОЧЕНЬ быстро растет по карьерной лестнице, участвует в менторской программе ВШЭ и чего только не делает. Главное, что очень доступно и открыто рассказывает про профессию аналитика.
Посты, которые я бы хотел выделить:
* Пост про карьерный путь. Тагир два раза публиковался в журнале Код. Сначала со своей историей, а через год с продолжением. Так что его рост и подход можно проследить в динамике. Должно быть особенно интересно начинающим свой путь.
* Огромная серия постов с советами для новичков.
* Посты про зарплаты в анилитке, например недавний.
Так же рекомендую папку авторских каналов про аналитику, куда в том числе включили меня и Тагира:
/channel/addlist/phl5FAATg9IzNTMy
Лонгрид растет на Hackernoon
UPD: Hackernoon принял мои правки и ссылки на мой сабстек появились в моем же тексте (офигеть спасибо). Но умудрились и в этот раз что-то поредактировать и ссылку на сабстек убрать из шапки поста пониже, хитрые жуки. В общем ставлю этой платформе 3/10.
Могут ли KAN справляться с задачами компьютерного зрения?
Я со своим другом и товарищем Ваней написали статью на Habr (русский вариант) и idrokin/can-kans-do-computer-vision-02e59537190d">Medium (английский вариант) про Kolmogorov-Arnold Networks и как их применять в компьютерном зрении 🤔.
Спойлер: можно, но не всё так просто.
Приятного прочтения! Лайки, репосты нам будут очень приятны 😍!
🤨
Сторис в телеграме позволяют следить за жизнью людей которые для меня действительно хрен знает кто
Смотрю внимательнее: удалили целые секции.
Ещё и косячнули с редактированием
Упрощенный тезис автора книги про то, как строить карьеру и найти миссию:
1. Не надейся на миф, что надо лишь найти своё “предназначение” и “страсть” и всё станет хорошо (follow your passion).
2. Как можно лучше делай то, что получается. Усердно и целенаправленно практикуйся.
3. Накапливай карьерный капитал и используй его для получения автономии и лучших возможностей. Предпочитай автономию и контроль за своей жизнью деньгам.
4. Делай маленькие проекты, так называемые небольшие ставки, и смотри, что нравится и выстреливает.
5. Что-то выстрелит и укажет тебе на миссию: некоторое общее направление деятельности, которое приносит удовлетворение и смысл. Примеры из книги: объединять технологии и искусство, искоренять болезни определенного типа, просвещать общество по археологии.
Важен порядок: ты не можешь на пустом месте придумать себе миссию на всю жизнь и больше никогда ни в чем не сомневаться. Только находясь на самом острие какой-то сферы ты увидишь как сделать нечто исключительное. Сначала надо потрудиться, а потом уже думать о миссиях. Автор приводит несколько примеров людей, которые не имели изначальной миссии, но усердно работали и переходили от одной перспективной деятельности к другой, каждый раз используя накопленный ранее карьерный капитал. В конце концов они практически случайно сталкивались с нужным направлением и после этого вкладывались целиком. Обычно это был небольшой проект, который неожиданно выстрелил и понеслось.
Это меня успокаивает. Во-первых, большинство примеров из книги докатились до своей миссии сильно после тридцати, так что у меня ещё есть большой запас. Во-вторых, подход с маленькими ставками очень похож на то, что я делаю. Накапливаю карьерный капитал, систематически пробую новое и смотрю на отклик.
Очень хочется выбить гарантии. Как бы так пробовать, но чтобы точно получилось? Не хотелось бы сорок лет пробовать, а в итоге: “ну я пытался.” Сознание обожает заключать мысленные контракты с реальностью: “давай я буду десять лет ботать машинное обучение, а ты сделай меня великим ученым, по рукам?” Это же сознание потом обижается, что другая сторона не исполнила обязательство. Я ведь всё сделал, ну как так?
Это замаскированное желание найти легкий путь. Если бы я каким-то образом однозначно узнал, что, скажем, штамповать статьи про LLM это моё призвание в жизни, то легко вложил бы в это сорок лет упорного труда. Это был бы самый легкий путь, потому что не пришлось бы выбирать и жить с последствиями.
Но гарантий нет, контроля нет и за сорок лет может ничего не получиться. Можно только пытаться и разыграть свои карты наилучшим образом.
Кроме того, говоря в терминах книги, я далеко от острия какой-либо сферы. Если я не вижу миссии это не значит, что со мной что-то нетак. Просто с такой позиции миссий не видно. Хотелось бы заранее знать точку назначения и тогда я бы конечно о-го-го как быстро туда пошел. Но хотеть недостаточно и в целом бесполезно. Если точка находится где-то за холмом, я не увижу её как бы мне этого ни хотелось. Её надо сначала найти, а для этого надо пробовать. Мы видим только до своего тумана войны и для его преодоления нужна иная точка зрения. Нужно сменить фрейм, а для этого придется погружаться глубже в экспертизу и пробовать новое.
В конечном итоге вопрос не решен: что глобально делать со своей жизнью? Но теперь я понимаю, что это неправильный вопрос. Нельзя намедитировать себе окончательное понимание просто потому, что я этого хочется и у других людей оно есть. Мой процесс деятельности и поиска далеко не самый худший. Остается отпустить контроль. Погружаться, стараться, пробовать и не ждать никаких железных гарантий.
Часть 3/3, начало тут
Кто такая эта ваша миссия? Пример из реальной жизни.
Мой босс в Planet Farms более двадцати лет строит вертикальные фермы. Он может построить фабрику, рулить IT компанией, писать алгоритм оптимизации логистики на плюсах, поднимать деньги, продавать, и так далее, и всё это в один день. У него есть бизнес-видение на десять лет вперед, и есть мнение о том, что Flask лучше Django. У него счастливый брак и двое детей. Я ни разу не видел его раздраженным. Я спросил его: "Как ты не устаешь?" Он ответил: "Я люблю то, что я делаю". Я спросил его: "Почему ты не уедешь в Долину за бесконечными деньгами?" Он сказал: "Зачем мне это, чтобы купить машину подороже или дом побольше?" При этом он не занимает позицию “не буду вкалывать, а буду чиллить.” Пашет нон-стоп и играет на победу работая в стартапе с людьми, которым доверяет, и веря, что у компании хорошие шансы.
У человека миссия и это очень круто. Мне повезло знать нескольких сверстников, которые тоже нашли свою миссию и целенаправленно вкладывают усилия в карьерный капитал в своей области. В отличие от меня.
На этом фоне мне кажется, будто я что-то делаю не так. Попробую перечислить всё значимое, чем я занимался, и что из этого вышло:
- Разработка ПО и дженерик IT. Нормально выстрелило, быстро дошел до тимлида, карьерный капитал накапливается. На этом этапе, при достаточных усилиях, можно уйти в независимый консалтинг, внедрять хорошие практики разработки и всё такое.
- Аналитика продукта. Ненадолго перешел на эту позицию, научился крутить воронки и считать ретеншены, дальше не пошло. Опыт помогает в IT карьере.
- Машинное обучение. Нормально выстрелило, хорошо сочетается с разработкой.
- Наука. Очень интересно, но пока скорее не выстрелило. Пара слабых статей в магистратуре, одна шальная статья по прогнозированию COVID, несколько попыток сделать ML резерч в Yandex/Toloka. Пока на паузе.
- Преподавание. Вел семинары на трех курсах в ВШЭ, далее ОТУС. Нормально, хотя и не прям вау: помогает учиться, дает карьерный капитал, приносит немножко денег. Однажды мне оплатили перелет и отель, чтобы я прочитал лекцию в Иннополисе! На этом этапе можно делать свои курсы. При достаточных усилиях конечно же.
- Консалтинг. Что-то эпизодически получается. Два банка, одна госуха и одна небольшая компания заплатили мне за мои умные советы.
- Карьерные консультации. Хорошо получилось, приносит небольшие, но приятные деньги, сильно лучше преподавания. При желании можно делать карьерную школу или чем там занимаются коучи, которые превращают такое в бизнес. Желания пока нет.
- Организация мероприятий. Организовал и провел один хакатон, ещё пару мероприятий. Получалось средне, ничего не принесло.
- Пет-проекты. Несколько попыток, всё закопано, ничего не взлетело.
- Блоги и письмо. Телеграм канал скорее выстрелил, приносит немного денег, репутацию и просто доставляет удовольствие. Остальное пока не выстрелило.
Да, я тот ещё распылятор. Ввязывался в абсолютно любой движ начиная лет с восемнадцати. Отчасти из интереса, отчасти осознанно для накопления капитала, чтобы одни занятия помогали другим, но в основном из страха что-то упустить и из желания что-то доказать.
Смотрю на этот список и думаю: всё это очень интересно, но кто я (по жизни)? Многое нормально получается и за что-то даже готовы платить деньги. Всё без каких-то вау-достижений. Некоторые вещи можно перевести на другой уровень, сделать настоящий бизнес или карьеру. Надо лишь отказаться от остального и приложить на порядок больше усилий в конкретную точку.
Меня удивляет постоянство профессиональных комиков. Комик, который держит бар, где я выступал, ведет по пять шоу в неделю. Каждый раз он разогревает зал, импровизирует на ходу и делает всё это смешно. Я ещё ни разу не видел, чтобы ему не удалось рассмешить людей. То есть независимо от того, что у тебя происходит в жизни, расстался ли ты с девушкой или ушел в запой, тебе надо каждый день смешить людей.
Я подумал, что в IT на уровне начиная с senior похожая история. Независимо от того, что у меня происходит в жизни, каждый день я прихожу на работу и ничего не делаю.
https://x.com/xlr8harder/status/1799300740000919621/
🌚
https://d.erenrich.net/are-you-smarter-than-an-llm/index.html
Читать полностью…
https://mtlynch.io/i-sold-tinypilot/
Интересная статья про пет проекты. Автор ушел из Google, чтобы делать бутстрап стартапы. Два года он не зарабатывал ничего. Затем один проект взлетел так, что он не мог справиться со спросом и собрал команду из семи человек. Далее он продал свой бизнес и подсчитал, что за четыре года заработал $920k. То есть 230k в год. Скорее всего меньше чем его зарплата в Google. А если включить первые два года, то вообще 153k.
Суровые реалии
Как видите последние пару недель я не только пивотился в карьеру клоуна, но и делал полезный контент.
Если вам нравится когда я пишу что-то полезное (как этот гайд или методичка по поиску работы) то помогите мне завирусить этот труд!
Можно пересылать друзьям. Помимо этого можно лайкнуть и репостнуть линкдин пост, вдруг залетит.
Список вариантов будет пополняться 🙂