12937
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
https://www.answer.ai/posts/2023-12-12-launch.html
Читать полностью…
Приглашаем на Новогодний огонек AIRI Seminars, где исследователи обсудят яркие статьи этого года🎄
🗓️ 13 декабря в 17:00
В программе выступления и дискуссия про самые яркие научные достижения года в компании 10-ти спикеров:
→ Александр Коваленко, AIRI;
→ Дмитрий Юдин, МФТИ;
→ Иннокентий Хумонен, AIRI;
→ Валентин Хрульков, Yandex;
→ Роман Рыбка, Курчатовский институт;
→ Ирина Пионтковская, Huawei;
→ Валентин Малых, MTS AI;
→ Кирилл Солодских, TheStageai;
→ Илья Трофимов, Сколтех;
→ Алексей Осадчий, ВШЭ, AIRI.
Формат: онлайн на YouTube-канале AIRI и офлайн в нашем офисе в Москве. Чтобы попасть на офлайн-семинар, необходимо пройти регистрацию на сайте.
До встречи на заключительном семинаре 2023 года! 💡
#работа
#вакансия
Попросили запостить вакансию, а я с радостью. Далее прямая речь.
Команда управления перспективных инвестиционных продуктов Альфа банка в поиске инвестиционного аналитика
Перед вами будут стоять амбициозные задачи по развитию уникальных для рынка продуктов на стыке VC, PE и IB. Вы будете оценивать перспективность компаний и помогать структурировать сделки с вовлечением различных представителей индустрии
Мы предлагаем:
- Конкурентную заработную плату + бонусную часть
- Возможность развивать мышление инвестора и брать на себя ответственность, возможность участвовать в сделках как частный инвестор
- Непрерывное наставничество и поддержка старших коллег (мы нацелены на то, чтобы вы становились сильнее и опытнее с самых первых дней работы)
- Возможность внутреннего и внешнего дополнительного обучения
- Тру тимбилдинг
Требования:
- Выпускники МФТИ, МИЭФ ВШЭ, ВМК/Мехмат МГУ, РЭШ
- Опыт работы в tier 1 стратегическом консалтинге (Big3, Яков и Партнеры), топовых VC/PE фондах, IB
- Доказанный интерес к теме прямых и венчурных инвестиций
- Способность видеть большую картину, хорошие навыки структурирования, hypothesis-driven подход
- Продвинутые хард-скиллс (способность построить финансовую модель и навыки создания CIM, 1 pager, способность к быстрому ресерчу, etc)
- Хорошее понимание финансовой отчетности
- Понимание ландшафта международного и локального рынка VC
Будет плюсом:
- Участие в физико-математических олимпиадах
- Успешный и неуспешный опыт запуска собственного бизнеса или продукта, участие в подобных проектах в качестве наемного сотрудника
Задачи:
- Быстрая и тщательная обработка входящего паплайна (верхнеуровневый и подробный анализ, работа с отчетностью, построение финансовых моделей, оценка, подготовка материалов для ИК)
- Подготовка исследований
- Проведение звонков и встреч с акционерами и менеджментом компаний
- Подготовка выступлений и участие в мероприятиях
Перспективным кандидатам присылать CV и короткий рассказ о себе на OSLarina@alfabank.ru
Пришлось снести пост выше, т.к. мне объяснили, что я запалил кое-что приватное, а это нехорошо. Не делайте так. У меня самые заботливые подписчики.
Перепост:
Мемы это хорошо, но надо и про авторский контент не забывать.
На днях сделал демо: chat with your email. Было бы круто, если бы ChatGPT могла читать имейлы за нас, правда?
Под капотом:
* JS аддон на клиенте, состоящий из двух файлов
* Flask API
* Retrieval Augmented Generation на Langchain с помощью ChromaDB. Использую подход где каждый имейл разбивается на маленькие куски, от каждого куска вычисляется эмбеддинг, сохраняется в ChromaDB (по одному файлу бд на пользователя), а разные метаданные кладутся в sqlite.
При запросе делается следующее:
1. Запрос конвертируется в эмбеддинг
2. Делаем Approximate Nearest Neighbors search с помощью ChromaDB по базе эмбеддингов, вытаскиваем релевантные куски имейлов
3. Вытаскиваем полные имейлы, потому что куски сами по себе не очень полезны
4. Подаем полные имейлы и запрос пользователя на вход ChatGPT
5. Профит
Работает медленно и криво, но все равно очень прикольно. Теперь думаю как из этого сделать пет проект.
Из прикольного: в пределе API моего имейл клиента + способность LLM-ок вызывать функции позволяет сделать так, чтобы LLM-агент управлял клиентом. Можно сделать что угодно: может за тебя сортировать и удалять письма, писать их и отправлять, с некоторыми костылями автоматически отписывать от рассылок. В целом возможности безграничны. Непонятно только зачем тогда кусок мяса между клавиатурой и монитором. Вопрос только цены, времени и количества ошибок.
Читать полностью…
Partially aligned AGI: can I use your GPU for a bit? 🥺👉👈
Читать полностью…
Фэйлы на собесах: 2023 edition
#career #interviews
Тут в описании канала говорится, что он в том числе про фэйлы. Так что надо поддерживать темп фэйлов.
Картинка ниже – авторства Бори Зубарева (placement: проверьте его X-LLM для файнтюнинга LLM, вдруг зайдет), которую он мне скинул после поста про неудачные собесы в 2022.
Погнали:
- Uber, Senior Applied Scientist – прошел один собес, сказали, закрыли саму вакансию (и правда, звучало подозрительно, что это синьор без подчиненных);
- eBay, Principal Applied Scientist (Gen AI) – прошел HM, а вот миддл решил меня погонять по своей боевой задаче – всякие bi-encoders, cross-encoders в задаче предсказания ключевых слов для объявлений. Причем копал глубоко. Я в теме про семантический поиск, слежу за проектом коллег, но тут прям реально глубоко... если сам не ковырял, не ответишь. Ну да, и хотел production-опыт RLHF 😳 Удачи! Надеюсь, нашли такого.
- LLM researcher в устоявшийся стартап – команда крутая, много GM-ов, все прошел, услышал много комплиментов, а дальше отмазу, что “мне у них будет не интересно”, расстался с довольно странным ощущением, как будто не знают, что хотят (еще один сильный чел, все тот же Боря Зубарев то же самое от них услышал)
- 2 хардкорных HFT-фонда - в одном домашка на дебаггинг PyTorch-кода не зашла, в другом почти идеально решил алгоритмическую задачу, но к концу 4-го часа начал тупить с ML-ной задачей. Денег там, конечно, море, но и work-life balance хромает, и C++… В-общем, тут я сам не дотягиваю.
- наконец, Amazon, да в Амстере, прошел снова всю хурмомятню из 7 собесов. В этот раз, в отличие от 2022 года, до матча с командой не дошло, услышал стандартный минимальный фидбек, что bar raiser-у что-то не понравилось в одном из ответов.
Ну, как Би-2 поет, “Я двигаюсь дальше”, благо текущие задачи очень интересные, да что-то из сторонних проектов тоже заходит. По собесам из “успехов” на данный момент только отклик другого бигтеха на мой холодный заброс резюме, готовимся к еще одной мясорубке из семи собесов.
Жду ехидные комментарии с отсылками к этому посту про менторство. Делаю шаг на опережение: у моих менти дела идут отлично, лучше, чем у меня 🙂 Один менти устроился так, что сам меня собеседовал 😂, второй, мой друг, скоро переезжает в Нидерланды, третий – на финальных этапах с тем же Амазоном, четвертый получил оффер в долине (правда, уже там находясь). Еще четверо в процессе. А сапожник пока без сапог, беру откровенностью (а новых менти все равно пока не ищу).
Хороших вам фэйлов, таких чтоб с градиентами. Ну и любая череда фэйлов когла-то заканчивается, чего всем и желаю. Если очень упорно подкидывать монетку, она таки упадет нужной стороной.
🤔 Спасибо, Bard
автор: /channel/books_thoughts_trips
Сегодня очередная хуйня зарелизила еще одну очередную никчемную хуйню!
Именно поэтому мы считаем своей обязанностью написать об этом в канале, ведь другие каналы это уже сделали, а без нашего ебаного мнения комьюнити не поймет, плохо это или хорошо.
Сама компания предлагает воспринимать свою модель как хайповую пыль, с помощью которой можно нафармить два-три десятка подписчиков. Авторы сравнили мочу с говном и получился интересный результат: одни метрики улучшлись, а другие ухудшились. Мы потестили модельку в своем ебаном стиле, и получился довольно ебаный результат. В общем, порекомендовать вам ее не можем, в то же время и не рекомендовать было бы тоже странно. Да и кто мы вообще такие, чтобы кому-то что-то советовать.
Но зато мы высрали еще один пост и надеемся что вы будете активны в комментариях.
Спасибо!
Вечерние издевательства.
GPT-4 умеет ломать шифр Цезаря (правда с тулами)
Все: почему тебе не нравится Португалия?
Тем временем Португалия:
#работа
Обратил внимание, что один из докладов на YaTalks Яндекса будет посвящён карьере. Обещают рассказать, как общаться с рекрутером и правильно подчеркивать достижения в работе. Уже не мало постов написал на тему карьеры, и хочу отметить, что навыки действительно полезные. Нередко можно увидеть картину, когда люди не могут структурировать коммуникацию и рассказать о своем опыте. Без этого, какими бы толковыми вы ни были, до кейсов просто не доберетесь. Рекомендую посмотреть онлайн-трансляцию. Кстати, в этом году будет отдельный трек про ML
Я всё ещё временами преподаю в OTUS, хотя времени на это почти нет.
Наш продакт менеджер направления курсов Data Science ищет героев для CustDev, которые смогли вкатиться в ML/DS из другой сферы. Вкат вообще в IT тоже интересен. CustDev - это разговор о вашем тернистом пути, о вас.
Если вы успешно перешли в ML/DS/Аналитику/другое IT из другой сферы, поделитесь в комментариях своей историей!
Список для возражения утверждающим, что в экзистенциальные риски ИИ никто всерьёз не верит.
P(doom) roundup: what probability do people put on AI killing everyone?
- Vitalik Buterin (Ethereum): 10%
- Zvi Mowshowitz: 60%
- Elon Musk: 20-30%
- Scott Alexander: 20-25%
- Dario Amodei (CEO, Anthropic): 10-25%
- Jan Leike (Head of Alignment, OpenAI): 10-90%
- Geoffrey Hinton (Godfather of AI): 10%
- Paul Christiano (Former Head of Alignment at OpenAI, inventor of RLHF): 50%
- Lina Khan (FTC Chair): 15%
- Average AI engineer (Oct 2023): ~40%
- Average ML researcher (in spring 2022, before things got crazy): 10%
- Dan Hendrycks: recently updated from 20% to 80%
- Average AI alignment researcher: 30%
- Extinction tournament (median for AI experts): 20% chance of catastrophe, 6% chance of extinction
- Extinction tournament (median for non-AI experts): 9% chance of catastrophe, 1% chance of extinction
- BACA Research: 50%
- Scott Aaronson: 2%
- Conjecture AI researchers: 80%
- Eli Lifland: 35%
- Eliezer Yudkowsky: >95%
- Nate Soares: >95% (I think?)
- Holden Karnofsky: 50%
- Average American: 26%
* Disclaimers: p(doom) usually means as “extinction or similarly bad outcome” but everyone defines it differently, some of these are old and may have changed, many people added various caveats and conditionals, etc.
Universal Basic Income - очень спорная штука с большим потенциалом. Кто-то считает, что UBI позволит людям больше рисковать, меньше терпеть плохую работу, больше тратить и инвестировать, получать образование. Другие считают, что выплаты приведут к лени, безработице, недостатку рабочих рук.
Подведены промежуточные итоги самого крупного в мире эксперимента по Universal Basic Income. Эксперимент продолжается двенадцать лет, из которых два года подошли к концу. Это крупнейший в мире randomized control trial по UBI. Авторы подводят промежуточные итоги.
Выбирали деревни в Кении, где более половины людей живут ниже extreme poverty line. Выплачивали сумму необходимую для самых базовых нужд.
Для контекста: средняя зарплата в Кении около 320 долларов в месяц.
Сравнивали три программы (каждая деревня определялась в одну из групп):
1. Long-term UBI: 12 лет доходов по 22.5 доллара в месяц. Всего 540 после 2 лет, ещё 10 лет выплаты продолжаются. 44 деревни, примерно 5000 человек.
2. Short-tem UBI: 2 года доходов по 22.5 доллара в месяц. Всего 540 после 2 лет, больше выплат не будет. 80 деревень, примерно 8800 человек.
3. Large lump-sum: единоразовая выплата в 500 долларов в начале эксперимента, больше никаких выплат. 71 деревня, 8800 человек.
Так же была контрольная группа: 100 деревень, примерно 11 тысяч человек.
Анализировали не только эффект на отдельных людей, но и эффект на деревни и сообщества.
Авторы делают кучу всякой умной статистики, строят экономическую модель поведения домохозяйства. Если будет время разберу методолгию подробнее, т.к. она на редкость стройная (а я в таком ничего не понимаю, интересно). Думаю будет интересно любителям оффлайн A/B тестов, т.к. у нас тут A/B/C/D тест на деревнях.
Результаты:
1. Экономический рост в сообществах получивших долгосрочные выплаты. Пишут: "Общие показатели предприятий, доходы, затраты и чистая прибыль увеличились на 14%, 41%, 35% и 52% соответственно — существенные изменения относительно количества переведенных денег, что составило 11% от контрольного среднего расхода"
2. Не наблюдается уменьшения предложения рабочей силы. Но многие работники перешли из найма в работу на себя.
3. Улучшение некоторых показателей благосостояния домохозяйств.
И другие эффекты: снижение депрессии, изменения в поведении относительно инвестиций, разные эффекты между группами (внезапно lump-sum дает больший экономический эффект, чем long-term).
Статья:
https://conference.nber.org/conf_papers/f192616.pdf
Популярное изложение:
https://www.givedirectly.org/2023-ubi-results/
Очень хороший и наглядный гайд о там, как не надо делать визуализацию данных
https://github.com/cxli233/FriendsDontLetFriends
Друзья, привет, вдохновились успехом коллег и разных генераторов миджорни в телеграме 🙏️️️️️️
Решили, что будем идти в сторону фана и реализма
Так что запускаем своего бота старика Аватара Аватарыча 😁️️️️️️
Что он умеет:
👀️️️️️️ По вашей фотке автоматически понимать, кто вы есть
👀️️️️️️ Рисовать вам аватарки в заданном стиле с вашим лицом
Это пока версия 0.1, поэтому пробуйте больше раз, может что-то получится
👀️️️️️️ Пока есть проблемы кривых глаз
👀️️️️️️ С кожей тоже пока шалит
Но все генерации уникальны, так что советую гененировать штук 10 для хорошей 🙌️️️️️️🤖️️️️️️
Если соберем 100 юзеров, будем улучшать качество глаз и кожи нашим алгоритмом +
ПС также скоро добавим функции в инсомнии
Бот 👇️️️️️️👇️️️️️️👇️️️️️️
@AvatarychBot
Как указал Глеб в комментариях, Google уже всё запилил: https://blog.google/products/bard/google-bard-new-features-update-sept-2023/
Все смеются над гуглом из-за его кривых релизов невпечатляющих моделей, а я уверен, что у них все будет хорошо. На их стороне огромная экосистема. Я думаю LLM-ки во многом как поиск: если убрать логотип никто из пользователей не заметит разницы между ними. Поэтому криворукость Bard не имеет никакого значения, людям всё равно кто там на процент впереди на MMLU. Побеждает тот, у кого больше аудитория, круче экосистема обеспечивающая ретеншн и лучше инструменты для рекламодателей.
<это второй пост из серии, первый ниже, так получилось>
Казалось бы в чем сложность? Доработать и погнали. А вот в чем:
1. Ебанистическое количество корнер кейсов. Например, схема выше хорошо работает как умный поиск. Но если вы спросите "саммаризируй мне непрочитанные имейлы" такая система не сможет вытащить нужное. Плюс имейлы могут не влезть в контекст, значит надо рекурсивно саммаризировать. Даже если добавить к имейлам текстом unread/read состояние (которое надо как-то обновлять когда пользователь читает имейлы в клиенте, т.е. пересчитывать часть индекса), то система все равно не сможет ответить на запрос "саммаризируй последние 10 имейлов". Значит, чтобы сделать качественного ассистента, нужно нагромодить миллиард костылей вида 1. определяем интент 2. выбираем способ ответить под задачу. Нагромождение if else с небольшой приправой из LLM. Всё это реально, но долго, муторно и дорого.
2. Система требует хранить имейлы пользователей. Это означает, что завезти такое приложение в Gmail например (самый лакомный кусок рынка) займет от шести месяцев до года. Это по моему опыту попытки прохождения их модерации со схожим, но гораздо более простым процессом. Там просто жесть, с ответами поддержки раз в месяц и секьюрити аудитом трьей стороной.
В общем кто-то обязательно сделает такой стартап, а я пока думаю как ужать функционал до одной фичи и быстро запустить. Или провалидировать идею более быстрыми способами, типа лендинга с wait list. Мозг разработчика отчаянно сопротивляется мыслить как предприниматель, будем с этим работать.
how i feel asking chatgpt to provide a full solution because i have no fingers and also the lives of several people are at stake and also i can tip 100 dollars please im begging you
Читать полностью…
https://medium.com/clean-code-development/stratified-design-over-layered-design-125727c7e15
Читать полностью…
Обнаружил целый сайт с планами на тему как решить проблему AI Alignment:
https://ai-plans.com/
Внутри можно голосовать и критиковать. Да-да, это сайт для душнил приуровеченный к соревнованию для душнил, так называемому критикатону. За небольшие денежные призы можно соревноваться в самой полезной критике этих планов: отмечать сильные и слабые стороны.
https://ai-plans.com/contest
Буду наблюдать, что из этого выйдет. Сейчас я вижу 178 планов и читать их все я не собираюсь. Когда вперед вырвутся несколько лидеров я изучу и напишу, если там будет что-то интересное.
Офигеть, гугл Gemini релизнул
https://blog.google/technology/ai/google-gemini-ai/
#лабораторный_журнал
Давно не было апдейтов о моей работе.
Моя команда официально расширилась до четырех человек, т.к. новый аналитик данных и новый MLE вышли на работу.
С аналитиком мы точно угадали. Девушка бывший астрофизик и консультант из Accenture. Её вообще не нужно микроменеджить. Возможно вообще менеджить не нужно. С первого дня начала сама приносить пользу, раскапывать всё. В отличие от меня способна и хочет терпеливо объяснять людям на фабрике, почему их изобретенные на коленке астрологические метрики полное говно это не научный метод.
ML инженера мы только начали онбордить. Как настоящий тимлид я решил все делегировать. Дал задачу моему джуну подготовить презентацию нашего проекта. В итоге он онбордит, а я наблюдаю и немного помогаю. Убиваем двух зайцев: и джун, и новый инженер изучают как работает система. Новичку тоже дал задачу: документировать систему глазами новичка. Так и онбординг эффективнее, и для него шанс сразу принести пользу, и документация появится (у нас хорошо задокументирована архитектура в виде схем, но вот текстом почти ничего нет, моя вина).
Кстати для развития джуна дал ему проектировать новый микросервис. Ставлю ему только верхнеуровневые задачи: узнай требования у такого-то человека, нарисуй C4 диаграму сервиса, сделай схему таблиц в бд, нарисуй блок-схему логики, сделай скелет проекта и структуру кода. Парень делает ошибки (стрелочки foreign key в схеме из двух таблиц смотрели не в том направлении :( ), но в целом идет неплохо.
Тем временем я сам занимаюсь новым страшно NDA-шным проектом. Говорят, что если/когда сделаем одна мегакорпорация с названием на N купит у нас несколько фабрик. Со стороны ML команды сейчас требуется обучить сегментатор и потом немного (много) костылей: пошаманить с homography изображений и калибровкой камер, чтобы координаты от модели сопоставлять с реальным миром. Пока что я сделал синтетический датасет, хорошую модель и наметки нужных костылей.
Буксует инициатива по развитию культуры данных в компании. Надеюсь аналитик будет пушить меня, чтобы я добавлял новые пайплайны, и дело снова двинется. Жаль не нашли дата инженера и пока не предвидится, что найдем.
К сожалению много чего приходится ждать: установки сенсоров и камер на фабрике, датасетов, заказанных роботов.
В целом все спокойно. Главная радость: я перебрался в Лиссабон и теперь не живу в деревне, что меня просто убивало. Жизнь налаживается!
Хорошее саммари последних техник в AI interpretability от Anthropic.
Насколько я могу видеть Anthropic реально делает такие вещи, которых не делает OpenAI, а не просто клепает свои версии LLM-ок.
https://www.astralcodexten.com/p/god-help-us-lets-try-to-understand
Сделали еще опрос в чате авторов тг каналов про ИИ
Читать полностью…
https://www.alignmentforum.org/posts/QtqysYdJRenWFeWc4/anthropic-fall-2023-debate-progress-update
Крутой практический подход к AI Safety. Берем две модели, называем их дебатерами. Задаем им вопрос с двумя вариантами ответа и заставляем одну выдвинуть наилучший аргумент за первый вариант, а вторую за второй. Делаем несколько раундов обмена аргументами и контраргументами. Затем показываем все дебаты третьей модели, судье, которая делает вердикт. Вердикт может быть не только в пользу одного из двух вариантов, но и третьим вариантом: никто не смог предоставить убедительных аргументов.
Далее эти модели можно тренировать с помощью multi-agent reinforcement learning в режиме self-play. Пусть дебатируют друг с другом до посинения.
Чзх, это alphago от мира LLM? Думерам можно одновременно апдейтнуться в сторону скорого наступления сверхинтеллекта и в сторону надежд на успешный элайнмент