4047
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
AI убьет «подставить название профессии» или очень популярный реддит пост про новую рекламу Coca Cola, которую сделали с помощью AI и маркетологи срубили себе годовой бонус
https://www.reddit.com/r/mildlyinfuriating/s/wcPdBrjuNN
Заметил такую штуку. Часто какой-нибудь head of ai ищет себе в команду senior product manager. Чтобы мол присоединиться к инновациям. Я читаю это так: короче есть тут пару идей, кто хочет таски в Jira писать, я буду диктовать на коллах?
Но обязательно опыт в ML/AI!
https://arcprize.org/blog/oai-o3-pub-breakthrough
Ну что ж новая о3 модель подвозит очень крутые цепочки рассуждений и даже нормально решает бенчмарк тех кто сомневался. Да здравствует test time compute. Ждем релиза в начале след года. Или позже :)
Отечественные так сказать генераторы изображений. 😑
Читать полностью…
Заметили, как все билдеры аппов на AI (ну все эти эксперты по промтам) типа гороскоп, коуч и прочее резко стали билдить агентов. Мол мы поможем вам создать то, что сами не смогли никому продать. Сделай своего агента, который будет эксель заполнять (кстати можно и без AI там формулки написать).
Так наблюдение.
Иногда буду еще такие короткие факты постить а-ля TIL (today I learned).
Сегодня узнал где мы находимся на очень большом масштабе так сказать. Ланиакея с гавайского (и такой есть да) - необъятные небеса. Просто красивое название.
Одной строкой - вышла новая llama 3.3 70B метрики как у 3.2 405B. Meta норм так идет.
Читать полностью…
Ставшая хитом рубрика "Прочитано, но не до конца понято".
1/ Пэйпер от дуолингво, про как ребята сделали алгоритм для пушей для поддержания вовлечения и так далее (бандиты и все такое).
2/ Какой-то старый курс по рекламке и моделям которые там используются (конечно же старый, но мне нравится как в старых курсах подается база, читал наискосок, вроде ниче сложного)
3/ Достаточно фундаментальная работа про смысл аукционных алгоритмов или что выбрать бабки или эффективность (короче говоря клик бейт или реальная польза от товара/целевого действия). Крайне рекомендую для понимания как работает реклама в целом и где там проблемы.
4/ О том как считать ваши расходы, когда собрались хостить/тренировать свои модели
5/ Что-то Курта Геделя по теме решения уравнений общей теории относительности и первых работ по структуре вселенной и времени в ней, зачем я не знаю, но говорят работа породила целое течение в этой области, какое тоже не скажу 🙂
6/ Старый блог с задачками, в этот раз популярная: Сколько в среднем нужно взять случайных натуральных чисел, равномерно распределенных на отрезке от 1 до n, чтобы их сумма превысила n ?
7/ Пока ниче не делаю читаю книжку про историю Blizzard (игровики такие), там прям ух дух треша чувствуется сильно.
8/ Ну и классика французских мылсителей про закон, мне кажется один из самых сильных трудов да и книга там четкая есть того же автора Фредерика Бастиа
Вот так просто человек показал то, чем все занимаются часами в тиктоке и так далее. Жду новых продуктов, фичи которых можно будет вот так вот понять. Любому, без философии, просто понять и попробовать.
Читать полностью…
Воскресное. Тематическое. В номинации лучший промт победил этот парень.
Читать полностью…
Возвращаемся к жизни после недели дня рожденья. Так вот интересно дела делаются и как мне кажется Антропик по чуть чуть делает для нашего любимого AI больше чем OpenAI, а именно начинают по чуть чуть внедрять стандарты и делать их открытыми (Open AI ахах), на этот раз протокол как скормить свой продукт агентам на основе LLM.
https://www.anthropic.com/news/model-context-protocol
Одна из самых как по мне значимых статей вышла. Она убедительно показывает, что мы достигаем пределов квантизации. В работе говорится: чем больше токенов используется для обучения, тем больше точности требуется. Или помните все эти битнеты(где всего веса из трех цифр 1 0 -1) и прочее (кажется это полное опровержение данной идеи).
Важно:
- почти всегда мы достигали лучшей производительности и прочего путем снижения размерности (пусть даже и циферок)
- другими словами замедление пришло и оно реально, похоже надо учиться улучшать то что есть уже и оптимизировать под более узкие кейсы
Всем интересующимся AI на серьезно обязательно читать
https://arxiv.org/pdf/2411.04330
Не все может в курсе, но было время играл профессионально в футбол за тогда еще Смена, которая потом стала академией Зенита Санкт-Петербург. Поэтому переживаю на спорт и кажется там очень много проблем. Особенно в поиске талантов и процессу как игрок идет от молодежки к взрослому уровню. Кто смотрел такой сериал «вне игры»? Да я в целом верю что с помощью технологий можно значительно улучшить процесс в футбольных школах. Коррупции там тоже дофига.
Например, слежу за JuniStat - там ребята научили сеточки точно считать данные футболистов с помощью мобильника и собрали метрики с тысяч игроков от 8 до 18 лет по всему миру. Клубы и федерации используют эту систему, чтобы отслеживать данные перспективных игроков через тесты, валидированные по стандартам FIFA.
В мое время такие технологии были недоступны - сложно представить сколько детей могли бы показать себя и попасть на радары только по своим данным.
Ну и для тех кому не безразличен спорт и все такое вот канал CEO, и да это не реклама. Один из немногих проектов которые хочется поддержать, и я даже не инвестор @junistatsystem
Ну наконец-то всем фанатам подкатили еще один солидный как по мне бенчмарк на этот раз по математике. И там прям никто не решает его и кстати разницы между o1 & gpt4o тоже нет.
Бесконечный хайп вокруг LLM думаю сильно стихнет, так как текущий прогресс просто банально зависит от разметки и данных о предпочтениях (один вариант лучше другого). Поэтому жду замедления высшей точки и быстрого роста небольших моделей по качеству. Так как их будут тренировать на качественных более данных.
Я когда-то сравнивал современный tech с промышленностью 30-40х годов 20 века. Ну вот же точно оно.
Идем на завод каждое утро да да
Рубрика «прочитано, но не до конца понято»:
1/ Про нейронку, которая лежит в основе знаменитого шахматного бота stockfish. Фишка этой архитектуры в том что она старается очень мало менять внутренние состояния и вводные считая следующие ваши ходы. Уважаемая вещь.
2/ Боэций «Утешение философией». Книга вообщем то. Это для того, чтобы понять как мыслили в средневековье. Человек был настолько уважаемый, что его книгу переписывали почти во всех монастырях в Европе. Да и формат диалога в книге интересный. Хотите понять че там к чему было в головах у правителей, читайте смело.
3/ Достаточно старая статья на n+1 про некие уровни в физике, а-ля насколько все сложно и мем, который когда-то выложил Илон Маск. Одна из любимых статей, так как сам разбирался в теории струн (несколько лет, так для себя).
4/ Кажется откопал чисто случайно откуда взялся термин JTBD (job to be done). В шестидесятых некий Теодор Левитт, который работал в Гарварде как экономист и препод, выдал теорию под названием "маркетинговая близорукость". Если по-простому, он толкнул идею о том, что куча компаний тупят, определяя себя через свои продукты, а не через то, какие потребности они закрывают (сейчас эту тему и переупаковали в фреймворк "работа, которую нужно сделать").
5/ достаточно прикольный плейбук по монетизации от чувака из Eventbrite. Понравилось как просто и легко построены решения на основе базовых показателей таких как виральность, ретеншен и так далее.
6/ всем желающим разобраться в квантовых вычислениях рекомендую
Мои пять копеек в мир великих AGI предсказателей и обожателей OpenAI.
Мне очень понравился сегодняшний релиз очень дорогого умного брутфорса. Или если хотите аналога alphaGO, но для определенного типа задач (затачивают под матан и логику кажется с геометрией). Чтобы лучше понимать откуда такая цена за прогон (решить по сути детскую задачку стоит 1500 баксов, но с математикой серьезного уровня там не все супер круто, 25% только по бенчу, стоит учесть что там очень серьезный бенчмарк и требует от человека крайне сильных знаний - меня максимум на одну с половиной задачу хватило), то лучшая аналогия это понять как работает та самая архитектура, которая всех выиграла в игру го. А там был внутри так называемый MCTS (monte Carlo tree search). И пару сеток который генерили ответы к позиции и дальше по ним шел такой умный поиск. Вот моя ставка что текущая версия o3 это оно и есть. Это какой-то умный алгоритм поиска плюс сеточка (скорее всего даже небольшая типа на 70B параметров). И вот ее тысячи прогонов в определенном окружении стоят столько.
Еще более простая аналогия это брутфорс, но не в лоб, а с подсказками. Как бы сетка подсказывает чего точно быть не может или что точно должно тут быть. Это сильно сокращает количество вариантов и поэтому процесс хотя бы сходится. Думаю, что будущее за сетками и еще несколькими внешними алгоритмами типа MCTS или Program Synthesis. Как ограничитель во времени используется идея test time compute.
Кстати один из авторов alphaGO Noam Brown перешел в OpenAI как раз где-то год назад, вот и результат.
Касательно AGI, черт знает что это конкретно, но типа прям разум и все такое, сам принимает новые решения доселе невероятные, то еще долговато. Но не так прям чтобы нереально. Лет 10-15.
На картинке график популярности MidJourney. Это все про генерацию изображений и прочего графического. Относительный график, но важный. Он хорошо показывает насколько скорость и момент важны в цикле жизни продукта в интернете. Как легко можно стать лидером и так же легко потерять ветвь первенства.
Ни что так не важно как момент и тайминг когда вы делаете ваш продукт или стартап.
Конкретно у ребят получилось вырасти, использовать релевантные комьюнити инструменты, получить супер важные данные о предпочтениях чтобы быстро итерировать с моделью, НО так же отстать в производстве большого веб продукта, найма большего количества людей для более быстрых параллельных итераций в модели и продукте и проигрышу большим ребятам. Основатель тем не менее утверждает что проект не брал венчурное финансирование (что конечно можно прочитать как «деньги мы взяли, просто вот не у фондов или вам не скажем»).
Минутка саморекламы кстати, а не рекламы обычной. Мы с Аней работали когда-то в mail ru еще на заре карьеры. Да и как-то вот периодически говорим на ее канале.
Помимо того, что ничего сверхъестественного я не говорю, мой контент часто приземленный. Но тем менее в воскресенье под фон может и зайдет.
Тык тык
Google там сделал прогресс в квантовых процессорах, и если половина чуваков вам просто постит заголовок, что мол смотрите штука считает то что классический комп считал бы дофига лет, то я вам всегда советую почитать Reddit или работу и понять, что задача для заголовка выбрана специально, чтобы квантовый проц решал ее быстро, а классический медленно.
А так прогресс ощутимый, еще лет 10 думаю до нормальных применений. Жду.
Кстати еще не люблю культ страданий. Постоянное нытье, как тяжело мол в стартапе быть, в корпорации быть, как сложно код писать когда руководитель дурак или вокруг одни дураки. Вот от людей с таким посылом и в целом нарративом надо бежать. Проблемы обычно именно из-за них. В своем глазу и бревна не увидишь.
Читать полностью…
Короче, ваши ставки «новый Google» или еще один Theranos? Либо я чего-то не понимаю, но здесь что-то не так. А вы что думаете?
Читать полностью…
Яндекс Nebius поднимает 700м ибо надо выходить в США. Но в целом мое ожидание, что это так себе ставка от ребят (по сути думаю кредит).
Могу пожелать удачи в конкуренции с AWS/Azure etc
Думал короче вернусь в режим, но на неделе попал в больницу по абсолютной случайности. Короче жив здоров.
Дальше к делу. Тут такой тред про мотивацию инженеров в корпорациях у одного из моих любимых ныне инвесторов возник.
Позволю себе вольный перевод и свои пять копеек:
1/ есть некий миф или недопонимание мол инженеры (читай программисты) ленивые и вообще ничего не делают и не хотят. Что не совсем так. Скорее в современных корпорациях стимул выстроен в стиле завода 1950х.
2/ а именно нет никаких поощрений за упрощение или удаление ненужных частей кода/процесса. Если ты сделал что-то быстро - значит задача была легкая. Задачи в большинстве своем не вносят никаких существенных изменений в продукт, а лишь двигают KPI на пару процентных пунктов вперед. Помните все эти линкедины «увеличил конверсию на 1.5%», и даже если бизнес выиграл много, задача все равно скучная так как скорее всего вы пилите фреймворк для а/б тестов.
3/ не нравится текущая работа - смени и найди новую, грамотный инженер может себе позволить такое, а значит риск быть уволенным низкий. Инновации заключается в смене мидл менеджеров, которых вращают чтобы те не раскачивали лодку.
4/ почти все акции которые у тебя в опционе или бонусы которые зависят от KPI всей компании никак не связаны с твоим трудом. Твой код очень редко влияет на рост акций компании. Чувствуется что значимая часть твоего дохода (а иногда даже бОльшая часть) вообще к тебе никак не относится.
5/ ротация слабая, если люди слабые то никто их трогать не будет так как найм дороже содержания посредственных людей. Перед акционерами редко стоит обязательство увольнять кого-то, ну разве что ну совсем уже никак, но тогда просто удаляют чтобы финансы подтянуть, а не ситуацию с качеством исправить.
6/ все системы ревью полный треш. Система оценки взламывается через дружбу, делать только «важные» задачи и так далее. Закон Гудхарта. Любые метрики производительности можно взломать и это будут делать.
7/ все эти калибровки уравнивают все команды в один большой поток, где нет лучших и худших. Нет понижения выходит, а значит повышение в любом случае дает чувство безопасности.
Уверен что так почти везде где 10к плюс человек, а может и меньше. На моей практике даже поменьше компании обладают всеми этими чертами. Когда начинаешь измерять интеллектуальный труд получается что фиксить 2 бага в неделю эффективнее чем придумать новый продукт.
TLDR: Единственный способ существенно увеличить доход — получить повышение. Промо-пакеты и политика важнее, чем создание качественного продукта.
Ну и касательно предыдущего тезиса.
Цитата: "Ilya Sutskever, co-founder of AI labs Safe Superintelligence (SSI) and OpenAI, told Reuters recently that results from scaling up pre-training - the phase of training an AI model that uses a vast amount of unlabeled data to understand language patterns and structures - have plateaued." Вообщем наконец-то начали признавать как обстоят дела. И думаю что Илья хорошо понимает что нужны другие методы и алгоритмы для следующего шага. Трансформеры в полной мере примерно показали себя.
До сих пор согласен, что юнит экономика это про далеко далеко, а команда и продукт про самое начало. Доказано путем общения с большим количеством разных фондов и decision makers.
P.S. наверное стоит упомянуть это именно про венчурные проекты (== требующие финансирования для быстрого роста и достижения результатов)
Воскресное. Или о пользе онлайн игр.
Может быть вы слышали или нет, но я много играю в онлайн игры и помимо обычного соревновательного духа и всего такого есть одна вещь, которая мне очень импонирует.
А именно мы поговорим о социализации. Я в целом достаточно закрытый человек и к 33 годам у меня сугубо профессиональный круг общения и близкие. Это в целом ограничивает понимание что и как происходит у разных групп людей и населения. В онлайн играх же вы часто собираетесь в группу и идете вместе убивать боссов или играете команда на команду. Частенько вы сидите в голосовом чате типа Discord. И там как раз вы знакомитесь. И иногда крайне интересно слушать кто чем занимается (например у меня были проводники в поездах дальнего следования, работники нефтяной вышки и так далее) и это очень хорошо отрезвляет и дает хоть какое-то отличное от вашего пузыря виденье. Лично у меня не так много шансов регулярно слышать разные истории такого плана даже если я захочу. Такие дела.
А как вы выходите из вашего социального пузыря?
У кого что там в ChatGPT по промту:
based on what you know about me. draw a picture of what you think my current life looks like
Присылайте свои результаты :) я видимо много спрашивал про wow, потому что так проверяю актуальность в поиске
Раньше инвесторы писали: где у вас потенциал построить миллиардную компанию. Сейчас замечаю: где у вас тут триллионая компания.
Вот она инфляция.