9604
Мои мысли про стартапы и продукты. Байрам Аннаков, фаундер and CEO onsa.ai - автоматизация B2B продаж Мой YouTube: https://www.youtube.com/BaykaAnnakov Мой LinkedIn: https://linkedin.com/in/bayramannakov
Answer Engine Optimization
В субботу на фаундер школе у нас была в гостях моя друг и предприниматель - Наташа Шагарина - и она высказала мысль, что при смене технологической парадигмы обычно меняется и система дистрибуции (smartphone —> mobile ads). Уже некоторое время я слышу про оптимизацию своих продуктов под chatgpt-подобные сервисы и тут узнал, что этому уже дали термин - Answer Engine Optimization.
Основная идея: контент на странице своего продукта выдавать в виде, оптимальном для LLM: вопрос-ответ, llmstxt и тп. Делюсь Deep Research от chatGPT и Gemini для интересующихся
Кстати, стало интересно: кто-то из вас уже делает это? какие результаты - например, доля трафика с assistant-ов?
1 Daily Deep Research
Попросил chatgpt каждый день мне советовать 1 идею, какой топик глубоко поресерчить с ее помощью для роста onsa.ai. Лучше любой книги и подкаста, если честно.
Рекомендую! Все больше считаю, что chatgpt не хватает проактивности. Ну или слишком дорого это. Как раз с друзьями вчера обсуждали аналогию web 1 vs web 2 и AI эволюцию: что сначала (web1) все было больше про поиск и чтение. Такой pull формат. А потом ушло в user-generated интернет и пуш (email рассылки). Вот интересно даже как будет в этом случае
Выложил отрывок с 1й лекции курса, который стартовал: он как раз по мотивам этого поста
Надеюсь, будет полезно вам! До 2й встречи, которая будет 13 апреля, можно присоединиться к курсу
https://youtu.be/Pds4xcCpUq8
Я несколько раз упоминал dwarkeshpatel?si=4EwV9WEHZo2sVPtU">Дваркеша и его подкасты. Он написал классную книгу про LLM по мотивам своих интервью - проглотил ее просто! Купить можно уже электронную версию или ждать до июля печатной
Как я написал своему другу после прочтения:
«просто купи эту книгу»
Как работать с недоверием технологии
Зачастую у компаний побольше нет доверия к новым технологиям: они галлюционируют, ошибаются, не умеют складывать и считать колво букв r в strawberry, и тп. И мы, стартаперы, пытаемся их убедить: кто-то дает ее бесплатно (не делайте так!), кто-то за moneyback guarantee, кто-то - пытается убедить/надавить/продавить.
Для меня неустойчивость LLM чаще напоминает человека: мы тоже иногда галлюционируем, ошибаемся и тп. Как мы решаем это недоверие?
- Human in the loop - ставим контролирующего на проверку результатов работы сотрудника
- Процессы - ставим процессы/чеклисты на проверку и напоминание сотруднику, пытаемся не позволить ему сделать ошибку
- Страхуем - передаем риски третьей стороне
В случае LLM имхо все так же: паттерны для 1 и 2, но вероятно самый непроработанный пока - лишь третий путь. Я начинаю экспериментировать с ним: предлагать неустойку за ошибку. Эдакой SLA agreement, но чуть глубже - посмотрим что выйдет.
А вы как страховали или страхуете риски и, соответственно, недоверие?
P.S. Про 1 и 2 подробно на курсе AI Product Engineer, стартующем в это воскресенье: посмотрим как паттерны, так и как их реализовывать для своих систем
Если вы используете Hubspot, то нужна ваша помощь, пожалуйста
Мы сделали приложение для Hubspot, которое на текущий момент уже дает детальную инфу по любому контакту (см. пример в аттаче) из публичных источников, но дальше будет больше. Это удобно и для подготовки к звонку с человеком, и просто для более полного понимания что происходит с ним и с его компанией
Не могли бы вы плиз проделать инструкцию и поставить наш апп? Нам это нужно, чтобы пройти ревью приложения в hubspot store
Заранее спасибо большое!
Похожая мысль понравилась из интервью фаундера Harvey:
2 критерия для выбора индустрии для автоматизации при помощи LLMЧитать полностью…
1) результат деятельности - текстовый? Тут понятно + я думаю, что это было актуально 2 года назад, но сейчас смело можно добавить аудио и картинки, через год-два наверное и видео
2) сколько стоит токен? Типа в корпоративной юриспруденции это очень дорого, например SPA (соглашение о покупке акций) может быть меньше 100 страниц текста, а стоить минимум сотни тысяч долларов
fyi - у нас будет стрим с Даней и Женей про LinkedIn, присоединяйтесь
Читать полностью…
Как выбрать между жестким алгоритмом и LLM?
Продолжая этот пост про (не)детерминированность я попробовал набросать правила для принятия решения о том, когда юзать конкретный алгоритм, а когда лучше отдать решение LLM - получилось следующее:
1. Для начала надо определиться с тем, что я подразумеваю под каждым понятием:
- детерминированные системы - основаны на жетских правилах, производят один и тот же результат для одних и тех же входных данных. Стабильны, но "жёсткие".
- вероятностые (недетерминированные) системы - учатся на данных, делают статистические "выводы", непостоянные в выходных данных при тех же входных.
2. Критерии для выбора:
- Степень открытости проблемы - насколько хорошо мы можем описать проблему, треюущую одной из 2х систем для ее решения? Насколько неоднозначна проблема?
- Достаточность данных - есть ли достаточно данных (количество и качество) для построения системы, обучающейся на данных?
- Толерантность к ошибке - можем ли мы позволить себе неопределенность в результатах? Можем ли мы застраховать эту неопределенность?
- Стабильность проблемы или окружения, для которой решается проблема
- Нужна ли нам "обьясняемость" решения - то есть, чтобы мы могли обьяснить, как именно мы превратили входные данные в выходной результат?
- Ограничения по времени и иным ресурсам - обычно детерминированные системы требуют значительном еньше ресурсов
- "Оппортунистическое" поведение - действует ли против нас адаптивная система, которая постоянно меняет входные данные, чтобы "сломать" нас?
- Нужно ли для решения проблемы "общее знание" (common sense) или решение ограничено малым количеством возможных ответов?
Список неполный - буду рад за фидбек как по текущим критериям (важный или неважный, может нужно докрутить), так и по нехватающим.
P.S. Об этом, кстати, будем говорить на курсе, стартующем в следующие выходные
AI компании
Помните этот слайд из моей прошлогодней лекции? у Дваркеша вышло интересное эссе с рассуждениями о том, как будет выглядеть AI компания.
И, хотя мне кажется, что он все равно размышляет в терминах квадранта "automation" (turn capital to compute to talent) мне особо нравится несколько поинтов:
1) Про снижение трансакционных издержек и челлендж фундаментальных принципов, на которых основана теория фирмы, или проблема принципала-агента, или экспоненциальный рост затрат на коммуникацию
2) фреймворк, в котором он написал статью (copy, merge, scale, distill, evolve) напомнил мне лекции из Singularity University, когда мы говорили о преимуществах digital над analog (нулевые затраты на чтение, запись, передачу; возможность рекомбинировать и предрасположенность к алгоритмизации/оптимизации, моделированию и симуляции)
P.S. Присоединяйтесь порассуждать и об этом в экспериментальном курсе про ai product engineer
Feel —> Think —> Act
Делал на днях очередной доклад про прогресс genai и предложил такой фреймворк для того, чтобы следить за ключевыми изменениями:
1) Feel - как при помощи AI компьютеры все лучше видят и слышат (а далее, я думаю, и другие органы чувств)
2) Think - как компьютеры учатся думать (фреймворк fast & slow thinking Каннемана)
3) Act - как компьютеры учатся действовать онлайн (computer/browser use) и оффлайн (роботы)
Мне кажется, удобная система чтобы собирать ключевые события/прорывы - м?
А вот и обьяснение про эту ситуацию (отказ от Salesforce и не только) от фаундера и CEO Klarna.
Вкратце:
1) они хотели унифицировать данные в одном месте: разбросанность данных по разным SaaS значительно усложняла получение полезных инсайтов при помощи AI и повышения производительности. Data = knowledge
2) они построили свой стек (neo4j!)
3) и случайно на одном из звонков он проговорился, запись утекла в прессу.
Key to our explorations became the conclusion that the utilization of SaaS to store all forms of knowledge of what Klarna is, why it exists (docs), what it tries to accomplish (slides, tickets, kanban boards), how it is doing (sheets, analytics), who is it dealing with (CRM, supplier management), who works here (ERP, HR) and what it has learnt was fragmented over these SaaS—most of them having their own ideas and concepts and creating an unnavigable web of knowledge that required a tremendous amount of Klarna specific expertise to operate and utilize.Читать полностью…
We also recognized that enterprise software has a standard set of features that are vital for it to operate—features such as audit, versioning, access and edit management, and similar universal needs. We need them as well, but that fragmentation again adds friction, admin overhead, and more.
So, we decided to start consolidating; to put things together, connect our knowledge, and remove the silos. The side consequence of this was the liquidation of SaaS—not all of them, but a lot of them. And not for the license fees, even though those savings have been nice, but for the unification and standardisation of our knowledge and data.
So no, we did not replace SaaS with an LLM, and storing CRM data in an LLM would have its limitations. But we developed an internal tech stack, using Neo4j and other things, to start bringing data=knowledge together.
Ultimately, we found this very interesting, but more importantly starting seeing serious productivity gains. We allowed our internal AI to use this knowledge, and we realised with the help of @cursor_ai we could quickly deploy new interfaces and interactions with it.
Иногда для подготовки презентаций или докладов очень нужны последние бенчмарки и диаграммы про LLM - пожалуй, один из лучших источников - вот этот Twitter аккаунт "Artificial Analysis"
Просто зашерю пару последних диаграмм для иллюстрации
в consumer поиске и в social сработал "winner takes all" паттерн, хотя сначала было много игроков
Картинка из свежего BGsquared подкаста
произойдет ли такое же в consumer AI assistant? Я считаю, что да и это будет именно openai в западном мире, а вы?
P.S. замерим через 5 лет
Утро вечера мудренее
Один совет себе молодому руководителю: не принимать решения здесь и сейчас, если есть такая возможность.
Я много грешил этим. Увольнял в моменте. Говорил правду в лицо. Увольнялся.
Но сейчас, постоянно узнавая, насколько контекст, физическое состояние, окружение влияют на нас в моменте я понимаю, что ты не имеешь право не отложить решение, если ситуация позволяет.
Я думал, что это слабость - не принимать решение сразу. Думал, что потеряю себя, предам свои ценности.
Но сейчас вполне уверенно могу сказать, что это все вздор.
Если есть возможность отложить решение - отложите. Выведите себя в другое состояние, в другой контекст, и взгляните вновь на ситуацию.
Не спешите жить!
Ваш капитан очевидность
10 инстинктов Рослинга
Иногда возвращаюсь к этой методичке величайшего Ханса Рослинга про наши ошибки суждения.
Вы наверное его помните: такой «чокнутый» профессор, который всему миру показал наши заблуждения про «развивающиеся» страны. Эта методичка учит, как тренировать свой процесс размышления не делать ошибки обобщения, экстраполяции, суждения в изоляции, неучета медленных изменений и тп.
Даже зная эту методичку, ваш покорный слуга все равно грешит ими. Поэтому не будьте как я, почитайте его.
Найдите время сегодня, пересмотрите, и примерьте к любому тексту. Хотя бы к этому посту! :-)
И расскажите в комментариях, что у вас получится
AI 2027: от "спотыкающихся" агентов к ASI
Очень прикольный проект сегодня запустили: де-факто это сценарий прогресса AI в ближайшие 3 года с 2025 по 2027. Это не просто science fiction, выводы и сценарии отталкиваются от глубокого ресерча, но все равно это размышления о будущем (как в классическом сценарном планировании). Причем в конце ресерча можно выбрать свой вариант развития событий и посмотреть, что в таком случае произойдет. Я, разумеется, почитал оба сценария, изначально выбрав Race :)
Итак, что же нас ждет?
1) лето 2025 - "спотыкающиеся агенты": в теории работают как или даже лучше людей, пишут код как не в себя, ресерчат интернет обо всем для людей. Но на практике они спотыкаются: ненадежны, дОроги. Но некоторые компании-таки встраивают их в рабочие процессы.
2) конец 2025 - условная компания OpenBrain (любая из топ компаний мира сейчас) строит самый большой датацентр в мире, другие - следуют за ней. Ключевая задача - ускорить AI ресерч (помните, встречу по GenAI, когда мы разбирали отчет Situational Awareness?).
3) лето 2026 - Китай. DeepCent (хорошая пародия на Tencent и DeepSeek) добивается успехов даже с экспортными ограничениями на чипы, отстает от OpenBrain месяцев на 6. Национализируется и централизируется весь AI ресерч, ну и шпионы не бамбук курят, а пытаются своровать веса у OpenBrain.
4) конец 2026 - AI отбирает работу у джуниор разработчиков, но спрос огромен на тех, кто умеет менеджить и контролировать качество AI команд (как раз про это мы на курсе говорим). Ну и протесты анти-AI-щиков в Washington DC.
Далее читайте сами :)
Я люблю сценарии, потому что они рассказывают яркие истории, которые делают ресерч доступным, "двигают" людей к действию в доступном и понятном нарративе. Поэтому настоятельно порекомендую почитать и потыкать!
Как заработать триллион
Нет, меня не взломали :-)
Разбираемся: или рынки сильно недооценивают ИИ, или можно заработать триллион. Такой вывод делается в статье “Artificial General Intelligence & Efficient Market Hypothesis”.
Вкратце мысль достаточно проста: текущие долгосрочные процентные ставки будто совсем не верят в трансформационную силу ИИ, как в позитивном (бешеный рост экономики), так и в катастрофическом сценарии (мы все умрем). Слишком умеренные. Поэтому можно сыграть на рынке.
Вообще, об этом парадоксе говорят уже некоторое время. Конечно, никто и не верит, что Мистер Рынок всегда прав, было много случаев, когда он ошибался. Хотя в случае долгосрочных процентных ставок и экономического роста обычно нет, судя по графикам и доказательствам авторов статьи.
А вы как считаете?
История DoorDash
Очень понравился эпизод подкаста YC с фаундером DoorDash Тони Ху:
1) как они наблюдали за работой ресторана - прямо ходили весь день за человеком - и увидели книгу "отказанных" заказов и не могли понять, как это так? —> эмпатическое проектирование
2) как сами доставляли товары и это позволяло лучше понять клиентов - мамы с детьми —> do things that dont scale
3) про создание рынка (дать доставку ресторанам, у которых ее нет) vs обслуживание текущего (рестораны с доставкой) —> моя ошибка с RuBeacon, имхо
4) про 3 задачи маркетплейса и как они решали их
5) про "listen to the customer, then run a test" и аналитику - вместо центров городов уход в пригороды и инсайт, что доставка нужна там, где рядом нет ресторанов
6) про сложности с фандрейзом и как 2 раза почти не вышли из бизнеса, про "all you need is one investor to say yes"
7) про органический рост и скейлинг, про необходимость достичь определенного обьема, чтобы экономика сошлась, про то как продвигали своих конкурентов в своей рекламе
И другое
я прямо очень рекомендую, чувак очень глубокий имхо
начинаем через 10 минут
подключайтесь: https://pyn-ru.zoom.us/j/98022590982?pwd=GUy0YTWXOJz2f2ec9rkVpSsWluSEM2.1
Асимметрия VC и фаундера - Размышления пост
Вы наверняка знаете про асимметрию в размере риска у VC и фаундера:
1) VC использует портфельный подход и параллельно «тестирует» сотни идей, чтобы из нее выстрелило несколько. Назовем это - вширь.
2) Фаундер же вкладывается в одну идею, принимает гораздо больше рисков, и в случае неудачи теряет годы своей жизни. Назовём это вглубь.
Разговорились тут со знакомым о том: а как и фаундеру применить портфельный подход? Может ли в этом помочь AI, снижающий стоимость создания продукта и тестирования оного рынком? Можно ли применить «биологическую эволюцию» и копировать, рекомбинировать, и отбирать лучшие варианты, чтобы не уходить слишком вглубь? Можно ли обмениваться с фаундерами других продуктов долями, эдакое товарищество? Или может есть еще варианты?
Хочется порассуждать как выравнивать эту асимметрию, поэтому велком в комменты
на этой неделе, в четверг сделаем стрим про linkedin вместе с @ProductsAndStartups и @thefutureofwork
это не про то, как писать посты на 200 лайков, или как выстраивать автоматические цепочки аутбаунда.
скорее попробуем сделать реверс-инжиниринг главного продукта и самой компании
подойдет больше для тех, кто строит продукты поверх linkedin или интересуется социальными продуктами
затронем такие темы:
1/ почему linkedin оказался устойчив к демографическим циклам и до сих пор остается единственной рабочей площадкой. кто и когда может прийти на смену?
2/ linkedin и b2b SaaS продукты, построенный поверх соцсети. почти у каждого сейлза — это основной инструмент. но что мешает linkedin самому превратиться в полноценный crm? и почему до сих пор нет? как внутри компании принимаются продуктовые решения, кому давать api, а кому — нет?
3/ контент и linkedin — как он стал главным каналом для b2b бренда и лидгена? и что происходит с приходом генеративного контента?
4/ карьера как продукт
как linkedin формирует представление о карьере? как влияет на поколение профессионалов? как люди используют linkedin для сигнализации статуса: где работают, что пишут, какие сертификаты выкладывают. как это встроено в продуктовые механики?
5/ неудавшиеся эксперименты linkedin
linkedin stories, linkedin events, marketplace — что они пробовали, что не взлетело, и что это говорит о продуктовых гипотезах команды?
приходите — формат свободный, без презентаций, больше из темы продуктовой философии.
время: 27 марта, 17:00 CET
добавить в календарь
Pull vs Push
Одна из черт, которые отличают новых и матёрых фаундеров, по моим наблюдениям, легко описывается pull vs push.
На старте практически никому нет дела до твоего продукта. Матерый фаундер это знает. Поэтому он каждый день начинает с вопроса: кто еще должен узнать о моем продукте и как эффективнее всего это сделать? Он понимает, что это numbers game и надо просто планомерно этим заниматься.
Новоиспеченный же - ждет, что за него задачу дистрибуции решит акселератор, инвестор, партнер, консультант, директор по продажам. Веря в истории, что чуваки за 30 дней лонча заработали 10М, и с ним будет именно так же. И, за исключением выбросов, эта стратегия ни к чему не приводит. А потом мы делаем пивот.
Мои впечатления про новые тулы от OpenAI
1) попытка подсадить новых AI Agent разработчиков на себя, так называемый vendor lock-in
2) дорого
3) но очень легко и просто
Детали в презентации, по которой делал доклад по теме; записи нет, но я скоро проведу онлайн по этой и предыдущим темам
Некоторые спрашивали про этот доклад - записи нет, но выкладываю презентацию
Понимаю, что без видео не особо понятно о чем дека, но ниже краткое описание
Highlights of the presentation include:Читать полностью…
1) The current state of AI across multiple modalities: text, voice, video, robotics, and more.
2) Insightful frameworks like "Feel → Think → Act" illustrating how AI perceives, processes, and interacts with its environment, from online to offline contexts.
3) Case studies demonstrating AI performance at or above human expert levels in tasks such as image recognition and speech transcription.
4) An exploration of future trends, including physical scaling of AI capabilities and advancements from algorithmic progress and the removal of bottlenecks (unhobbling).
5) Economic perspectives on AI, including discussions on technological revolutions, value distribution, and the transition from traditional economies to AI-driven autonomous enterprises.
6) Insights into enterprise software and its evolving needs for unification, adaptation, and control in an AI-driven landscape.
Я уже некоторое время пишу мысли про то, как меняется разработка продуктов в эру GenAI: роль программиста и продакта совмещается, продукты становятся более гибкими, цикл итераций ускоряется. В том числе с вашей помощью решил сделать про это курс, описание и программа ниже.
Сразу замечу, что курс экспериментальный, ничего подобного я на рынке не встречал, это будет скорее "совместный поиск, размышления и конкретные эксперименты", нежели "готовые знания на блюдечке". Мы все тут первопроходцы сейчас.
===
Курс AI Продакт Инженер
Ключевые темы:
1) От написания кода к управлению границами продукта - как меняется разработка софтерных продуктов. Смотрим на конкретном примере: кодим одну и ту же задачу традиционными методами и при помощи GenAI.
2) Агентское поведение - ключевой навык в эпоху, когда у тебя в распоряжении миллионы PhD, не знающие ни сна, ни отдыха. Как понять, что делать? Как развивать агентскость в себе?
3) Как учиться у клиентов при помощи GenAI и переводить это знание в промпты
4) Уровни автономии GenAI агентов и паттерны их проектирования
5) Работа с недетерминированностью и проектирование новых систем контроля
6) Программист + продакт и как ускорить цикл обучения у рынка и клиентов
Для кого?
1) Продакт-менеджеры с сильным техническим бекграундом, выросшие из разработчиков
2) Разработчики со страстью к продукту, пользователям, бизнесу, и дизайну
Важно: у вас ОБЯЗАТЕЛЬНО должны быть навыки программирования. Мы будем на конкретных примерах "щупать" разницу между разными парадигмами программирования.
Продолжительность
2.5 мес: старт 30го марта
5 встреч по воскресеньям с 16 по 18мск + 2 office hours с разбором ваших вопросов и задач
Стоимость:
$300 - оплатить можно вот здесь, есть возможность оплаты криптой - напишите мне в личку.
Ключевые слова:
LLM, genai, ai agents, human agency, generative coding, non-determinism, cursor, replit, bolt, lovable
P.S. Программка тут
OpenAI тестирует чувствительность к цене и новые фичи
P.S. Meeting bot o__O
Делегирование – утрата контроля или новая возможность?
На зумбаре founder school вспомнил про этот кейс, который я написал очмного лет назад про самого себя
Борисов Борис – новоиспеченный руководитель проектов, которого совсем недавно повысили с должности ведущего разработчика. Вот уже 3й год он работает только на одном проекте: выделенный центр разработки из 8 человек (5 разработчиков + 2 QA + PM) для одного из западных клиентов компании. Но в перспективе ему хотят дать в руководство и другие проекты, поэтому директор по разработке Иванов Петр решает поговорить с Борисом на сей счет и приглашает его на дружескую беседу в переговорную “Минск”.
Иванов Петр – директор по разработке компании, лично ратовал за promotion Бориса, и принимал его на работу много лет назад. Считает Бориса своим protégée
Будущее наступило: Qatar Airways
Streaming, zoom, и все что душе угодно
Прикольно видеть, как лидеры мнений меняют свое мнение про agency - я писал про важность этого много раз, в том числе в этом посте про найм и в недавнем выступлении про gen ai.
Главный вопрос - как это развивать? Я кручу этот вопрос уже некоторое время и скоро будет анонс по теме, а пока вот цитаты:
Agency > Intelligence
I had this intuitively wrong for decades, I think due to a pervasive cultural veneration of intelligence, various entertainment/media, obsession with IQ etc. Agency is significantly more powerful and significantly more scarce. Are you hiring for agency? Are we educating for agency? Are you acting as if you had 10X agency?
— Andrej Karpathy
Intelligence is on tap now so agency is even more importantЧитать полностью…
— Garry Tan