9604
Мои мысли про стартапы и продукты. Байрам Аннаков, фаундер and CEO onsa.ai - автоматизация B2B продаж Мой YouTube: https://www.youtube.com/BaykaAnnakov Мой LinkedIn: https://linkedin.com/in/bayramannakov
Как-то раз Ходжа Насреддин решил провести эксперимент, чтобы показать жителям Бухары, как важно быть инициативным и ответственным. Он собрал двух своих соседей, Ахмета и Мустафу, и дал им одинаковые участки земли и семена для посева. A/B эксперимент, как столетия спустя назвали это продуктовые аксакалы.
Ахмет каждый день просыпался с первыми лучами солнца, выходил на поле и начинал работать. Он ждал, когда дождь польет его посевы, когда солнце согреет землю, и только тогда принимался за дело. Весь его день состоял из повторяющихся действий: работать на поле, торговать на рынке, отдыхать. Ахмет жил, реагируя на то, что происходило вокруг, и не задумывался о том, как можно изменить свою жизнь.
Мустафа, напротив, с самого начала принялся за дело с инициативой. Он не ждал дождя, а сам придумал систему орошения для своего поля. Он не ждал, когда солнце взойдет, а начинал свою работу до рассвета, чтобы использовать каждую минуту дня эффективно. Мустафа каждый день придумывал новые способы улучшения своей работы, он общался с другими крестьянами, учился новым методам, и в результате его урожай всегда был богаче, а торговля успешнее.
Прошло время, и жители города заметили, что у Мустафы дела идут лучше, чем у Ахмета. Один из них спросил Ходжу Насреддина:
— Почему у Мустафы все получается, а Ахмет остается на том же месте?
Ходжа Насреддин улыбнулся и ответил:
— Ахмет подобен моему ишаку: он действует только тогда, когда жизнь или хозяин заставляет его это делать. Мустафа же берет на себя ответственность за свою судьбу. Он проявляет инициативу, ищет пути улучшения и не ждет, пока его попросят. В этом и заключается секрет его успеха.
И немного подумав прибавил:
Хотя… и мой ишак иногда упрямится и не реагирует на мои приказы!
По мотивам вчерашних постов сгенерировал песню про первый принцип экономики и один из моих любимых живых экономистов - Tyler Cowen - даже ретвитнул.
Поэтому решил запилить AI агента, который по заданному топику генерирует песню при помощи suno, предварительно попросив openai придумать слова.
В аттаче видео того, что получилось; а вот и репозиторий для желающих преобразить свои лекции и посты
Однажды в город приехали два продакт-менеджера: опытный Хасан и начинающий Ахмед. Они решили открыть лавки на базаре, чтобы продавать свои новые изобретения.
Хасан поставил у входа в свою лавку большой ящик и написал: "Уважаемые покупатели, бросайте сюда ваши жалобы и пожелания". А Ахмед повесил на дверь табличку: "Принимаем только похвалу и благодарности".
Через месяц Ходжа Насреддин, проходя мимо, увидел, что лавка Хасана процветает, а лавка Ахмеда пустует. Удивленный Ахмед спросил Ходжу: "Почему так? Ведь я слышу только хорошее о своем товаре!"
Насреддин улыбнулся и предложил Ахмеду прогуляться к реке. Когда они подошли к реке, Насреддин остановился и сказал:
"Представь, Ахмед, что ты рыбак. Ты забросил сеть и ждешь улова. Если ты боишься вытаскивать сеть, потому что там могут быть плохие рыбы, ты никогда не узнаешь, что поймал, и не сможешь улучшить свои уловы."
Ахмед задумался и спросил: "Но как это связано с моей лавкой?"
Насреддин ответил: "Твои покупатели – это твои рыбы. Обратная связь – это твоя сеть. Если ты боишься вытаскивать сеть и узнавать, что в ней, ты никогда не сможешь улучшить свои изобретения. Опытный продакт менеджер понимает, что даже негативная обратная связь – это возможность для роста и улучшения. Не бойся её, Ахмед, и ты увидишь, как твоя лавка начнет процветать."
Ахмед глубоко задумался над словами Ходжи и решил последовать примеру Хасана, приняв мудрый совет к сердцу.
P.S. Сгенерировано с поддержкой Claude & Runway Gen3 :)
P.P.S. Кто сможет лучше сгенерировать видео, иллюстрирующее эту притчу?
Насколько характер влияет на удовлетворенность жизнью?
Интересное исследование по теме, выводы которого можно суммировать так:
люди, довольные жизнью
1) верят в себя
2) считают, что усилия вознаграждаются
а недовольные -
1) считают себя непонятыми
2) мало чем зажигаются
3) нерешительны
Как, по вашим наблюдениям, бьется? По мне так очень даже. Знаете, иногда встречается кандидат или сотрудник, который постоянно жалуется, что его никто не понимает, говорит и планирует, но не делает, и завидует другим —> и прямо где-то в подсознании возникает устойчивое НЕТ, потому что тяжело работать с людьми, недовольными жизнью :( И почему-то мне кажется, что найм на работу глобально не решит его ситуацию, потому что это где-то глубже заложено. А эта неудовлетворенность будет распространяться на других сотрудников и разрушать климат в команде
А вы как считаете?
Как создается богатство? Каким образом муравьи делают "живой мост"? Почему налог на наследство это хорошо? Что важнее: происхождение (в какой семье ты родился) или трудолюбие? Почему мы не видим равновесия в экономике? Как экономика и бизнес связаны с эволюционной биологией? Как из "предскажи следующее слово" мы получаем LLM системы, которые в некоторых аспектах умнее выпускника ВУЗа? Как заставить зрителей апплодировать стоя? Как птицы координируют свой полет?
Я всегда был поклонником междисциплинарного подхода и таким образом набрёл на системное мышление и теорию сложности. Вот о второй предлагаю и поговорить в следующее воскресенье
О чем?
1) Эмерджентность: что это такое и где оно наблюдается?
2) Теория сложности: основные принципы
3) Применяем к экономике: как развивается экономика и как общество становится богатым?
4) Применяем к бизнесу: explore vs exploit, продакт-менеджмент и эволюция бизнес-планов
5) Агентное моделирование в социальных науках и связь с GenAI
6) Клеточные автоматы, теория хаоса и вопросы, на которые у нас пока нет ответов
7) Santa Fe Institute - мекка исследователей сложности
Когда?
7го июля с 16 по 18мск. Стартовая стоимость: $25, поднимается на $5 каждый день. Если не сможете подключиться, то бот пришлет материалы и запись.
Покупаем билеты тут
Что я смотрю/слушаю - Часть 2
За последнее время открыл еще парочку очень достойных технологических подкастов - рекомендую двумя руками. Предыдущий список - тут
1) bg2pod?si=oR6OMmKSFJs0RDHg">BG2 - подкаст 2х легендарных VC: Билла Гёрли и Брэда Гёрстнера. Не требуют представления, сильно лучше All in
2) nopriorspodcast?si=n8E-wpu0GdkAx6Zk">No Priors - подкаст Элада Гила и Сары Гуо. Про Элада я много писал тут.
3) moreorlesspod?si=WkOsL3vhTKkW0cz-">More or Less - подкаст от Моринов и Лессинов (Information, Offline Ventures & Slow Ventures). Очень качественные гости и мысли
4) И, обязательно, dwarkeshpatel?si=WB4kcueSLqzlhiLK">Dwarkesh
Из рассылок добавлю лишь одну, но очень хорошую: Zvi Mowshowitz
Все ресурсы про AI и стартапы
Неожиданная статья про AI и “силу” сотрудника (worker power) --> с экономической точки зрения взгляд на эффект LLM на сотрудников и их зависимость “силу” в организации
Ключевые мысли:
1) Автор сначала разводит последствия внедрения AI в организациях на 2 группы: спрос на труд (благодаря автоматизации задач, выполняемых людьми) и власть/автономию сотрудника (из-за повышения возможностей управленческого контроля за сотрудниками, например)
2) Основной фокус большинства исследований про последствия AI - на 1й группе: как это помогает автоматизировать работу и снижает спрос на людской труд. Мы все про это много знаем, читали, слышали. Поэтому автор больше парится про 2й аспект влияния
3) Интуитивно мы чувствуем этот импакт и, мое мнение, что поэтому мы побаиваемся этих систем. Мы чувствуем как они снижают нашу автономию и агентность, ощущение смысла выполняемой работы и тп.
4) Помните, на прошлой встрече по GenAI я говорил про 2 варианта автоматизации: automation vs augmentation, и что ценность в случае первой больше достанется владельцам капитала, а второй - сотрудникам. Это в ту же степь
5) AI системы снижают переговорную позицию сотрудников: про зарплату, условия труда. Почему? Наличие альтернативы (вспоминаем, 2й принцип экономики). Особенно актуально для стран с относительно высокой стоимостью труда/социальной защитой
6) AI повышает возможности контроля/слежки за сотрудниками, увеличивает власть руководителя, тем самым смещая извлечение ценности в сторону организации, а не сотрудника. Например, вот мы делаем оценку звонков сейлзов и я, под соусом этой статьи, еще раз всерьез задумался о социальных последствиях систем, которые мы строим. Поэтому в это воскресенье хочу побольше поговорить про alignment и эту статью. Интересный вопрос: приведет ли возможность более детальной оценки работы белых воротничков к трансформации систем мотивации? Ведь более справедливые системы контроля могут снизить возможности для фаворитизма и “показухи”, что особенно актуально для knowledge workers
7) tldr всей статьи: AI очень негативно повлияют на силу/власть сотрудника.
Читал с удовольствием, хоть и не со всеми выводами согласен. Покрутим на ближайшей встрече
B2B продажи + AI = стрим 😍
Сейчас появляется много стартапов, которые позволяют автоматизировать входящую воронку продаж в B2B. Часто вижу AI SDR'ов, и это очевидно классная история. На данный момент нет готового решения из коробки. Отличная возможность для нового продукта или хака.
Ранее я писал, как мы в AppFollow работаем с продажами: почему мы используем product-sales led и зачем нам MDR. На одном из внутренних хакатонов озаботились задачей улучшения качества конверсий, а не увеличения количества лидов.
Эта работа над качеством выражается в том, что после звонка SDRs или AEs не всегда заполняют все поля в CRM, мы используем методику MEDDIC. Это приводит к тому, что не все инсайты становятся доступными команде. Из-за этого мы становимся заложниками того, кто был на звонке. И это проблема.
Одновременно с этим Байрам (CEO Mindshare, ex-CEO App in the Air) сделал на другом хакатоне — AI Sales assistant. Мы вписались в бету, AI анализирует звонки и заполняет CRM в нужном нам формате.
Об этом всём поговорим на нашем стриме с Байрамом в эту пятницу 21 июня с 18 по 20 мск.
Стартовая стоимость $20, растет на $5 каждый день, покупаем билет тут.
Если не сможете участвовать очно, то получите запись и материалы. Присылайте вопросы в тред заранее.
До встречи 👋
Выступал на прошлой неделе на Blockchain Community Day по приглашению @blockchainprofs - вот и запись подоспела (англ):
https://www.youtube.com/watch?v=S78PsgGE7Ng
вот пример работы, промпт всего лишь:
Can you detect any surfboards or sharks in the video, draw a green line between the shark and the nearest surfboard and add the distance between them in meters assuming 30 pixels is 1 meter. Make the line red if the shark is within 10 meters of a surfboard. Sample the video at 1 frames per second and save the output video as output.mp4
Очень круто (см форвард ниже) - осталось поставить камеру на подоконнике и подкрутить промпт на распознавание, когда машина уезжает (парковочное место освобождается)
P.S. А вот про внедрение GenAI в корпорации поговорим в это воскресенье
Прикольная визуализация эссе Пола Грэма про great work: https://www.paulgraham.com/greatwork.html
Читать полностью…
Питер Тиль в Zero to One привел эту диаграмму (см. ниже), чтобы проиллюстрировать идею, что нельзя сделать стартап, ориентированный на dead zone: маркетингом не достучаться, а продажами - не окупить.
For a product priced around $1,000, there might be no good distribution channel to reach the small businesses that might buy it. Even if you have a clear value proposition, how do you get people to hear it?
The product needs a personal sales effort, but at that price point, you simply don’t have the resources to send an actual person to talk to every prospective customer. This is why so many small and medium- sized businesses don’t use tools that bigger firms take for granted. It’s not that small business proprietors are unusually backward or that good tools don’t exist: distribution is the hidden bottleneck.
Сегодня 12 лет со дня релиза App in the Air. Хоть это уже не моя компания, с ней связаны самые вариабельные эмоции: взлеты/падения, победы и расставания, пьяные танцы и тяжелые разговоры, и радостные и грустные пользователи. Но главное во всем этом - Команда!
Как-то мой знакомый разводился с супругой, и стал вспоминать «негативные» стороны о ней. Я остановил его и сказал: «Чувак, не обесценивай свою любовь! Я видел, как вы были счастливы!»
Поэтому, самое теплое и важное про App in the Air у меня навсегда будет внутри!
P.S. На фото - All Hands Istanbul, 2019
Понравилась статья Элада Гила про то, как стартапам защищаться от крупняка.
TLDR: в начале - никак 🙂 Ну это реально так: в первый год работы ты никому не нужен, не заметен, непонятен. Да и ты сам не понимаешь хорошо, что же ты делаешь и будешь в итоге делать. Но постепенно начинает формироваться понимание, в чем на самом деле твой продукт и ценность, которую ты несешь; куда “заныривать”, потому что другие не хотят или не могут. Что большие ребята заявляют крутые фичи, но на самом деле они не работают. Или про них не знают, эти продукты не воспринимают как решения для этих задач. Что их капитализация падает на 20% за день, хотя по таргетам не выполнили на пру процентов --> у них другие проблемы и задачи. Что их бизнес-модель не выдержит раскатки такой фичи на всех клиентов, что они не могут себе позволить полусырой продукт.
И вот когда у тебя начинает формироваться понимание, появляются клиенты, заныриваешь глубже, то начинают проявляться механизмы защиты:
1) Эффекты масштаба - я могу снижать цену на продукт, потому что могу кэшировать результаты API-шки, размазывать затраты на большее количество клиентов, у меня ниже постоянные затраты.
2) Сетевые эффекты - для b2c компаний скорее; каждый новый пользователь повышает ценность продукты для новых и СУЩЕСТВУЮЩИХ пользователей. для b2b это обычно про платформенные эффекты, когда другой софт интегрируется с тобой, но это появляется сильно позже
3) Скорость - быстрее адаптируешь новые фичи OS, за счет чего тебя продвигают разработчики операционных систем
4) Партнерства - в некоторых случаях стартап более предпочтителен как партнер, чем крупная компания, которая может стать сильным конкурентом; а эти партнерства дают доступ к дистрибуции
5) IP - интеллектуальная собственность, но это обычно про deep tech и биотех.
6) Асимметричная бизнес-модель, которую лидеры не могут позволить себе - я писал про LiFE и про revenue sharing модель в отличие от классической подписки и поддержки.
В заключение интересные расуждения про то, почему стартапы не копируют (очень популярный вопрос от инвесторов):
Given that most startups take time to build defensibility, this raise the question of why more startup founders don’t just copy companies that are already working, but early in their journey?
Reasons may include:
1. It is sometimes hard to know what is actually working, versus hype.
2. Founders have a lot of pride in what they build, and may not want to just copy and out-execute someone. Often when a startup copies another’s idea, they put a unique spin on that approach or product versus default blankly copying it. All these tweaks and changes tend to make the product worse.
3. Perception that “the market is over” so no one copies a company even if it might be tractable to out execute them.
4. It is harder to hire strong employees to work on what is initially a clone company. People assume more defensibility than tends to exist early, so are harder to convince to join your efforts until traction is clear.
Миллиард перспектив
Я часто говорю, что люблю расширять перспективы, изучая принципы разных наук или смотря фильмы и читая художественную литературу. Поэтому мне особо понравился недавний research, как ребята сгенерировали 1 млрд персон на основе инфы в вебе и назвали его - Persona Hub.
Для чего можно использовать эти персоны?
1) Генерировать персонализированные тексты - например, я люблю рассказывать, как подрабатывал репетитором по экономике и адаптировал экономические термины к подопечному, i.e. обьяснял постоянные и переменные затраты в макияжном салоне, который студентка хотела открыть. В работе ребята приводят кейс с генерацией математических задач с учетом персоны (см скриншот)
2) "подкручивать" промпты к LLM - в работе авторы заявляют, что после подкрутки промпта маленькие LLM по математике показывают уровень gpt-4-turbo
3) конечно же, дополнять свой продуктовый ресерч
4) NPC в играх и тп
Пока ребята зарелизили только 200K персон, которые можно посмотреть тут, но вот вам парочка примеров:
- A product manager at a startup who values their input and collaborates on beta testing
- An ambitious product manager who bridges the gap between the technical and the commercial aspects of drug development
- A technology startup founder in need of reliable electronics components for their product development
Мне особо зашла идея persona-to-persona у них: суть в том, что некоторые персоны недостаточно представлены в вебе (например, попрошайка на улице, или ребенок), поэтому они предполагают, что те, с кем близко связаны эти люди, скорее всего хорошо описывают эту персону (см. скрин)
Я почему-то подумал сразу про продажи и тестирование продукта:
- тестирование: иногда в тестах не хватает diversity персон, и можно было бы генерировать таких персон, и от их имени генерировать сценарий тестирования, особенно в b2c, где у тебя не только нет доступа к персонам, но и нет четкого представления какие они могут быть
- продажи: с продажами я аккуратно отношусь, но когда нет возможности заранее изучить собеседника, то это может стать неплохой стартовой точкой, чтобы продумать (проверяющие) вопросы и сценарий
Важный пункт про будущее: пока они сделали не супер детализированные персоны, например они не учитывают предпочтения, бекграунд и тп —> они планируют отработать этот пункт в будущих версиях. Цель - сделать описания персон а-ля wikipedia биография реального человека
Игорь Акимов сгенерировал в Suno песню по мотивам притчи: аххахаха
Даешь полезные Spotify плейлисты с осознанной (!) лирикой
https://suno.com/song/e96132ce-fe7c-48b0-ae87-f0cb6e973681
Upd: а вот на восточный мотив https://suno.com/song/8b4ddce5-239f-4092-afd3-2b265169d5ba
Обоснованное сомнение
В правовой системе одним из главных компонентов является обоснованное сомнение (reasonable doubt). Идея в том, что представленные доказательства не должны оставить у разумного человека сомнений в виновности человека.
Я считаю, что этой концепции очень не хватает в корпоративной среде. Люди делают выводы о «виновности» людей, перенося свой прошлый опыт на новых людей или новые ситуации. Я лично был как субьектом, так и обьектом неприменения этой идеи.
Как давать сотруднику право на разумное сомнение?
1) Сначала собирать факты, а потом делать выводы
2) Кроссчекать свои выводы с другими сотрудниками, не «засоряя» их выводы своими
А если не вышло, и сделали ошибку, то находить в себе смелости извиниться. Хотя бы этого права не стоит лишать.
В стартап среде есть правило «нанимай долго, но увольняй - быстро». И оно вроде конфликтует с этой позицией. Но по моим наблюдениям, проделать те 2 шага выше не занимает так уж много времени.
По-моему, в первые недели и месяцы стартапа мы должны заниматься всего 2мя вещами: продажами и продуктом. И, очевидно, они взаимосвязаны.
1) У тебя есть гипотеза о ценности, ты делаешь демку/MVP (продукт) и начинаешь ее продавать
2) Продавая ты получаешь обратную связь от рынка о том, насколько твоя гипотеза подтвердилась. Это часто ведет к доработке или переделыванию продукта
3) И далее цикл повторяется
У тебя нет особо времени и внимания на все остальное. Чем быстрее ты двигаешься по этому циклу, тем быстрее ты поймешь, что действительно нужно рынку.
Поэтому вопросы, которые я задаю себе в начале каждой недели, просматривая затраты времени за прошлую:
1) что я сделал по этим двум вещам?
2) где выше неопределенность?
3) на чем сфокусироваться на следующей?
Порой команды, которые делают GenAI приложения жалуются, что при использовании какого-то фреймворка LLM стала выдавать какие-то странные результаты, фреймворк сам дописывает промпты, и ломает всё; при прямой работе в playground (как я советовал выше) - все работает идеально. Но и как бы выгоды от фреймворка не хочется терять (память, например)
Один самый эффективный способ - перехватывать запросы, улетающие в LLM, и чекать, что же там происходит. Я вот до сих пор не понимаю, почему у openai/anthropic и иже с ними нет раздела logs, где можно все это смотреть. Пока у них не дошли до этого руки, делаем так, как описано в этой статье
Полгода назад мы запустили MindShare. Некоторые из вас также знают, что я планирую открыть свой университет и что EDU, название этого канала, расшифровывается как Empatika Decentralized University. Пришло время сделать следующий шаг - MVP университета.
Что это будет?
За эти полгода я провел почти 200 консультаций и десятки стримов на темы вокруг стартапов, продаж, партнерств, AI, метрик, управления продуктом и командой, тестов рынка, работы CEO, найма и управления персоналом, системного мышления и принятия решений. Пора сделать это в более системном виде, поэтому запускаю школу фаундера. Школа для фаундеров технологических стартапов на этапе от 0 до $1M.
Как это будет?
Я писал про 3E подход: что для развития навыков необходима комбинация опыта, образования и общения с экспертами, именно в таком стиле будет эта школа.
1. Мы начнем с ассессмента: персонально с каждым участником школы проведем часовую встречу, чтобы понять цели и задачи, а также текущий уровень понимания и опыта создания компаний. Это позволит задизайнить персональный план развития (PDP) для каждого, который будет состоять из этих 3E.
2. В соответствии с общими темами индивидуальных планов будут проходить групповые встречи: 1 встреча каждые 2 недели. На эти встречи я в том числе буду приглашать друзей-экспертов в заданной теме.
3. Помимо групповых, будут индивидуальные встречи, где 1:1 со мной мы будем обсуждать ваш прогресс, планы на следующие 2 недели, отвечать на вопросы, и подкручивать контент групповых встреч, когда вижу общие темы или вопросы.
4. Я заметил, что порой самые интересные разговоры проходят вне лекций и конференций - поэтому у нас будет формат зум-бара, где в непринужденной обстановке мы будем пить чай-вино-кофе и обсуждать происходящее в мире бизнеса и технологий.
Продолжительность: всей программы - 3 месяца; надо рассчитывать на минимальную занятость в 8 часов в неделю. Групповые встречи будут проходить по субботам с 16 до 18мск, индивидуальные - будем согласовывать персонально. Групповые встречи будут записываться и доступны всем участникам; индивидуальные - по желанию.
Зачем и для кого это?
Для фаундеров стартапов на этапе от 0 до $1M годовой выручки или 1M пользователей. Чтобы быстрее развивать свой стартап и продукт, и выиграть время, не совершая распространенные ошибки.
Для тех, кому важен взгляд со стороны людей, которые been there, done that и кто ощущает потребность в общении с другими фаундерами, сталкивающими с теми же задачами и трудностями на своем пути.
Для тех, кто давно уже хочет сделать свой стартап, но как-то не решался или не хватало мотивации. Идеальный вариант для заплыва в 3 месяца :)
Когда это будет?
Мы начнем с 13го июля и школа продлится до середины октября. Участие в школе возможно только с самого начала, поскольку assessment - очень важный шаг.
Сколько это будет стоить?
$1000, есть возможность оплаты помесячно (400 + 300 + 300); при оплате сразу за 3 месяца -$900. Если в ходе ассесмента я пойму, что не смогу помочь, то вернем деньги
Здесь можно оплатить за первый месяц или за всю школу сразу
В комментариях к этому посту опубликую несколько отзывов клиентов, которые берут у меня регулярные консультации.
Очень полезная серия статей про уроки разработки LLM приложений.
Вкратце ключевые мысли ниже:
1) Начинать с промптов - я писал про это как раз в посте про опытного и неопытного продакта
2) Структурировать входные и выходные данные - оборачиваем данные в markup или xml теги
3) Разбивать большие промпты на маленькие - разделяй и властвуй
4) Читать итоговые промпты, улетающие в LLM, чтобы убирать лишнее, повторения и улучшить форматирование - например, заюзав langfuse или другой подобный инструмент для логирования запросов и ответов от LLM
5) Использовать RAG, внимательно отслеживать как находятся документы, юзать поиск по ключевым словам или полнотекстовый поиск как бенчмарк или пред-поиск
6) Лучше RAG, чем finetuning, когда данные обновляются часто
7) Кэширование - на забывать кэшировать, в том числе используя семантический кэш, i.e. кэшируем не точное совпадение, а смысловую схожесть. Например, “что ты умеешь” и “расскажи что ты умеешь” это по смыслу один из тот же запрос
😍 4 полезных вопроса для работы над LLM продуктами - и ответы на них во второй части этой серии:
- данные: как часто просматривать входные/выходные данные LLM? например, следить за различиями между тестовыми и продакшн данными
- модели: как обеспечить версионность моделей и миграцию между версиями? --> понравился рефраз закона Postel-а: будьти либеральны к тому, что вы принимаете на вход, и консервативны - к выходным данным, i.e. используйте structured outputs; и хорошие предупреждения по поводу нелегкости миграции промптов между моделями
- дизайн: как должен выглядеть дизайн? (как раз на днях было полезное по теме)
- люди: кого и когда нанимать?
9) Ну и в третьей части много полезных советов а-ля “не надо покупать GPU до product-market fit”, когда стоит тренировать или хостить свою модель (build vs buy), график падения стоимости инференса
Кстати, завтра будет евент от авторов этой серии
P.S. А я сделаю апдейт всего, что происходит в Generative AI, включая наш опыт разработки и мой - консультирования и обучения - в это воскресенье
С Толей поразгоняем про b2b продажи + AI --> в эту пятницу, детали в посте ниже. до встречи!
Читать полностью…
В марте я проводил встречу по Generative AI, но кажется, что прошла уже вечность. Поэтому пора делать апдейт.
В частности и особенно про:
1) Нашумевший отчет "Situational Awareness": про AGI & SGI, про unhobbling, перспективы лабораторий, гонку вооружений, и мое мнение по всему этому
2) Alignment - в прошлой встрече я мало уделил времени этому топику, поэтому исправляюсь
3) Кто и что анонсировал за это время: новые подходы, модели, публикации, возможности и проблемы, мифы и реальность
4) Уроки и инсайты разработки своего и консультирования чужих Generative AI стартапов
5) Пропасть разочарования в GenAI? Смотрим на бизнес-кейсы
6) AI x Crypto - мои мысли по теме
7) Чего ожидать в следующие 3 месяца?
Когда?
В это воскресенье 23 июня с 16 по 18мск. Как обычно - билеты покупаем тут, запись и презентация будут доступны, если не сможете подключиться.
В качестве тизера прикладываю презентацию с прошлой встречи.
Если вы делаете агента, который работает с визуальной информацией, то посмотрите этот репо от landing.ai (Andrew Ng).
Vision Agent is a library that helps you utilize agent frameworks to generate code to solve your vision task. Many current vision problems can easily take hours or days to solve, you need to find the right model, figure out how to use it and program it to accomplish the task you want. Vision Agent aims to provide an in-seconds experience by allowing users to describe their problem in text and have the agent framework generate code to solve the task for them. Check out our discord for updates and roadmaps!
На стримах про школы экономики (1, 2) я рассказывал про Cantillon Effect - что при эмиссии денег инфляция имеет неравномерный эффект: для тех, кто близок к эмиссии (например, бюджетники), эта инфляция не так заметна в краткосрочном периоде, цены не успели отреагировать на повышенное предложение денег.
Вчера на прогулке слушал про Кантиллона и его идеи (оказывается, он ирландец, а не француз, как я думал), и почему-то всплыл недавний вопрос друга про тапалки а-ля notcoin, которые популярны в Телеге в последние несколько месяцев. И почему-то подумал, что вот там похожий эффект: те, кто находится у начала эмиссии, имеют больше возможностей для прибыли. Очень напоминает классическую пирамиду.
a16z запустили ресурс про ценообразование для growth stage стартапов:
1) про usage based pricing - как раз вчера обсуждали с фаундером b2b приложения эту тему. У его конкурентов usage based pricing, а у него нет и он видит, что некоторые abuse-ят. Придумали как с помощью аналитики и простых экспериментов можно проверить гипотезу
2) понравилось правило, что usage based ценообразование лучше всего для кейсов, когда конечный юзер - программа (software), а не человек. Когда человек - лучше работает подписка.
Подробнее тут:
https://a16z.com/pricing-packaging/
GenAI в Корпорации
Некоторые из вас знают моего близкого Друга и CTO в Vista (частная авиация) - Мишу Кирсанова: он был в гостях на школе GenAI разработчика и иногда заглядывает на наши EDU встречи. Пришло время и ему выступить
О чем будет стрим?
В этом канале я часто пишу про GenAI с позиции стартапа и небольшой компании, а каково это внедрять это в корпорации с тысячами людей и миллиардами долларов оборота? Вот про это Миша и будет вещать.
- Vista @ 5000 сотрудников и 200 разработчиков ПО
- Историческая перспектива: команды AI/ML
- Ноябрь 2023 - момент, когда все начало меняться
- Путь трансформации разработки - семинары и хакатоны
- Путь внедрения в бизнес - презентации, поиск союзников
- Внешние платформы, текущие и будущие
Когда?
В следующее воскресенье, 16 июня с 16 по 18мск. Стартовая стоимость $20, растет на $5 каждый день - покупаем билет тут.
Если не сможете участвовать очно, то получите запись и материалы.
До встречи!
Я как-то уже писал, что важен не план, а процесс планирования. Так называемый proof of thought - что вы действительно подумали над тем, над чем должны были подумать. По мере проникновения LLM в наши рабочие процессы, велик соблазн аутсорсить важные мыслительные активности ей. Самый большой риск - как раз лишить себя пользы от этого процесса. Прося chatgpt сгенерировать план для проекта, который мы стартуем, мы не уделяем должного внимания этапам в этой плане, они не остаются на подкорке, не триггерятся вовремя, не направляют наше внимание по мере выполнения проекта.
Поэтому я придерживаюсь такого подхода:
1) Сначала набрасываем план/структуру сами.
2) Просим нашего друга (chatgpt) проревьюить и указать на то, что мы забыли/упустили
3) Просим второго друга (claude) покритиковать этот план
4) Делаем zoom out, проверяем не ушли ли мы слишком вглубь, благодаря path dependence LLM-ок
Мы сейчас делаем один проект, и я сегодня на прогулке понял, что надо пойти дальше. Надо скормить LLMке текущий план vs факт по этому проекту, и попросить ее
1) дать свое заключение, насколько реалистичны эти планы
2) обьяснить, почему мы не успеем вовремя сделать какой-то milestone и что можно сделать, чтобы успеть
3) предложить обновленный план
Я это сделал и словил парочку инсайтов, которые на ближайшем статус митинге намерен обсудить с командой. Тоже самое можно и нужно попробовать и с другими планами. Например, планом продаж 🙂
Кстати, а как проверить, что ваш коллега подумал над планом, что прислал вам?
Ретеншн бенчмарки
В недавней статье, посвященной 10 годам гроусхакинга (кстати, забавно, но вот одно из моих первых выступлений по теме), Andrew Chen запостил легендарную картинку Flurry про ретеншн и частоту использования разных приложений. Помню, что к ней еще были рекомендации по монетизации: а-ля одноразовые аппы с низким ретеншном надо делать paid, а частотные и с высоким ретеншном - зарабатывать на рекламе.
Рекомендую использовать как бенчмарки, ведь
Информация возникает, когда есть сравнение