Готова запись вчерашнего вебинара по стратегии.

👆🏻вы же помните про наш офигенный стикерпак?
Почти на все случаи в жизни продакта. Устанавливай себе и делись с коллегами 😎

Читать полностью…

Друзья, начинаем!

Productdo is inviting you to a scheduled Zoom meeting.

Topic: ProductDo: продуктовая стратегия
Time: Dec 19, 2024 17:00 Amsterdam

Join Zoom Meeting
https://us06web.zoom.us/j/86753984081?pwd=4bZZHUiJ5fSsLuE9cJl4H9HXldp85k.1

Meeting ID: 867 5398 4081
Passcode: 206271

Читать полностью…

OKR и/или KPI?

(У нас есть "секретный" чатик для учеников курса Основы продакт менеджмента, там можно получать ответы на самые разные околопродуктовые вопросы. Иногда мы выносим сор из избы и делимся обсуждениями здесь. Сегодня отвечает Sr PM ML Андрей Менде)


— Привет! Погрузилась сейчас под конец года с планированием на следующий в вопрос разницы между OKR и KPI(...)

— Мне кажется это такие термины, которые люди не всегда одинаково понимают, отсюда и путаница. Расскажу как понимаю их я.

KPI - key performance indicators это просто ключевые метрики, которые мы выделили, и следим за ними всегда. По ним может быть установлена какая-то цель, но совершенно не обязательно это выражение нашей стратегии. Например, количество посетителей и количество лидов – это KPI отдела маркетинга. Но при этом если мы называем показатель KPI – совершенно не обязательно, что у нас есть по нему какие-то амбициозные цели. KPI службы поддержки — это почти всегда средний срок закрытия тикета. Но не всегда мы будем хотеть его сильно улучшить. Иногда достаточно, чтобы не ухудшался.

OKR — очень понятный термин, это довольно четко описанная методология про то, как ставить цели. Достаточно часто OKR — это обещание достичь определенного прогресса по одному из KPI. Повысить конверсию посетителей в клиентов с 4.5% до 4.7% за Q1 или поднять средний чек на 15%. Но не всегда. Бывают деливери ОКР (мы не одобряем такое!) – выпустить новый релиз, запустить еще одну страну. Иногда ОКР ставят не по KPI, а по какой-то метрике, которая актуальна только в моменте. Однако, OKR это всегда вектор решительных изменений, в них стараются не писать busines as usual.

Вот эта книжка — библия по ОКР. В Амстердаме могу дать почитать твердую копию.

Читать полностью…

Готова запись вчерашнего вебинара по customer research / user interview.

О чем поговорили:
– как когнитивные искажения мешают нам слышать клиентов
– истории продуктовых epic fail'ов, которые можно было предотвратить парой интервью
– почему респонденты приходят на интервью не одни
– космические технологии с полупрозрачными зеркалами
– почему вдруг перестали использовать термин кастдев?
– как скоро AI заменит продактов (ну или хотя бы рисерчеров))
– где научиться проводить кастомер интервью?

На последний вопрос дам ответ прямо здесь ;)

15 января, как только закончится оливье, стартует наш новый курс User interview для продакта. Первый поток проведем в формате "живые вебинары + симулятор". Будем разбирать видео, учиться задавать правильные вопросы, искать респондентов, анализировать результаты. Подробности на лэндинге. Первые 15 мест – по ранней цене.
Ой, уже осталось 12!

Читать полностью…

Разберемся.

В дизайне этого эксперимента👆 есть одна фундаментальная проблема. Новые пользователи, которые перейдут по ссылке с кнопки "Поделиться" будут попадать как в группу А, так и в группу Б. Представьте, что вы попали в тестовую группу, поделились страницей со смартфоном с другом. Ваш друг зашел на эту страницу и купил новый айфон. Но куда при этом запишется доход от этой покупки? В группу А или в группу Б?

Получается, что человек, который переходит по отправленной с кнопки ссылке, случайным образом будет так же попадать либо в группу А, либо в группу Б. Скорее всего, покупки тогда начнут расти в обоих группах сразу и мы никакой значимой разницы не увидим. При этом относить новых пользователей к группе Б тоже некорректно. Потому что гипотезой проверки у нас тут является работоспособность кнопки и как она повлияет на продажи. Но по факту увеличение прибыли может произойти только от третьей “группы” пользователей, которые придут по ссылке от этой кнопки.

Таким образом происходит в некотором роде "переливание" (spill over) трафика из одной группы в другую, и мы вряд ли сможем как то использовать результаты этого теста. Когда работаешь над дизайном АБ теста нужно всегда четко понимать что ты сравниваешь и с чем. В данном случае, в изначальной гипотезе этот момент отсутствует.
Как же тогда интерпретировать результаты такого теста? На мой взгляд, новую кнопку "Поделиться" нужно рассматривать скорее как новый источник трафика, а не как новую фичу.

Для этого пришедших по ссылке людей нужно будет специальным образом пометить (например, utm меткой или чем-то подобным). Тогда можно будет сравнить насколько такой способ привлечения людей (и как следствие денег) работает по сравнению с другими источниками. Но к а/б тестированию как таковому это уже не будет иметь отношения. Пишите в комментариях были ли у вас в практике подобные случаи и как вы их решали.

PS По нашему мнению ближе всего к правильному ответу подобрался Ilya Chapyshev. Мы вам напишем ;)!

Читать полностью…

Практический вебинар для продактов о том, как эффективно проводить интервью

Когда:
11 декабря
17:00 Амстердам/Лиссабон
18:00 Киев
19:00 Москва
Займет ~90 минут

О чем:
Про важность правильных интервью не написал только ленивый, но большая часть материалов либо примитивная, вида "хорошо делай, плохо не делай", либо предполагает, что продакт разобрался со всеми науками о человеке^ начиная с антропологии и заканчивая социологией массовой коммуникации.

Что полезного?
"А какие вопросы-то задавать?" – не всегда очевидно. Разберем реальные задачи, которые можно решить с помощью интервью, обсудим правильные и неправильные вопросы, придумаем хорошие вопросы участникам, которые заранее принесут проблему.

Кто:
Андрей Менде
Senior ML Product Manager, Booking .com, ex PM Yandex

Игорь Седачёв
Head of Product в Semrush, ex Head of Product Avito

Пишите в комментах вопросы/запросы. Сделаем максимально полезно и практично.

Запишись, чтобы не забыть и не пропустить.
Бот дает ссылку на трансляцию и позволяет добавить встречу в календарь в два клика. В день вебинара напомнит за час и в момент старта.

Кто участвовал в тестировании первого урока Customer Research курса – это ваш звездный час! Пишите Вике свои кейсы/вопросы для публичного разбора. Для непубличного тоже пишите. Привлечем нашего эксперта и поговорим более приватно.

Читать полностью…

Задавай вопросы, слушай ответы, делай выводы
– вроде ничего сложного.

И в настоящей взрослой работе продакта, и при обучении ПМ-мастерству, пользовательские интервью отнимают вагон времени. А частенько еще и оставляют больше вопросов, чем ответов чем до начала проведения исследования.

Мы решили выделить эту тему в отдельный симулятор.
Работа в разгаре! Первый урок готов.
Мы уже готовы проводить пользовательские интервью по курсу по пользовательским интервью ;)

Кто нам нужен:
15 практикующих продактов, подписчиков канала.
Важно, чтобы в работе вы либо активно проводили customer researches, либо прямо сейчас перед вами (впервые) встала такая задача.

Что нужно сделать?
Протестировать первый урок нашего нового симулятора. Дать развернутый письменный фидбек! Возможно, потребуется созвониться с авторами курса.

Куда бежать?
Напишите в двух предложениях о своей задаче, которую вы решаете с помощью пользовательских интервью @victoriamende, она выдаст вам доступ к уроку.

Зачем вам это?
Во-первых – любопытство. Во-вторых – возможность задать вопрос по конкретно своей задаче, связанной с пользовательскими интервью. Ответ можно будет получить лично или публично.

Ждите анонс, скоро будет максимально полезный вебинар от одного из ведущих специалистов по customer research на рынке. Заодно разберем там ваши запросы.

Читать полностью…

​​Скидка 20% на все симуляторы и живые курсы ProductDo в Черную пятницу

Друзья, мы продолжаем убеждаться, что, несмотря на смену трендов и названий технологий, одно остается почти неизменным — хард-скиллы лидеров (продактов, проджектов, аналитиков и т. д.). Уже 10 лет A/B тестирование используется для научного подхода к развитию продукта, и, наконец, то, что было уделом корпораций, доходит и до компаний поменьше. Требование к пониманию технологий вышло на арену около 5 лет назад и сейчас набирает обороты — спасибо API-first продуктам. Аналитика и SQL были в арсенале лидеров еще до изобретения профессии «продакт-менеджер», а сейчас, поскольку трекается всё и вся, становятся еще важнее. Продуктовое исследование и планирование были, есть и будут. Наконец, пару лет назад в эту вечеринку шумно ворвался ML, а потом и вообще устроил дебош, приведя с собой ChatGPT.

Все перечисленные темы мы превращаем в интересные истории и раскладываем на кирпичики знаний, которые можно понять и закрепить на наших симуляторах. Качайте хард-скиллы, и да прибудет с вами Черная пятница!

Читать полностью…

Привет! Давайте завершим тему с выбором бара и доверительными интервалами, пятница не за горами.

Инструмент, который поможет нам учесть количество оценок, а не только средний рейтинг – это доверительный интервал (confidence interval, ci). В данном случаен он поможет нам оценить в каком диапазоне может находиться истинное значение рейтинга, учитывая то, что на выборке некоторого размера мы наблюдаем значение R.

Если построить доверительные интервалы для двух наших баров, то...

Bar Abraham: R = 4.6, N = 57, CI = [4.248, 4.952]
Cold Bar: R = 4.2, N = 10702, CI = [4.165, 4.235]

Однозначным победителем будет Bar Abraham со всего 57 оценками на картах.

К сожалению, у людей нет хорошей универсальной интуиции на математику, особенно – статистику. Поэтому, чтобы быть data driven, надо считать-считать-считать, и стараться не придумывать в голове историю пока не посмотришь на циферки.

Отдельным сюрпризом для меня стало то, сколько удивительных и интересных не количественных, а качественных аспектов пытались учесть продакты из нашего коммьюнити.
→ а так ли хороши популярные бары?
→ а стабильно ли качество обслуживания во времени?
→ не куплены ли отзывы за стопку водки?
→ а не реклама ли это бара/ алкоголизма/ курса по статистике

Умение везде видеть какую-то историю, и смотреть не только на цифры – это безусловно здорово. Но мне начинает казаться, что умение анализировать цифры более дефицитно среди продактов, поэтому если давать советы по образованию, то я бы советовал посмотреть в сторону курса по аналитике для продактов, или A/B тестированию.

С эмпатией и пользовательскими историями у вас и так скорее всего всё хорошо.

Читать полностью…

Иногда мне приходит в голову пример, который восхитительно хорошо иллюстрирует какой-то важный принцип, и это, наверное, менторский аналог ситуации "эврика".

Представьте себе, что вы хотите с друзьями пойти в бар в Амстредаме. Разумеется, вы отмечаете успешный продуктовый запуск, поэтому заведение должно быть уровня "Волк с Волл стрит".

Вы видите два достойных бара на карте недалеко от офиса. У одного рейтинг 4.6, у другого 4.2 В каком вы забронируете столик для своей команды?

Или вам не хватает данных, чтобы сделать выбор? Какую одну метрику нужно добавить на картинку, чтобы выбор стал гораздо более рациональным?

(Подсказка: гугл эту метрику показывает в интерфейсе, я специально скрыл ее на скриншотах, попробуйте догадаться не подглядывая на карты).

Правильный ответ и разбор завтра в канале. А также от продвинутых дата продактов из нашего сообщества в комментах к этому посту через 3.. 2.. 1..

Читать полностью…

На связи Владимир. На прошлой неделе у нас был внутренний саммит продакт-менеджеров в Booking.com.

Когда-то, будучи аспирантом и разработчиком, я с удовольствием посещал технические конференции, потому что они были супер практичными. Спикеры делились проблемами, реальными решениями, инструментами и (почти) настоящими цифрами (NDA!), так что после двух дней я всегда возвращался с 5-10 идеями улучшений для своей работы, которые можно было сразу применить.

Когда я стал продактом, я также пробовал посещать несколько продуктовых конференций (в основном FinTech, так как работал в платежах). Я оказался не на научном или техническом мероприятии, а больше на маркетингово-нетворкинговом. Доклады стали гораздо менее конкретными, полными ничего не значащих фраз:

«AI, AI, AI», «solving customer problems», «deliver impact» (конец предложения).

Более того, казалось, что каждый спикер пытается продать свой продукт / API / консалтинг; все решения выглядели блестяще и безупречно, проблем ни у кого не было. Так что я довольно быстро потерял интерес к таким конфам.

Прошло четыре года, и было приятно снова ощутить пользу от нашего внутреннего саммита. Было ли это потому, что никто не пытался ничего продать? Или потому, что спикеры действительно могли показать реальные проблемы и данные (без NDA)? Или из-за приглашённых внешних спикеров: бывший сотрудник NASA рассказал о водородных двигателях для автомобилей и малых самолётов (кайф!), а ребята из OpenAI показали чёрную магию с новым ChatGPT.

Не знаю, но я ушёл с мероприятия с шестью пунктами в списке дел, которые могу применить к моему продукту, и это, как по мне, лучший результат любой конференции.

Вопрос к вам: можете порекомендовать продуктовые конференции, которые вы посещали и окрестили как полезные?

Читать полностью…

Владимир на связи, отвечаю на (отличный!) вопрос Александра после поста про лист достижений:

>> Что делать с задачами, в которых импакт сильно дальше во времени? Спроектировали и внедрили новый инструмент для поддержки, например, но внедрение было уже в конце года и только через пару месяцев мы получим какие то данные о результатах и это будет уже в следующем году, получается и в ревью это записывать только на следующий год? Какая-то ревью дривен работа будет, если делаем только то что даст результат в этом же году.

Действительно, такая ситуация возможна, и у нее два исхода: (1) так устроена работа данного департамента (все ок) или (2) продакт увлекся большими проектами и забыл про paying-the-bills (все плохо). Давайте разбираться:

(1) Некоторые департаменты работают чисто на проектах (milestones), например, "Построить сервис X", "Внедрить инструмент Y", "Подготовиться к новому закону GDPR" и так далее. В этом случае от команды не ждут краткосрочных бизнес-результатов (например, покупки), а понимают, что это все игра в долгую. В этом случае "достижения" продакта измеряются качественно, нежели количественно: "нашел способ, как запустить MVP на 3 месяца раньше", "придумал, как воткнуть в проект забытые всеми легал-требования без срыва сроков", "заменджил планирование на 2025 между 10-ю департаментами без помощи директора". Так что если ваш менеджер играет по тем же правилам, что и вы, то проблем с "достижениями" нет — вы оба понимаете, что хорошо, а что плохо.

(2) Все гораздо грустнее, если продакту кажется, что он делает долгосрочные проекты, а на самом деле от него ждут результатов "сейчас". В зависимости от команды, баланс "профит сейчас / технологии на будущее" варьируется, но часто это что-то типа 70 / 30. В переводе на практический язык это означает, что вы улучшаете вашу бизнес метрику 70% времени понятными способами (эксперименты, фичи, и тд), а 30% занимаетесь чем-то более стратегическим, что возможно поможет потом, но пока это доказать нельзя. Поскольку заниматься этим немного проще, чем делать результат здесь и сейчас, многие продакты скатываются с 70/30 на 30/70 или вообще 0/100.

В конце года может возникнуть казус: вас спросят, где 100 продаж (или 1000 онбордингов, или 10000 меньше отмен и тд - в зависимости от вашей NSM), а вы покажете 2 новых системы. Совет тут один: обсудите с менеджером правила игры и зафиксируйте (в цифрах) ваши годовые цели. Делать, это, конечно лучше в начале года, но даже сейчас еще есть 2 месяца, чтобы подтюнить ваш результат до 31 декабря.

Спасибо Александру за хороший вопрос, а остальным — не стесняйтесь спрашивать, мы с удовольствием поделимся опытом.

Читать полностью…

Разговорчики в одном из чатов курса "Основы продакт менеджмента"...
А у вас как?

Читать полностью…

Субботний мем сегодня посвящен техническим знаниям для продакта, которые программистом вас не сделают, но позволят общаться с командой на одном языке и оценивать сложность разработки.

Девушка с картинки не зря мечтает поскорее закончить просмотр заката, уснуть и побыстрее пойти в офис – ведь построение сервис-диаграмм является одним из самых захватывающих заданий продакта, переходящего от идей к фазе "строим!".

Как это выглядит? Вы смотрите на продукт (или отдельный флоу) и начинаете брейнстормить (сами или с тимлидом), из каких сервисов он состоит: сервис поиска, сервис отзывов, сервис фотографий, сервис оплаты, и т.д. Вы делаете это, не чтобы вмешиваться в работу программистов, а чтобы лучше понять реальные смысловые блоки своего продукта. Ну а когда вы понимаете детали, из которых состоит продукт, вы уже сами выбираете – управлять им "издалека" или же закопаться в отдельный элемент (например, сервис поиска картинок).

Зачем Илон Маск закопался в детали ракетостроения, когда начинал SpaceX? Потому что эффективно управлять чем-то "изделека" можно только тогда, когда вы это хорошо поняли.

Если вы хотите научиться видеть продукты через рентген сервисов, то сегодня - последний шанс впрыгнуть на интенсив (симулятор + 3 воркшопа) "Технологии для продакта". Следующая когорта уже в 2025.

Читать полностью…

– А если все побегут прыгать с крыши применять ML в своих продуктах – ты тоже побежишь?
– Да, потому что именно так работает машинное обучение.

Сегодня last call (или третий звонок, если вы бываете в театре чаще, чем летаете на самолетах) присоединиться к живому потоку курса Machine Learning для продакт менеджеров.

Ближайшие 4 недели мы будем решать задачи в симуляторах, и разбирать кейсы на созвонах. Этот курс не сфокусирован только на LLM, мы будем говорить и о более традиционных применениях машинного обучение: поиск, релевантность, оптимизация рекламы, детекция фрода. Это те области, где ML точно не является хайпом, а уже прочно занял свое место в цепочке создания ценности.

Записаться на курс: тут

Читать полностью…

Кто в зум не влез — подключайтесь в youtube: https://www.youtube.com/live/j_Zn-cRioiY?si=tkquNENHFbXzAo_i

Читать полностью…

Разберем стратегию выхода на рынок подкастов от Spotify

Завтра 19:00 (МСК) на воркшопе пройдемся по 5 главным мифах о стратегии, которые мы встречаем на практике в больших компаниях. Мифы помогут нам сформировать определение того, что от нас на самом деле ждут (подсказка - не заполненный шаблон).

В основной части представим себя продактом в Spotify, который питчит директорам, что надо расширяться с музыки на рынок подкастов.

Приходите, будем практиковаться и спорить, все в лучших традициях вебинаров ProductDo.
На зуме будет максимум 100 мест.

Запишись!

Читать полностью…

Практический вебинар "Продуктовая стратегия"

(мы уже давно планируем сделать этот воркшоп и вот наконец звезды сошлись)

Когда:
19 декабря
17:00 Амстердам
18:00 Киев
19:00 Москва
Займет ~ 90 мин

Кто:
Владимир Калмыков
Lead Technical Product Manager, Booking .com

Андрей Менде
Senior ML Product Manager, Booking .com

О чем:
Стратегия постоянно выходит в топы скиллов, которые хотят прокачать продакты, причем мы видим это как в количественных исследованиях, так и в повседневных разговорах у кулера/кофемашины.
При этом довольно мало продактов могут построить такую стратегию, от которой у директора не возникает плохо скрываемая улыбка из серии "ага, а послезавтра еще и на Юпитер полетим" или еще хуже - раздражение типа "что за вода ни о чем!!!!".

Что полезного?
На воркшопе мы (Group PM Booking. com и Sr. PM ML Booking. com) пройдемся по основным пунктам чек-листа стратегии и обсудим по пунктам, что надо и что не надо делать на основе нашей практики.
На двоих мы построили уже 40+ стретегий от фичей (да, это тоже мини-стратегия) до планов развития департаментов (и это стратегия!), так что мы надеемся, что получится полезно.

Также сделаем рубрику "Strategy doctor" - напишите свой кейс в комментах или в личку @vladimir_kalmykov и мы с Андреем попробуем вам помочь "вылечить" ваш подход.

Встречаемся в Zoom, будем общаться, максимум 100 мест.

Запишись!

👆Бот даст ссылку на Zoom, напомнит о воркшопе, поможет добавить событие в календарь.

Читать полностью…

Друзья, напоминаем о сегодняшнем вебинаре про пользовательские интервью.

Когда:
11 декабря
16:00 Лиссабон
17:00 Амстердам
18:00 Киев
19:00 Москва
Займет ~90 минут


Запишись, чтобы не пропустить.
Бот дает ссылку на трансляцию и позволяет добавить встречу в календарь в два клика. Сегодня напомнит за час "до" и в момент старта.

Читать полностью…

Пятничная задачка

Представьте, что вы — продакт в большом интернет магазине смартфонов. К вам приходит коллега и предлагает провести AB тест по новой шикарной идее. Если добавить на страницу товара кнопку “Поделиться”, то придут новые пользователи, совершат покупку и это увеличит выручку! Соответственно, имеем такой расклад.
— В группе А у нас опция шаринга на странице смартфона отсутствует.
— В группе Б такая кнопка есть.

От слов к делу — давайте пробовать. Как должен выглядеть эксперимент для проверки это гипотезы:
(1) Какую метрику выбрать целевой, по которой мы покажем улучшение
(2) Какие пользователи будут попадать в эксперимент (при выполнении какого условия мы будем включить их в аудиторию эксперимента)
(3) Какие вы видите потенциальные сложности, которые могут помешать нам запустить этот AB тест (например, сложная техническая реализация или особенности дизайна этого теста)

За самый лучший ответ дадим доступ к одному из наших мини-симуляторов (планирование, основы ML или дискавери).

(хотели было давать доступ к курсу по AB тестированию, но если ваш ответ лучший, то наверняка вы и так всё про это знаете))

Читать полностью…

У нас была тактика стратегия, и мы ее придерживались!
А у вас?

Один из важных скиллов продакта — уметь рассказать историю о том, как прийти из сегодня к желаемому результату, например, через год. Такой документ должен вызывать у читающего ощущение, что “Я все понял и верю не только в идею, но и в план”.

Делимся чек листом "Продуктовая стратегия"

Несмотря на то, что историю можно написать по-разному (отсюда и 100500 шаблонов стратегий), основные сложные вопросы остаются на своих местах. Поэтому, кстати, шаблон применим для проектов любого масштаба, будет просто меняться уровень детализации и название документа — а “сложные” вопросы останутся те же, и задавать их можно для:

- Проектов/стратегии компании (Project Review doc, Strategy doc)
- Сервисов/стратегии команды (Product Review doc, Service scope doc)
- Фичей/проектов команды (Product Requirements doc, Stories Breakdown for backlog)

Не забывай, что все рассказанное нужно еще и построить. Поэтому часто тебе придется закопаться в реалии технического состояния системы и их ограничений, чтобы сделать стратегию более реалистичной и выполнимой. Здесь ты найдешь продвинутый шаблон Full Product Review.

Ставь 🔥 если было полезно. И делись этим постом с коллегами.

Читать полностью…

Ты талантливый СММ-копирайтер. Напиши пожалуйста смешное описание к этой картинке. В конце сделай вывод, что надо покупать курсы ProductDo. Напомни про то, что всё еще идет распродажа "Черная пятница"

Читать полностью…

Конец года - скоро будет перформанс ревью

Привет, Владимир на связи и я хочу поговорить про волнительное событие - скоро вам будут ставить “оценку” за год. В разных компаниях это выглядит и называется немного по-разному, но если упростить, то на основе вашей успеваемости (или нет), успехов (или нет) компании, вам будет положен рост (или нет) ЗП, бонус (или 0) и кому-то даже повышение. Ну или увольнение - не каждый день нам успешный успех.

В хороших компаниях оценивают не только, что вы сделали (продажи, конверсию, новый супер сервис и тд), но и как вы это сделали. Да, гением роста метрики быть хорошо, но еще бы неплохо быть тем, от кого не кривит коллег, потому что в длинной гонке выигрывает команда, а не индивид.

Как померить “как”? Конечно, у вашего менеджера копятся о вас наблюдения - это его/ее работа. Вторая часть: 360-фидбек - модное слово для простой процедуры опроса мнения коллег: что вы делаете хорошо и что вы можете делать лучше. Процедура простая, но она может быть довольно эмоциональной, потому что фидбек далеко не всегда о том, какой вы классный. Чего??!? Ну я же классный!

Продакты - ребята очень амбициозные и с высоким самомнением (что для продуктового лидера очень хорошо), и поэтому им очень сложно принять, что они что-то сделали не так. Но надо. Как сказал мой первый менеджер, которому я до сих пор благодарен: “С фидбеком спорить бессмысленно. Это взгляд другого человека на ситуацию. Он просто есть. Его надо впитать, проанализировать, и понять, что ты будешь делать по-другому”.

Разумеется, сказать проще, чем сделать. У меня были моменты, когда я упирался рогом (сейчас я это понимаю, в моменте - нет). Тогда мой менеджер продолжал просить меня описать это в моем Self-reflection документе до тех пор, пока я не проработаю ситуацию до конца. Раз попросил, я написал. Мало, еще вот про это подумай. Написал. А вот это ты пропустил почему? Ладно, ладно! Вот теперь принимается. С тех пор я понял намек, и всегда рефлексирую на все замечания самостоятельно, меня не надо просить три раза.

А своим ребятам я говорю правило: чем больше вы пытаетесь продать хорошее и спрятать под ковер остальное, тем больше вы напрягаете своего менеджера вождением вас за ручку. И наоборот, когда я вижу сбалансированную и прорефлексированную картину, то я вижу - о, передо мной зрелый профессионал. Конечно, это не работает в токсичных компаниях, где нужно продавать себя любой ценой, но у нас всегда есть выбор, как проводить 8 часов своей жизни каждый день, верно?

Читать полностью…

Вернемся к задаче про оценку баров на основе отзывов клиентов, которые видны на карте. Напомню, что мы выбираем, куда пойти с командой отмечать удачный запуск (или даже сильные результаты по итогам года).

Я предложил вам на выбор два заведения, одно с рейтингом 4.2, другое с рейтингом 4.6. Кажется, выбор очевиден? Или нет?

Почти все догадались, что для принятия настоящего дата дривен решения тут не хватает количества отзывов (я специально скрыл эту метрику, google ее показывает). Если посмотреть на полные данные:
→ 4.6 (N=56)
→ 4.2 (N=10'702)
то выбор уже не кажется таким очевидным, правда?

А теперь вспомните, как часто вы в работе брали просто значение метрики (конверсия достигает 11%!!!) и не задумывались о том на какой выборке сделано это измерение, и какая у него точность. Кто так делал ставьте реакцию 😱

Может оказаться, что на самом деле это не 11%, а [11% ±8%], что значительно поменяет ваше восприятие этой метрики, и решения, которые вы примете на основе этих данных.

Обратите внимание, что с такой проблемой сталкиваются все сервисы, которые имеют сортировку по рейтингу, или просто учитывают рейтинг. Не все рейтинги одинаковы!

Как бы вы описали своему аналитику или дата саентисту желаемое продуктовое решение этой задачи?

(Я знаю, что тут есть очень продвинутые в статистике люди, которые знают ответ на эту задачу из практики. Чтобы не спойлерить задачу всем остальным, давайте вы напишете мне просто аббревиатуру названия инструмента, который помогает ее решить, из двух английских букв. Можете дополнить ее фамилией, если хотите).

Читать полностью…

Деньги или время?
Давайте проведем социальный эксперимент:

Что бы вы выбрали: личное время или деньги?

Варианты смотрите в таблице, отвечайте соответствующей реакцией.
Обсудим в комментах;)!

Читать полностью…

Последнее время я часто задумываюсь о фразе: “хороший менеджер может руководить чем угодно”.

Я с этим в корне не согласен. На мой взгляд, каждый менеджер за свою карьеру копит определенную экспертизу. Обычно помимо чисто стратегических вещей, это предполагает знание достаточно глубокого контекста или домена (мобильная реклама, аналитика, маркетплейсы и т.д.). Причем в самом домене может быть полным-полно специфических моментов и механизмов, которые нужно знать и в которых необходимо разбираться. Я не очень верю, что можно принимать качественные решения без знания контекста.

(Во многом поэтому кстати мы создаем симуляторы по отработке практических навыков, а не только рассказываем сухую теорию)

И вот в этом моменте кроется загвоздка. Я часто наблюдал людей на позициях от CPO до каких-нибудь Group Product Managers, которые не особо то “были в теме”. Приводило это в итоге к тому, что люди превращаются в таких “болванчиков”, которые смотрят в рот своему менеджеру (CPO, фаундер, и тд) и стараются всеми силами им угодить. А поскольку собственной компетенции не хватает, то приходится безоговорочно полагаться на руководителей пониже рангом. Большого смысла в таких руководителях нет, потому что принимать качественные самостоятельные решения они не способны. А помочь своим подчиненным они тоже не могут (потому что нет соответствующих навыков и знаний). Я такое явление наблюдал не раз и не два, и оно меня наводит на мысль, что весьма сложно “прыгать” между доменами и далеко не всем это удается. Даже если мы говорим о высоком уровне в плане должности.

Здесь я согласен с Марти Каганом, который в своей книге “Empowered” четко проговаривает следующую мысль. Если менеджеру не хватает компетенции (например, технической) для эффективной работы на своей позиции, то он должен найти себе “коуча” и всеми силами стараться этот пробел восполнить. В противном случае, я не понимаю, как такой человек может работать эффективно? А вы что думаете по этому поводу?

Читать полностью…

Давно не было формата подкаста – давайте это исправим👇.

Текущий период – время активно думать о стратегии на 2025. За 9 минут Владимир расскажет:
- Что такое стратегия в практическом смысле (определений много а суть одна)
- Три опасности, из-за которых стратегия может пойти не туда и директор сделает вот так 🤦🏻‍♂️

Читать полностью…

Мини-хак, который может стоить вам 10-20% вашей зарплаты и пригодится вам в декабре: список достижений.

Сначала грустная новость: никто, кроме вас, не вспомнит детали вашей работы в течении года. Это когда придет время проводить Performance Review, и определять, давать вам бонус или нет. Конечно, если вы сделали что-то космическое, то этого и не нужно, но космическое каждый год делать не получается.

Поэтому, в зависимости от того, как вы вспомните все свои достижения (реальные, разумеется), зависит сила вашего кейса. Сидеть в декабре и пытаться вспомнить, что же там было в марте – занятие печальное. В общем я (Владимир), насмотрелся, как это делает Андрей Менде и решил тоже перенять технику.

Все просто:

В начале года я создаю гуглдок с табличкой, в которой 3 колонки: описание achievement-а, какая команда/тема (я Lead PM, поэтому у меня три направления), бизнес импакт (в цифрах!). В течение года я ее понемногу заполняю.

Например, одна из строчек может быть такой (рандомный пример из Uber):
"Добавили карту поиска машины в аэропортах"
"Команда: Pickup"
"-400 отмен в день"

или вот так:
"Создал стратегию по интеграции с квадрокоптерами доставки и утвердил ее между 4-мя департаментами"
"Тема: Pickup"
"Кросс-департаментная инициатива на уровне директора"

В обоих случаях должно быть ясно, почему это "хорошо". В первом случае это прямой бизнес-результат (меньше отмен), во втором – стратегия по новому направлению и сложное междепартаментное взаимодействие, что тоже не каждый может (по сути, я помогаю директору).

Иногда бывает, что вроде что-то сделал, а в колонке импакт написать нечего. Ну что ж, сорян, такую строчку добавлять бесполезно (на нее менеджер просто "промолчит", и правильно сделает), иду стараться дальше.

В итоге за 4 квартала накапливается строчек 20, которое в декабре вспоминать уже не нужно – они готовенькие ждут в документе. Самое сложное: находить 5 минут в конце недели и спрашивать себя: "Чего полезного я в этот раз сделал?" – для этого у меня даже стоит напоминалка в кадендаре.

В общем вот такой небольшой хак, который легко может сэкономить принести вам много денег и научить думать "а зачем я это делаю". Пользуйтесь на здоровье.

Читать полностью…

На прошлой неделе у меня была рабочая поездка в Шанхай (+ захватывающий 14-часовой перелет из Амстердама). На фото — восход солнца, которым я наслаждался не потому, что я член 5 am club, просыпающийся с солнцем, а из-за 6-ти часового джетлага.

Шанхай другой:
- его население почти в два раза больше, чем население Нидерландов,
- алфавит нечитаем для европейцев,
- большинство приложений незнакомы,
- и только у некоторых есть англоязычные версии.

Несмотря на эти нюансы, люди дружелюбны, всё безопасно и хорошо организовано (для города с 25-миллионным населением). Фантастический факт: чтобы выжить, вам нужно всего одно супер-приложение (я пользовался AliPay), чтобы платить в супермаркетах, просить деньги у других, арендовать уличные велосипеды, вызывать такси, заходить в метро, ​​покупать билеты на самолет и т. д. Очень удобно!

В середине поездки я заметил интересный эффект: мой мозг начал активно генерить новые идеи для рабочих проектов, предлагал варианты пивота продуктовой стратегии, и новые подходы к повседневным проблемам. Видимо, разрыв рутины и столкновение моего ума с кучей непривычных вещей (часовой пояс, город, люди, еда и т. д.) дает эффект новизны — вы начинаете видеть старые вещи под неожиданным углом.

Раньше я замечал тот же эффект на конференциях — просто отправившись в другой город и понаблюдав, как другие решают свои проблемы с продуктом или технологиями, можно сильно повысить способность генерировать новые идеи. Даже проведение стратсессии вне офиса в нерабочем здании делает свое дело (на случай, если вам интересно, почему ваши руководители иногда уезжают в какой-то далекий город на несколько дней;))).

У кого еще были такие инсайты от смены контекстов: больших или малых? Пожалуйста, делитесь, чтобы у меня было еще больше новых идей :)

Читать полностью…

Разбираем первую задачу кейса на применение машинного обучения (ML) для обнаружения спама в объявлениях.

Команда дата саентистов создала несколько моделей, которые предсказывают вероятность того, что объявление – спам. Наша задача – определить метрику, которая бы позволила сравнивать эти модели между собой и выбрать лучшую.

Сначала может показаться, что все достаточно просто, нужно посчитать как часто каждая из моделей ошибается и выбрать ту, которая ошибается меньше.

На самом деле ситуация чуть сложнее. Модель может ошибаться двумя способами:
- назвать нормальное определение спамом (false positive), и
- посчитать спам нормальным объявлением (false negative).

У этих двух видов ошибок принципиально разные последствия с продуктовой точки зрения. Модель, которая все считает спамом, не пропустит ни одного вредоносного объявления, но очень сильно испортит жизнь честным продавцам.

Поэтому правильный ответ: нужно минимум две метрики.

Команда ML может улучшить модель по любой из выбранных характеристик, но только продакт менеджер может выбрать правильный баланс между этими двумя видами ошибок, понимая к каким последствиям они приводят.

В эту среду стартует живой курс "ML для продакт менеджеров". На курсе помимо решения задач в симуляторе, мы будем вместе разбирать подобные кейсы, только на значительно более глубоком уровне. Я расскажу вам, какие решения приходится принимать продакт менеджеру ML команды, чтобы эффективно использовать этот мощный, но дорогой инструмент.

Записаться на курс: тут

P.S. Если у вас еще нет никакого опыта работы с ML, то на первой неделе вы сможете бесплатно пройти курс "Основы ML для продакта" и познакомиться с основными терминами и принципами машинного обучения.

Читать полностью…