ProductDo: практика продакта

07 October 2024 14:29

Продолжим сезон продуктовых кейсов на канале ProductDo.

Сегодня у нас будет кейс на применение машинного обучения. Вы продакт доски объявлений (cian, avito), и на ваш продукт стали активно нападать спамеры. Они публикуют свои рекламные предложения под видом объявлений о товарах в самых популярных разделах.

Ваши модераторы сбиваются с ног, но спамеры активно меняют паттерны, и обходят все ваши блокировки. Вы обращаетесь к ML команде, которая создает несколько алгоритмов, которые определяют вероятность того, что объявление – спам на основе разных подходов.

Ваша задача определить метрику по которой мы будем сравнивать эти алгоритмы, чтобы выбрать тот, который лучше всего справляется с задачей.

Разбор задачи, как обычно, завтра.

ProductDo: практика продакта

26 September 2024 07:00

Разберем последний вопрос продуктового кейса про добавление текста песни в Spotify.

Мы видим в результатах эксперимента, что целевая метрика значимо выросла. Но можно ли сразу праздновать победу?

В вариант эксперимента мы включаем всех, кто видел или мог бы видеть кнопку "Показать текст песни". Однако, нам еще очень интересно сколько из них фактически воспользовалось новым функционалом – это всего 1.5% Если мы проверим среднее количество часов стриминга в этой небольшой группе, то увидим, что оно не выросло относительно базы.

Несколько человек правильно сформулировали вывод в комментариях: получается, что весь рост целевой метрики обеспечили те пользователи, которые только видели кнопку, но не кликали на нее.

Зачем мы проводим А/Б эксперименты? Чтобы проверять гипотезы! Подтверждают ли полученные данные гипотезу о том, что текст песни повышает активность использования сервиса? Нет. Теоретически можно выдвинуть альтернативную гипотезу о том, что сам факт появления кнопки как-то влияет на поведение пользователей, и её даже можно проверить. Но мне такая теория кажется скорее конспирологической, я бы не стал тратить на нее ресурсы команды.

Более вероятно, что мы имеем на руках false positive. Дешевле всего проверить это перезапуском эксперимента с теми же параметрами, если вам правда нужен точный окончательный диагноз. Но я не очень понимаю, что это изменит в наших планах, текущую реализацию точно можно выкидывать. Из-за очень низкого интереса пользователей, эта фича точно не может дать значительного роста целевой метрики с такой аудиторией.

Протокол принятия решения по А/Б эксперименту – это не только проверка стат значимости на целевой метрике, но и анализ дополнительных метрик, которые могут показать, что гипотеза не работает, или работает не так как вы предполагали. А это очень важно, потому что ценность эксперимента не только в том результате, которого удалось добиться здесь и сейчас, а в том что вы установили важный факт о потребностях своих клиентов. Основываясь на этом факте вы будете строить дальнейшие планы и стратегии, они не должны основываться на ложных предпосылках.

Приз за лучший комментарий в этот раз достается Yuliya, которая первая сформулировала целиком корректные выводы из эксперимента (ответ Ilya Chapyshev, призера прошлого раунда, тоже очень хорош).

Приз зрительских симпатий присуждается коллективному варианту ответа: "Признаем эксперимент неудачным, но раскатываем на всех с формулировкой "не зря же старались!"

Если вам понравилась серия постов с разбором кейса, поставьте, пожалуйста, под этим постом огонек или другую реакцию. SMM-щик не разрешит мне продолжить эту рубрику, если я не докажу ему на данных, что у таких постов высокий engagement!

В комментариях можно предложить тему для следующего кейса, которую вам интересно было бы разобрать вместе.

ProductDo: практика продакта

19 September 2024 07:56

Доброго утра, коллеги. Мы продолжаем обсуждать продуктовый кейс: добавление в Spotify фичи, которая позволяет просмотреть текст песни, которую пользователь слушает.

Мы обсуждали вопрос: какие пользователи должны учитываться в эксперименте, который будет проверять полезность новой фичи. Давайте разберем ответы, опять от самых неправильных к самым правильным.

(3, 4) Только те кто открыл песни + Только те кто открыл песни и проскроллил его
Оба эти варианта чисто технически неверны. Открыл ли, человек текст песни, и проскроллил ли он его, мы можем знать только в варианте, где такая функциональность существует. В базе нет эквивалентной группы пользователей, сравнение невозможно.

(1) Все кто слушал музыку – этот ответ задумывался как вариант-ловушка, но из-за того, что я ошибся в формулировке правильного варианта, он оказался технически самым правильным из предложенных. facepalm.jpg

(2) Только те, кто видел кнопку "Открыть текст песни". На самом деле здесь должно было быть написано "Только те, кто мог бы увидеть кнопку "Открыть текст песни". Потому что увидеть кнопку можно только если она существует – только в варианте эксперимента, в идеале мы хотим включить в эксперимент всех, кто посмотрел на ту часть экрана, где появляется кнопка.

Если сформулировать первичный принцип: в эксперимент должны включаться все на кого потенциально могло повлиять изменение пользовательского опыта, и, насколько это возможно, только они.

Если мы будем учитывать в эксперименте всех, кто слушал музыку, то мы добавим и к контрольной группе и к варианту некоторое количество шума (пользователей на которых наши изменения никак не повлияли и не могли повлиять). Это не сделает результат эксперимента не валидными, но снизит наши шансы задетектить эффект.

Поэтому мы хотим учитывать только тех, кто дошел до той части пользовательского опыта, которую мы изменили, и в идеале только их. Вполне разумно проверять, домотал ли пользователь до нужного элемента на странице (on view).

Приз за лучший ответ достается в этот раз Ilya Chapyshev, который первым смог продраться через ошибку формулировки, и независимо сформулировал правильный ответ.

А завтра последний, решающий раунд – обсудим результаты эксперимента.

ProductDo: практика продакта

16 September 2024 07:29

Доброго утра, коллеги! На этой неделе у нас будет продуктовый кейс в несколько ходов, так что не переключайтесь. Начнем в понедельник с разминочного раунда.

Вы продакт в компании Spotify (в этом месте я поймал странное ощущение, как будто я пишу промпт для llm, а не кейс для продактов), и вы придумали новую фичу: дать пользователю возможность посмотреть текст песни, которая сейчас играет.

Компания Spotify очень data-driven (у них даже собственный движок экспериментов есть), поэтому фича будет запускаться через A/B тест. Кроме того Spotify – зрелая компания на высококонкурентном рынке, поэтому стратегической целью компании на данном этапе является выручка и доля на рынке.

Какую целевую метрику вы бы выбрали для проведения эксперимента?

Разбор решения и следующий вопрос – завтра. Мы не даем призов за правильный ответ сам по себе, но каждый день будем разыгрывать один мини-симулятор в качестве приза за самое лучшее обоснование правильного ответа в комментариях. Умение убедительно аргументировать свою точку зрения для продакт мененеджера, пожалуй, даже важнее, чем умение давать правильный ответ.

ProductDo: практика продакта

12 September 2024 08:17

Привет, это Владимир. Я недавно постил задачку про MVP, а теперь упаковал это в статью и добавил еще примеров фичей и как их "уменьшать", так что если хотите лонгрид (аж 8 минут!), то велкам, должно хорошо зайти с утренним кофе ☕️

https://vc.ru/hr/1401709-prakticheskie-primery-mvp-dlya-proektov-produktov-i-fichei

ProductDo: практика продакта

09 September 2024 07:07

Снова в школу: -15% на все. С 9 по 15 сентября 🍂

Привет, друзья! Надеемся, лето прошло в крутых путешествия, и вы успели отдохнуть. Мы в ProductDo не сидели без дела: улучшали симуляторы и добавляли новые уроки. Лето закончилось, а значит, пора учиться и расти в профессии.
Не устаем повторять: чтобы стать действительно крутым профессионалом, нужно качать свои хард-скиллы:
• Технические знания (всё вокруг — это сервисы),
• ML-знания (новая норма: будущее за ML PM),
• A/B тестирование (выбирай фичи не ‘чуйкой фаундера’, а данными),
• Аналитика и SQL (задавай вопросы данным),
• Планирование и OKR (налаживай процессы команды),
и так далее.
Хороший продакт-менеджер придерживается принципа 80/20: он разбирается во всех перечисленных выше областях на базовом уровне (80%), а в одной-двух темах обладает глубокой экспертизой (20%).
До 15 сентября на все курсы ProductDo действует скидка 15%. Поскольку во многих симуляторах стало больше ценности, после окончания акции мы немного поднимем цены.
Выбирайте симулятор со скидкой по этой ссылке и учитесь на практических задачках, которые заставят ваш мозг скрипеть, а новые нейронные связи — расти. Если нужна помощь с выбором, пишите в саппорт @productdo_team_bot — опытные Lead/Sr PM помогут советом.
Уверены, что будет полезно.

ProductDo: практика продакта

04 September 2024 08:38

Яркий пример того, как не стоит использовать AI

На Reddit один пользователь поделился историей о серьёзном отравлении лесными грибами. При сборе руководствовались книгой, купленной на _крупной цифровой платформе, известной своими продажами книг и других товаров_.

В процессе обсуждения стало ясно, что эта книга, скорее всего, была создана с помощью AI. Например, несколько абзацев заканчиваются фразами вроде: «В заключение, сморчки — это вкусные грибы, которые можно есть с августа до конца лета. Сообщите мне, если я могу чем-то ещё помочь».

Кроме того, изображения в книге, как оказалось, тоже были частично сгенерированы AI, что выглядит особенно безумно, учитывая её тематику.

В целом я считаю, что угрозу от AI преувеличивают, и что замедление прогресса часто не оправдано. Но когда сталкиваешься с подобным, начинаешь понимать, откуда берутся опасения.

ProductDo: практика продакта

30 August 2024 16:46

Вместо пятничного мема сегодня будет смешная и немного поучительная история про UX. Мне ее рассказал коллега, который тоже занимается каталогом товаров и поиском, на условиях анонимности.

Решила его команда сделать количественное исследование на своих страницах и для этого разместили в нижней половине страницы виджет сбора обратной связи. С одним вопросом и цифрами от 1 до 5, примерно как на приложенной картинке.

Вопрос был что-то вроде "Оцените удобство использования каталога" 1 - не удобно, 5- очень удобно. После двух дней с огромым отрывом лидирует ответ 2.

Команда, конечно, расстроилась немного, что они такую низкую оценку получили. Но продакт всех приободрил: "Зато у нас огромные перспективы по улучшению каталога. Наляжем, ребята! Конверсия на 5% вырастет, если мы UX поправим".

Параллельно они перезапустили опрос, чтобы понять детальнее, что не так со страницей. На этот раз спросили "Насколько трудно вам было найти нужный товар?" 1 - очень легко, 5 - очень трудно. И опять с огромным отрывом победил ответ 2.

Тут команда еще крепче задумалась, позвали самого опытного UX researcher'а разобраться, почему такие странные результаты.

UX researcher сделал два качественных интервью с живыми пользователями, и вышел из звонка в слезах от смеха.

Угадаете, что было не так с опросами?

UPD Spoiler alert. В комментах есть правильные ответы, подумайте сами перед тем как заглядывать.

ProductDo: практика продакта

21 August 2024 08:44

Сегодня в программе секретный менеджерский инструмент “Personal SWOT”, часто упакованый под “просто поговорим”.

Его можно либо применить к подчиненным (если есть), либо попросить босса применить к вам, либо просто взять и сделать его самому себе. Если вы, не отрывая головы от компа, работаете работу, то не забывайте иногда все-таки находить время на такие упражнения – полчаса с бумажкой и ручкой в тишине могут существенно поменять вашу траекторию в длинной игре.

Все продакты, разумеется, знакомы со SWOT-анализом для проекта: берем идею, ищем ее
- сильные стороны (Strength),
- слабые стороны (Weaknessses),
- куда стоит подрасти (Opportunities),
- и откуда могут прийти опасности (Threats).
А теперь применяем это к… своей карьере.

Если вы настоящий продакт, то список ваших сильных сторон будет оочень длинный. Продакт он и ответственный, он и решает проблемы, да что уж – и самый умный :). Если серьезно, то выпишите только 3-5 сильных сторон и будьте критичны к себе – это не для резюме, а для себя. Например, в свои “S” я записал: “Люблю и умею превращать расплывчатые идеи сначала в PRD, а потом и в работающие фичи”. И еще: “Технические знания в сочетании с бизнес знаниями”. В один момент пришлось искать второй лист!

Вторая часть (weaknesses) продактам дается сложнее – неужели у нас есть недостатки? Кстати, если вы придете к менеджеру с пустым списком “W”, то незаметно уменьшите себе очки в категории “Зрелость” (career maturity). Вспоминаем фидбек коллег, главные факапы, самокопания и пишем 3-5 слабостей.
Я себе написал: “Из-за большого опыта и природного рвения имею тенденцию решать проблемы сам, тогда как в моей должности менеджера я должен создавать структуры для других”.

Важная часть – Opportunities. На основе ваших S и W, что нужно развивать и куда стремиться? Стоит ли усилить S или бороться с W? А что стоит оставить как есть?

Я тут написал “Вырасти в менеджменте. Относиться к менеджменту так же серьезно, как и к бизнес-части”. Это точно моя оппортюнити, если я собираюсь продолжать расти в сторону директорства (в большой компании) или CPO (в маленькой). Сейчас баланс где-то 50/50, но я должен быть готов сместить его в 70/30 или даже с большим перекосом “в людей”.

Наконец, Threats - что может помешать моему карьерному плану? Стоит ли мне подкачать weaknesses? Или наоборот усилить и без того сильные Strength? Вижу ли я какой-то приближающийся айсберг:
Заберет ли AI мою работу?
Есть ли знаки того, что мой продукт закроют?

В моем случае главная “T” это игнорирование “Weakness”, что закроет мне дорогу в лидершип. Причем не в том смысле, что меня не пустят, а в том, что мне будет там довольно тяжело и я сам уйду.

Упражнение самое время сделать, пока на работе летнее затишье. Когда список готов, можно добавить ему немного объективности: попросите менеджера (или ментора) обсудить с вами самоанализ и дополнить его точкой зрения со стороны. Уверяю вас, что в списке появится еще 2-3 “W”, “O”, “T” (которые вы не хотите замечать) и уйдет парочка “S” ;).

Первый шаг к росту - признание :).
Надеюсь, было полезно.

ProductDo: практика продакта

14 August 2024 09:18

Меня ужасно раздражает, когда коллеги начинают диалог отдельным сообщением "Привет!". Или хуже того "Привет! Есть минутка?" "Hello, how are you?" – господи, да напиши уже сразу по сути, зачем ты влез в мое информационное пространство.

Есть даже сайты посвященные этой ужасной привычке. Классика: no-hello.com или чуть более красивый: nohello.net Некоторые ставят ссылку на этот сайт в свое био в надежде, что смолтокеры заметят (ха-ха, конечно).

Сегодня я узнал, что есть и противоборствующее движение! У коллеги в профиле стоит ссылка на yes-hello.com На этом сайте буквально написано, что никто не может быть слишком занят, чтобы ответить на "Привет" и вообще эти бессмысленные микро-диалоги добавляют нашему общению "человечности". Crazy!

А на какой вы стороне?
👍 = no hello
❤️ = yes hello

UPD: Что?! Кто наставил сердечек? Объясните в комментах, зачем вы это делаете?

ProductDo: практика продакта

03 August 2024 07:14

Субботний мем с героями дня.

На самом деле Юсуф Дикеч (справа) профессиональный спортсмен. Он очень успешно выступает на соревнованиях по спортивной стрельбе с начала 2000-х годов. Он двукратный чемпион мира и многократный чемпион Европы.

Но посмотрите как сильно аудитория реагирует на его "расслабленный" вайб.

А вы как выглядите на работе? :)

ProductDo: практика продакта

30 July 2024 16:18

Через неделю стартует новый поток курса "ML для продакта"!

Привет, это Андрей Менде, автор курса, ML Senior Product в Booking.

Что нас ждет?
- если вы еще не сталкивались с ML на практике, вы можете пройти симулятор по основам ML и разобраться с основными понятиями – этого будет достаточно, чтобы дальше полноценно участвовать в курсе
- практические задания по ML: часть в виде симуляторов, часть в форме командных заданий
- живые воркшопы, где мы вместе разбираем различные кейсы по применению ML в продуктах

Уникальная ценность этого курса в том, что мы будем разбирать именно те аспекты, за которые отвечает продакт менеджер. Не архитектуры моделей, не оптимизацию гиперпараметров, а выбор бизнес кейса, управление сложным циклом разработки и внедрение в продукт.

Воркшопы проходят по средам в 18:00 CET (19:00 GMT+3).
Записи сохраняем, но личное участие бесценно.

Запрыгивайте в последний вагон, пока поезд катится еще медленно.

ProductDo: практика продакта

24 July 2024 08:32

Спасибо всем кто побрейнштормил вчера идеи про то, как можно собирать отзывы без насилия над пользователями. Зачем применять насилие, когда мы, продакты, можем чего угодно добиться с помощью пассивной агрессии, и игры на страхе упущенной выгоды? :)

Сегодня с вами Андрей и я хочу предложить вам подумать над другим вопросом про ту же историю.

Кратко напомню суть: приложение для бронировании тренировок после окончания занятия показывает экран с предложением оставить отзыв, который никак нельзя пропустить. Либо таки оставить отзыв, либо сказать, что на занятии вы не были ("I missed it."), но тогда вам выпишут денежный штраф. Читайте подробности в предыдущем посте.

Я обожаю реверс-инжинирить продуктовые фичи, потому что это очень помогает понять истинную бизнес модель продукта, и приоткрывает завесу к тому как мыслят коллеги в разных индустриях.

Как вы думаете, почему продакт пошел на такой беспрецедентный шаг и решил достаточно жестко выбивать отзывы из пользователей? Наводящий вопрос: какую метрику он этим растит? Пишите свои варианты в комментах.

У меня есть гипотеза в которой я настолько уверен, что готов с желающими заключать пари на деньги. Я вижу несколько причин, почему собирать отзывы может быть важно, но также я почти уверен, что только одна из них достаточно важна, чтобы продакт решился так поступать со своими пользователями. Вот это вот странное чувство, что ты понимаешь чудика на том конце продукта, это и есть насмотренность, да?

ProductDo: практика продакта

20 July 2024 08:45

Забавно, что ChatGPT помогает нам брейнстормить, генерировать гипотезы, и писать стратегию.

Чтобы у нас было больше времени двигать таски в Jira и писать статус репорты.

ProductDo: практика продакта

18 July 2024 15:32

Когда я был начинающим менеджером по продукту, я работал над неким внутренним инструментом. И в качестве ключевой метрики своей команды я с гордостью докладывал о сэкономленных «человеко-часах» сотрудников.

На одной из встреч с руководством, директор посмотрел на мой слайд и сказал: «Андрей, пока мы не можем кого-то уволить, ваш результат для бизнеса равен нулю».

Эта история всплыла у меня перед глазами, когда я читал эту статью в The Economist. Суть в том, что мы не видим никакого влияния революции ИИ на макроэкономические данные.

Уровень занятости остается высоким во всех секторах, производительность труда не увеличилась. Акции компаний, которые должны бы извлекать выгоду из ИИ (не путать с поставщиками ИИ), показывают результаты ниже среднего. Мы не можем никого уволить, мы не стали больше зарабатывать... зато все те, кто боялся, что завтра их работу отнимет ИИ, могут пока расслабиться.

Squoia опубликовала статью Вопрос на 600 миллиардов долларов: чтобы окупить наши текущие инвестиции в AI нужно откуда-то взять еще 600B выручки, которую эта технология будет генерировать. Пожалуйста, не записывайте меня в скептики, но я пока не вижу коммерческих применений такого масштаба на горизонте.

К сожалению, кажется, что хайп – это естественный способ, который человечество придумало, чтобы делать быстрый поиск всех экономически целесообразных применений новой технологии. Просто убедитесь, что вы не оплачиваете этот поиск из своего кармана (если только вы не венчурный капиталист или не выбрали такую стратегию сознательно).

ProductDo: практика продакта

27 September 2024 07:47

Почему стартапы не могут соревноваться с корпорациями в оптимизации

Мой коллега из Flo (и серийный студент ProductDo) Александр Зинчук опубликовал вторую часть статьи про автоматизацию онбординга. Статья довольно объемная (~15 минут вдумчивого чтения). В статье Саша рассказывает очень много деталей про устройство конструктора онбордингов для мобильного приложения.

Саша построил внутренний продукт, который дал возможность другим командам во Flo запускать в несколько раз больше экспериментов на оптимизацию воронок за счет того, что все поддерживающие процессы автоматизированы, обвешаны мониторингами, и почти не требуют накладных издержек.

А теперь подумайте, может ли небольшая компания, которая не может позволить себе построить такой "комбайн" для проверки гипотез соревноваться с Flo в игре оптимизации? Единственный шанс стартапа в этой гонке – это радикально другое ценностное предложение. Заниматься микро-оптимизациями просто бессмысленно, если вы не можете нанять такого крутого продакта как Саша и дать ему отдельную команду чисто для того, чтобы делать внутренние инструменты.

И обратите внимание на то, сколько хард скиллов Саша применил при этом на весьма глубоком уровне:
- тут явно тех продакт менеджмент 80 lvl – только посмотрите сколько компонентов и их взаимодействий на схемах в статье, и насколько сложные технические решения нужно принимать, чтобы они все работали как слаженный оркестр
- в комбинации с виртуозным владением а/б экспериментированием, причем не на уровне "я могу проводить тесты", а на уровне "я могу делать инструмент и задавать методологию для других команд"

Как обычно, оставляйте свои комментарии и вопросы Саше под постом, он прочитает и ответит.

https://medium.com/flo-health/mobile-onboarding-evolution-part-2-d7c324c348fe

ProductDo: практика продакта

25 September 2024 07:17

Доброго утра, коллеги!

Сегодня у нас последняя часть продуктового кейса.
Напомню фабулу: мы добавляем возможность просмотреть текст песни в приложение Spotify. Мы уже обсудили, что целевой метрикой будет количество часов стриминга музыки на пользователя, и что в эксперимент мы будем включать всех, у кого на экране появилась та часть интерфейса, где находится кнопка "Открыть текст песни" (или могла бы находится, если вы в базе, и кнопка вам не показывается).

Эксперимент проведен, вы изучаете результаты. Все выглядит прекрасно, в варианте с кнопкой вы видите статистически значимое увеличение количество часов стриминга на 0.5% (половину процента). На масштабе Spotify это достаточно значительное улучшение.

Ради интереса вы смотрите также на метрики взаимодействия с новой фичей, и замечаете, что текст песни открывало всего 1.5% пользователей из тех, кто видел кнопку, а скроллило текст дальше первого экрана всего 0.3%. Вы также замечаете, что среднее время стриминга на пользователя у этой группы пользователе такое же, как в базе эксперимента, даже чуть ниже.

Какое решение по эксперименту вы предложите своей команде?

ProductDo: практика продакта

17 September 2024 08:04

Привет! Мы продолжаем обсуждать продуктовый кейс: добавление в Spotify фичи, которая позволяет просмотреть текст песни, которую пользователь слушает.

Вчера мы обсудили какую целевую метрику нужно выбрать для эксперимента. Давайте разберем ответы. Я пойду от самых неправильных к более правильным.

(1) Конверсия в открытие текста песни – это единственный совсем неправильный вариант. Такая метрика технически не может быть целевой в A/B эксперименте: в базе она будет всегда 0, вариант по этой метрике всегда выиграет, тест можно не проводить. Не поймите меня неправильно, мы будем на нее смотреть, просто решение в эксперименте по ней принять невозомжно.

(2) Конверсия в продление подписки – это метрика, которая точнее всего отражает нашу бизнес-цель, но учитывая большую задержку наблюдения и низкую чувствительность, она скорее всего очень неудобна для экспериментов. По большинству изменений в продукте мы бы не увидели значимого отклика.

(3) DAU – этот ответ вполне мог бы быть правильным, если бы следующий не был лучше по нескольким параметрам.

(4) Количество часов стриминга музыки – отличная чувствительная быстро наблюдаемая метрика, которая еще и отлично отражает, то что пользователи успешно получают ценность от продукта. Скорее всего более эта метрика более чувствительна, чем DAU, потому что у нее выше богатство значений: пользователи сначала начинают слушать меньше, потом перестают заходить, и лишь потом не продлевают подписку.

Приз за лучшие рассуждения мы присуждаем Husan Turdiev, мы с вами свяжемся чтобы передать бесплатно любой мини-симулятор от ProductDo. Но в комментариях было очень много интересных рассуждений, выбрать было очень трудно. Пожалуйста, помогайте нам лайками – ставьте реакции к комментариям, которые вам понравились. Как на реддите и stackoverflow.

C целевой метрикой мы определились, теперь давайте ответим на следующий вопрос по A/Б эксперименту в котором мы добавим фичу просмотра текста песни в Spotify.

Какие пользователи должны учитываться в эксперименте?

ProductDo: практика продакта

13 September 2024 08:22

Посвящается всем, кто физически еще в отпуске, а головой уже на работе.

Кстати, у нас всё еще идет осенняя распродажа под кодовым названием "снова в школу". До 21:00 (GMT+3) 15 сентября на все курсы ProductDo действует скидка 15%. Осталась пара дней. Just saying.

ProductDo: практика продакта

10 September 2024 15:13

Столкнулся тут давеча с интересным багом при настройке нового iPad’а для ребенка. Для авторизации я создал детский аккаунт с родительским контролем, но… не смог его активировать. На последнем этапе для активации зачем-то используется CVV привязанной к аккаунту карты. И этот способ абсолютно не работал без какого либо внятного сообщения об ошибке. Пришлось несколько раз обращаться в поддержку Эпл и я был одновременно поражен и разочарован.

Поражен я был тем, что поддержка работает моментально, есть возможность обратного звонка с локального номера в твоей стране. У Эпла работает функция отображения твоего экрана устройства вместе с отрисовкой курсора (куда нажимать) со стороны инженера поддержки (без какого либо стороннего софта). При этом предусмотрены паузы в демонстрациях для скрытия чувствительных данных (вроде CVV или пароля). Нигде такого уровня до этого не видел.

А разочарован я был тем, что даже после 1+ часа (!) разговора по телефону с демонстрацией экрана мою проблему решить так и не смогли 🙂 Поиск в Гугле показывает, что проблема распространенная. А само решение проблемы сводится к перебору устройств для создания профиля, различных способов оплаты и рандомных настроек в телефоне. Доходит до абсурдных советов вроде «одолжите кредитную карту друга в вашей стране проживания, возможно с дебетовой картой или paypal создать профиль для ребенка не получится). Каким образом в такой мегакорпорации существуют такие странные проблемы (которые кажется отсутствуют у Гугла с Андроидом) для меня до сих пор загадка.

Получается абсурдная ситуация. Я впечатлен качеством технологий… Но вот результат от этих технологий нулевой. Чисто продуктово кажется что кто-то зачем-то захотел решить простую потребность пользователей, уже решенную у конкурента, максимально сложным и непрактичным способом. Я честно пытался найти этому какое-то разумное объяснение, но мне это не удалось. Возможно, конечно, что это очередной случай повышения какой-то бестолковой метрики вроде "количество привязанных способов оплаты к аккаунту". Которая позже влияет на объем продаж в AppStore. Но метод все равно выглядит странным и ценности пользователю точно никакой не несет.

А что вы думаете по этому поводу?

ProductDo: практика продакта

06 September 2024 09:03

Темные паттерны подъема метрик

Добавлю в копилку историй про то, как растить метрики, наплевав на здравый смысл и ценность для пользователей.
Недавно хотел оставить комментарий к статье на Medium с мобильного телефона и… не смог этого сделать! Оказывается, комментировать с мобильного телефона в Medium можно только установив их приложение. Возможно, это действует уже давно, но я до этого как-то не замечал. Потому что на Medium я 99% времени читаю и ставлю лайки, а не оставляю комментарии.

Очередной интересный ход. Метрика установки приложения наверняка растет, метрика энгейджмента в комментариях наверняка просела, но все довольны кроме самих пользователей. В общем то, это типичная история из цикла “не хотите добровольно – мы вас заставим”.

Лично мне, как пользователю, нужен сам контент, который я нахожу в гугле или их поиске, а не не их мобильное приложение. Но у компании, безусловно, другие планы. Видимо, всем охота превратить свои блоги в полноценные коммьюнити и параллельно врубить монетизацию в AppStore и GooglePlay. При этом, когда я проверяю их странички в сторах, то там 10 млн+ установок и рейтинги в 4.6 и 4.8. Что, видимо, говорит о том, что кому-то приложение Medium на своем устройстве все-таки нужно.

Возможно я просто старый и не понимаю, что мобильное приложение действительно необходимо вне зависимости от типа бизнеса и решаемых кейсов. Ведь по статистике 90% времени пользователи проводят в мобильных приложениях на своих телефонах (что звучит вполне логично). Хотя я знаю и обратные кейсы, когда наличие веб версии позволяет обходить ограничения Apple и Google, продавать подписки в обход сторов и заодно закупать трафик более эффективно.

А вы как думаете? Действительно ли мобильные приложения – это путь к успеху и маст хэв для любой компании или это не так?

ProductDo: практика продакта

02 September 2024 07:11

Еще один нидзя-хак из повседневной продуктовой практики.
Я называю его "кривой дизайн от Владимира".

Начнем с проблемы: у продактов куча идей и их надо как-то доносить до остальных. И в этот момент чаще всего все сводится к двум опциям:
1. Продакт включает перфециониста и пытается сделать идеальный дизайн своей идеи: рисует в Figma сам, ждет, пока у дизайнера найдется время, отвергает первые варианты. Время идет, а идея так и не увидела свет.

2. Еще чаще продакт пытается объяснить идею словами. Ладно еще в комнате все нейтивы, но сочетание "английский мой второй язык" и принципиальные ограничения устной речи приводят к тому, что все вроде кивают, а на деле у каждого в голове своя картинка. Пример из жизни: скажите кому-нибудь, что хотите сделать хороший ремонт: один представит индастриал с кирпичами, другая - огромные окна, третий - 10 шкафов для барахла.

Что же делать? На помощь приходят "уродливые дизайны".

1. Простое описание фичи, в виде набросков из скриншотов и самодельного текста
2. Объясняет суть идеи без претензии на вид
3. Занимает около 2-5 минут в производстве
4. Делается где угодно - в слайдах, доках, Миро - везде
5. Нарочито “кривые”, чтобы дизайнер не почуял конкуренцию ;)

Ниже я набросал такой для Spotify. Я представил, что я работаю там продактом и решил предложить фичу “Концерты этой группы неподалеку”.
Вместо того, чтобы объяснять все это и отвечать на вопросы “А где? А у нас нет места? А дату указывать? А локацию?” и так далее, я за 2 минуты сделал Google-слайд, куда скопировал: скриншот экрана артиста и добавил свой серый текстовый блок с посылом. Теперь я могу идти договариваться со стейкхолдерами (директором, другими продактами, технарями и тд) и мы можем спорить не об абстрактном коне в вакууме, а об этом (почти) конечном результате.

Сделает ли вас этот хак CEO прямо завтра? Нет. Сделает ли он вашу продуктовую жизнь еще на 1% легче. Да!

Напишите, пожалуйста, какие еще хаки донесения идей до остальных вы еще используете?

ProductDo: практика продакта

28 August 2024 07:57

Привет, это Андрей. На этих выходных я выступил (remote) на конференции ProductCamp с темой "Три способа ускорить ваши A/B эксперименты".

Про некоторые из этих методов по отдельности я рассказывал на других конференциях. В этот раз хотел продемонстрировать весь "набор инструментов" целиком, чтобы системно показать все средства, которые есть в распоряжении продакта, чтобы тестировать гипотезы быстрее.

Если вы еще не умеете делать расчет длительности теста, то попрактиковаться в этом на примерах можно в нашем курсе "A/B тестирование для продакта". Если это уже пройденный этап, то, скорее всего, следующая проблема с которой вы столкнетесь – это то, что расчет длительности выдает 11 недель, и вам это не нравится.

Половину доклада занимает мысль, что магии не существует: если мощности не хватает, то значит вы как продакт работаете не с теми гипотезами. На этом этапе развития продукта нужно работать с более радикальными изменениями, тогда мощности будет достаточно.

А вторая половина доклада посвящена тому, что все-таки можно сделать, если позарез нужно больше чувствительности эксперимента.

1. CUPED adjusted – это черная статистическая магия, которая позволяет из некоторых метрик сделать производную синтетическую метрику, которая будет более чувствительна к изменениям. Работает только если есть исторические данные по оригинальной метрике.
2. Sequential testing – это метод проведения эксперимента, когда принимать решение можно не только в конце расчетного периода, но и на нескольких "чек поинтах". Если изменение очень сильное, то через три дня можно завершить тест не греша против методологии.
3. Использовать более мощную продуктовую метрику – это целая гамма методов, коротко не пересказать. Это не статистический трюк, а скорее продуктовый. Чем лучше у продакта скил в аналитике, тем шире возможности открываются. Если интересно больше подробностей про этот пункт – спрашивайте в комментах, напишу отдельный пост.

В конце доклада разыграл среди зрителей скидку на курс за лучший вопрос. Когда стали выдавать подарок победителю выяснилось, что она уже прошла два курса от ProductDo. Вероника поздравляю еще раз, спасибо за вопрос!

ProductDo: практика продакта

16 August 2024 07:07

Ситуация на картинке, как удивительно, не редкость. Вроде все спланировали, а тут директор приходит с “еще одной важной задачей”. У вас три варианта действий : два неправильных и один правильный:

1. Согласиться делать а-ля “да не вопрос шеф, мы все успеем”. Начальник будет временно успокоен, но, если вы планировали по-настоящему, непонятно, откуда у вас вдруг взялось время на еще одно большое задание. Так что с большой вероятностью оба поезда не доедут, и начальник будет злиться.
2. Жестко отказаться а-ля “План есть план, приходи через квартал/семестр/год (в зависимости от срока планирования)”. С точки зрения “отличника”, это правильный подход, но с точки зрения реальности разработки - нет: что-то забыли, или пришла новая регуляция, или конкурент сделал неожиданный поворот. Если бы это было не так, то не было бы этого мемаса 😉
3. Правильный ответ: очень спокойно предложить боссу приоритизировать текущие планы относительно нового запроса и сказать, что можно выкинуть из роадпамы. Важный дипломатический момент тут в том, что это должен сказать сам босс, таким образом подписывая тот факт, что начальные планы полностью выполнены не будут.

В хороших компаниях все пожмут плечами типа “бывает” и пойдут по пути 3. В плохих компаниях лидеры пытаются продавить “еще одну фичу” силой, создавая ненужный стресс и убивая всю идею хорошего планирования (“все равно все поменяют”). Из таких компаний я бы уходил - кайф от работы дороже.

Есть совет как еще можно поступить в этой ситуации? Пишите в комментах!

ProductDo: практика продакта

09 August 2024 12:34

Ребята, мы с очередной полезностью: диаграммой коллег продакта (Group PM, Developer, Analyst, QA и так далее). Для каждого коллеги можно кликнуть и посмотреть, что им от вас нужно, что вам от них нужно и чего лучше избегать, чтобы не испортить отношения.

Для новичков в профессии - это очень важная "карта" для ориентации в пространстве организации, так что пользуйтесь на здоровье!

Кстати, диаграмма - часть нового урока нашего курса "Основы продакт менеджмента", где мы как раз рассказываем про все разновидности продактов (около 30 вариаций специализаций, доменов, грейдов) и их окружения в больших компаниях. Так что, если надоело отдыхать, приходите учиться :)

Ссылка на диаграмму:
https://productdo.it/team

ProductDo: практика продакта

02 August 2024 11:28

Я не знаю, что больше бесит: то что у меня нет выбора, хотя продакт отчаянно пытается создать иллюзию такового.
Или то, что не смотря на то, что выбора нет, он зачем-то все равно применяет темный паттерн для того, чтобы я нажал "Exit", а не "Quit".

На самом деле бесит то, что я понимаю, что продакт просто решил, что этот редкий диалог не оправдывает отдельного дизайна. И где-то глубоко внутри я знаю, что я поступил бы также, будь я на его месте.

ProductDo: практика продакта

26 July 2024 10:04

Это продолжение обсуждения кейса про то, как продакт ClassPass решил принудительно собирать отзывы, не давая пользователям возможность закрыть экран, кроме как поставив оценку занятию. Подробности кейса читайте в предыдущих сериях (1, 2).

Я предложил вам совместно поразмышлять о том, что могло заставить продакта так агрессивно собирать отзывы. Какую именно метрику он этим растит? Моя гипотеза отличается от всех, которые высказаны в комментариях, давайте я вам ее изложу, а вы напишете, насколько она вам кажется убедительной.

ClassPass это подписочный продукт длительного повторяющегося использования (вспоминаем все классические схемы метрик Netflix).
У продактов такого продукта две ключевые метрики:
- конверсия лидов в подписки
- retention уже набранных когорт

Я пробежался по landing страницам, и там конкретные занятия и их review score особо не упоминаются. На лендингах акцент стоит на том, чтобы объяснить как в целом работает схема "универсального абонемента на любые занятия". Поэтому предположим, что ревью на конверсию лидов особо не влияют. (*)

Влияют ли review на retention? North star метрика Netflix – это количество часов потребленного контента на пользователя. Потому что это надежная и чувствительная продуктовая прокси метрика для продления подписки, то есть для выручки. Кто продолжает активно смотреть, тот скорее всего продлит подписку, и принесет денег.

Аналогичным образом для ClassPass скорее всего north star что-то вроде количества посещенных занятий в неделю/месяц/год.

Когда вы, как клиент, пытаетесь воспользоваться уникальным преимущетвом ClassPass, и смотрите на список доступных занятий в списке или на карте, я думаю, наличие у них высокого рейтинга сильно повышает вероятность того, что вы что-то забронируете.

Так что правильный ответ, на мой взгляд, такой: продакт собирает отзывы потому что высокий рейтинг значительно повышает активность существующих пользователей и, соответственно, ретеншн когорт.

Этот механизм называется "social proof" – люди гораздо охотнее покупают что-то, если думают, что уже много других это купили и остались довольны.

Не согласны? Есть гипотеза получше? Пишите в комментах.

(*) На самом деле еще до регистрации можно в один клик перейти на карту или список доступных занятий, где видно рейтинг. Поэтому на конверсию лидов ревью тоже могут положительно влиять, но мне кажется, что влияние менее значимое, чем на ретеншн.

ProductDo: практика продакта

23 July 2024 10:06

Как растить метрику продукта так, чтобы клиенты вас ненавидели

Пример: приложение ClassPass

Взгляните на скриншот. Это то, что вы видите после завершения спортивного занятия, забронированного с помощью приложения ClassPass. Для тех, кто никогда им не пользовался: ClassPass — это торговая площадка для фитнеса. Клиенты могут бронировать занятия по всему городу, не привязываясь к определенному месту или расписанию. Это отлично подходит тем, кому нужна гибкость или для того, чтобы опробовать что-то, прежде чем подписывать трехлетний контракт с конкретной студией/залом.

Один менеджер по продукту решил улучшить показатель «Количество отзывов»… заставляя клиентов писать их. Зачем просить, если можно заставить? На экране вы видите два варианта (их невозможно пропустить):

- Нажмите «I missed this» внизу, и ClassPass попытается списать средства с вашего банковского счета/карты за пропущенный урок (очень раздражает!)

- Или оставьте отзыв, даже если вы зашли в приложение, чтобы заказать что-то другое (например, массаж).

Повозившись несколько раз с поддержкой по возврату списанных денег (изначально я нажал «Пропустил»), теперь всегда не задумываясь нажимаю «5 звезд». На самом деле думая: «Я ненавижу Classpass» :)

На дашборде продукта появляется показатель «Количество отзывов». Отличная работа! Но можно ли доверять таким отзывам? Каждый раз, когда я вижу очередную оценку в 5 звезд, я знаю, откуда она взялась — от клиентов, которые просто думают: «Ой, отвали, вот твоя пятерка». Стоит ли говорить, что как только появится альтернативное приложение, отвечающее моим потребностям, я немедленно переключусь на него.

Легко разглагольствовать о других продуктах, но давайте попробуем улучшить их вместе. Представьте, что вы продакт в ClassPass. Как собирать отзывы, не выкручивая руки клиентам?

ProductDo: практика продакта

19 July 2024 12:20

Было бы интересно отследить историю словоупотребления, и выяснить кто же закрепил в русскоязычной среде не совсем корректное употребление термина CustDev. Наверняка кто-то довольно известный.

Но если серьезно, то это одна из таких вещей, из-за которой вас могут понять неправильно или не понять вовсе.

В международной культуре термин Customer Development не используется в общем значении "интервью с пользователями" или исследование пользователей. Он вообще встречается не очень часто, и как правило является отсылкой к методологии Lean Startup (это одна из трех ее частей).

При этом русскоязычные ребята очень часто используют выражения вроде "делать CustDev" в значении "пообщаться с пользователями".

Иностранному коллеге лучше сказать "We should do a customer research to validate this" или "I have a lot of experience conducting customer interviews".

ProductDo: практика продакта

12 July 2024 08:41

Будь честен!

Хочу поднять такую интересную тему как data driven. На это меня вдохновила картинка, которую я увидел в одном телеграмм канале. По сути достаточно модное слово, которое крайне часто используется, чтобы пояснить, что решения основываются на данных. Когда появляется критика такого подхода, что мол, исключительно опираясь на цифры действовать нельзя, на сцену выводят термин data inspired. Якобы на данные мы смотрим, но не позволяем им нами манипулировать.

Но вы вообще задумывались когда-нибудь, а насколько действительно ваш продукт или ваша компания data driven? Очень часто я вижу, что решения в основном принимаются на основе одной главной метрики – деньги. Это не значит, что данные не анализируются совсем. Просто любая презентация планов на следующий квартал или год сводится к одной фразе: “В прошлом году мы заработали X денег. Делайте всё что угодно, чтобы заработать Y”. При этом цифры для квартальных планов выстраиваются практически с потолка. По крайней мере я еще ни от одного из аналитиков не услышал уверенности, что цифры реалистичные. Это как с оценкой MDE (Minimal Detectable Effect) для А/Б тестов. Никто на самом деле не знает, какой прирост по деньгам можно ожидать.

Прокси метрики и метрики счастья пользователя обычно отходят на второй план. С одной стороны, это кажется логичным. Все-таки цель любого бизнеса зарабатывать деньги. С другой стороны, когда деньги являются единственной важной метрикой, легко потерять конкурентоспособность и объективность принятия решений. Потому что не всегда понятно, что привело к неудачам и у команды нет навыков это что-то отыскать.

А как вы считаете, действительно ли надо опираться исключительно на деньги или деньги все-таки должны являться побочным продуктом от улучшения каких-то более важных метрик?