6676
I diagnose with data and treat with design. More hardcore materials here – @co_intelligence @martsen | martsen.me | p13n.ru
Прикладные инструменты, где замечаю проникновение теории сложных систем - стратегии принятия решений.
Когда-то давно в недрах IBM разработали CYNEFIN - фреймворк как принимать решения в бизнесе. Авторы вывели ряд правил изучая тонны реальных ситуаций приправляя теорией из complexity science.
Ключевая идея в том, что разные ситуации или проблемы требуют разных способов реагирования.
Порядок действий такой:
- определить, с какой ситуацией мы имеем
- выбрать подходящий алгоритм действий с помощью этого фреймворка.
Звучит просто в теории, но на практике как всегда будут возникать нюансы. Автор методологии до сих пор развивает фреймворк, зарабатывает на обучении и его внедрении в больших корпорации и гос.структуры.
Коротко + набор основополагающих ссылок - https://untools.co/cynefin-framework/
Рекомендации для еврокомиссии - https://publications.jrc.ec.europa.eu/repository/handle/JRC123629
Скрытая суть
В «Криптономиконе» Стивенсона герои все окружающее описывают математически, от чего видят скрытую от многих суть явлений. Слушал этот роман и попробовал для себя этот формат размышления с ИИ: когда изучаю какую-то концепцию (философскую, социальную, экономическую) или явление, то смотрю на нее через математический язык описания.
За это отвечает очень простой промпт:Представь что эту концепцию надо описать математически - как математический закон или формулу. Опиши с помощью математики, формулы, математической структуры: [концепция для описания]
Его можно применять почти ко всему, что вы изучаете, чтобы увидеть математические законы, заложенные в явлении.
Несколько примеров применимости подхода (все просим описать по данному выше промпту):
1. Опиши математически этот мем (для image2text моделей)
2. Опиши бизнес-модель сервиса Kindle через формулу
3. Я поругался с котом: он оцарапал меня, я обиделся и не хочу с ним общаться. Опиши это математически.
4. Представь философский принцип абсурда Камю в виде формулы (с философией классно заходит - это мой самый частый случай использования)
5. Я изучаю понятие продуктивность - предложи 3 способа как можно ее описать математически (добираемся до первых принципов явления)
6. Я не могу сделать выбор между А и Б. Опиши математически эту дилемму
Для более высокого качества надо попросить модель сначала расшифровать концепцию на естественном языке, чтобы насытить диалог контекстом, и только потом просить описать ее математически - качество будет лучше.
В комментариях еще промпты для продолжения диалога и примеры выдачи.
Потихоньку пишу свою документацию по созданию "информационной модели продукта" и здорово посмотреть на опыт коллег по цеху.
В целом, идея выкладывать в паблик подобные методики очень хорошая...
Так, Антон, сфокусируйся - сначала допиши для внутреннего потребления, а потом думай как опенсорсить лучшие практики.
TechCrunch: Большинство мобильных приложений по подписке не приносят дохода
– Только 17,2% приложений дают хотя бы $1 тыс./мес. дохода
– При этом 59% тех, кто получил $1 тыс., дойдут до $2,5 тыс./мес.
– Также 60% из тех, кто дошел до $2,5 тыс., дойдут до $5 тыс./мес.
– Но только 3,5% приложений смогут получить $10 тыс./мес.
– Больше всего за первый год приносят сервисы для фитнеса
– Сервисам для путешествий и производительности труднее всех
– Самая популярная подписка – $10 мес., но сред. – $8,01 (+14%)
– Цена за неделю выросла на 2%, до $5,55, годовая – $32,94 (-1%)
@ftsec
И снова мини-подборка для тех, кто проводит пользовательские исследования или использует их результаты в работе. Вот что на прилавке сегодня:
1. Jakob Nielsen: Как он придумал свои классические 10 эвристик юзабилити 30 лет назад. Он также показывает, почему они не устаревают — в их основе фундаментальный рассинхрон между пользователями и компьютерами, который не зависит от конкретной платформы и трендов.
2. Константин Ефимов и Анастасия Жичкина: Памятка по проведению исследований. Она разбирает ошибки на разных стадиях от подготовки до завершения. PDF.
3. Jim Kalbach: Экспериментирует с ChatGPT для помощи в процессе описания Jobs to Be Done. Он сделал два плагина в дополнение к своей фирменной канве — Scope и Investigate. Они помогают заполнять JTBD Canvas.
4. Quant UX Conf: Конференция о количественных методах пройдёт 12-13 июня в онлайне.
5. Johanna Jagow: Шишки, которые она набила при внедрении базы знаний и инсайтов.
6. Jeff Sauro и Jim Lewis: Памятка по основам проведения опросов пользователей. Много полезных способов категоризации.
В другой статье они описывают типичные проблемы выборки при проведении опросов, которые искажают результат.
А NN/g приводят ситуации, в которых хочется провести опрос, но на самом деле не стоит.
7. Steve Bromley: Конфигурация оборудования и программ для проведения игровых тестов мобильных игр.
8. Александр Замахов: Подборка статей о проведении исследований в известных продуктовых компаниях.
9. Chris Chapman: Планирование количественных исследований. Времени на них нужно с запасом — он подсвечивает основные риски.
10. Steve Bromley и Pejman Mirza-Babaei: Обзор роли и особенностей работы исследователя в играх.
11. Jake Burghardt: Востребованность конкретных инсайтов в базе знаний.
#research
Cборник тестовых заданий для продуктовых аналитиков и аналитиков данных
Сегодня я публикую новую версию сборника, уже из 133 оригинальных заданий от таких компаний как Авито, Тинькофф, Aviasales, Ozon, ВК, Сбер и многих других.
Третья версия сборника – особенная. И вот почему:
🔸 Теперь каждое тестовое размечено тегами – SQL, Кейс, A/B и т. д. Уверен, это упростит вам навигацию и поиск задач желаемого типа;
🔸 Появилась отметка наличия данных. Да, 77 из 133 тестовых заданий содержат оригинальные датасеты. Особенно классные – у тех, что про А/B тесты;
🔸 Появилась разметка ориентировочной сложности заданий. Для справки, 40 из заданий – для джунов, а 58 – для мидлов.
Сборник – отличная возможность потренироваться к прохождению собеседований.
Получить обновленный сборник очень просто. Все подробности вы найдете в этом посте на Linkedin (не забудьте включить VPN).
Успехов на собеседованиях!
Фреймворки как можно систематизировать UI-проблемы
https://measuringu.com/frameworks-for-classifying-ui-problems/
Опыт коллоборации ресерчеров и дата-саентистов в Figma: ребята объединились, чтобы сделать нотификации great again. Материал про процесс, а не про результаты. Типичный смысл подобных статей: вместе мы генерируем более крутые инсайты, чем по одиночке.
Позволю сделать свой краткий мета-вывод где и почему смешанные исследования показывают свой максимум, благо своего опыта хватает и давно изучаю отчественный и международный опыт коллег по цеху:
Чем глубже IT-продукт интегрирован в оффлайн-процессы, тем более ценные результаты приносит коллаб количественного и качественного.
Из воспоминаний работы в Wrike: самые крутые инсайты были, когда мы при помощи ресерча узнавали, что люди делают вне нашего продукта, а затем находили следы этих сценариев в логах. То же самое я вижу и в статье от Figma: они узнали кто и зачем коммуницирует с дизайнером вне продукта (т.е. что происходил до/после/параллельно в процессе создания ценности), а затем масштабировали это знание через данные.
Отсюда я делаю другое умозаключение, которым руководствуюсь в размышлениях:
БОльшая интегрирация продукта в оффлайн-процессы => больше "охваченных" звеньев в цепочки ценности => больше ценности для ЦА => выше ценник за услуги => больше выручка => больше инвестиций в R&D => больше релевантных возможностей применить сложные аналитические подходы
Примерно так я понимаю, в каких компаниях/продуктах/проектах можно находить нетривиальные задачи.
Статья: https://www.figma.com/blog/cross-functional-data-science-user-research-figma/
Про цепочки создания ценности: /channel/product_science/265
Похвастаюсь...
Большое обновление Музыки: свежий бренд, персонализированный UI и новые алгоритмы рекомендаций.
Это супер-сложный и супер-интересный челлендж, который команда прошла за год. И главное - обновление запускает цикл развития продукта как платформы для приятного времяпрепровождения слушателей и артистов.
https://yandex.ru/company/news/01-01-12-2023
---
Под капотом много технических и продуктовых изменений, в которых аналитика сыграла не последнюю роль:
1. Проектирование единой сквозной информационной модели продукта, которая:
* отсылается с клиентских приложениях
* хранится в data lake
* отображается в дашбордах
* считается в метриках
* используется в (до)обучении моделей и выдачи рекомендаций
2. Поведенческие исследования, которые давали идеи и аргументы как, для кого и почему нужно делать редизайн.
3. Инструменты мониторинга и анализа всевозможных точках, сегментах и срезах алгоритмов персонализации. Количество способов посмотреть на аудитории под разными углами на наших deep-dive дашбордах может удивить неподготовленного зрителя.
4. При этом, всю сложность системы умеем выражать в небольшом наборе метрик, который обеспечивает баланс краткосрочных и долгосрочных целей бизнеса. Цели, продукт и окружающая среда не стоят на месте, поэтому аналитики наращивают доменную экспертизу и придумывают как оценивать бизнес понятными числами и емкими моделями.
Будущие посты, статьи и доклады буду опираться на полученный опыт.
---
Команда Музыки, продуктовой аналитики и лично я за год получили огромный уникальный опыт мирового уровня. Опираясь на этот опыт, будем и дальше развиваться сами и радовать любителей музыки.
Ну и пользуясь случаем - расширяем команду продуктовой аналитики. Как всегда ищу классных специалистов, которым могу доверить сложные и важные участки Музыки. Сверьтесь с портретом идеального кандидата (https://clck.ru/36soLh) и пишите мне @martsen.
Области, в которых уже сегодня пытаются скрестить музыку и генеративный ИИ в ожидании коммерческого успеха.
https://a16z.com/the-future-of-music-how-generative-ai-is-transforming-the-music-industry/
https://quantuxblog.com/skills-combination-for-quant-ux-applications
Читать полностью…
Последний год слежу за деятельностью Стивена Вольфрама (лет 10-15 назад активно пользовался его Вольфрам Математикой для решения задачек по матану и физике).
С середины пошлого десятилетия он активно рассуждает (и пробует на практике) формализовать язык описания мира.
Сначала он работал в домене физмат наук, но вот похоже тренд на LLM помог ему выйти в домены социологии и экономики.
Думаю, что формализация языка идей супер поможет в обучении и передачи знаний. Ну и лучше развивать существующие и придумывать новое :)
https://blog.buro.cx/grokhochenie-klientov-kak-cx-princzip/
Читать полностью…
https://a16z.com/2023/08/22/why-do-investors-care-so-much-about-ltvcac/
Читать полностью…
Willingness to Delegate to Digital Assistants -- интересный концепт для "умных" продуктов
Читать полностью…
Люблю черпать вдохновение и новые идеи для продуктовой аналитики и исследований в смежных областях.
До 2022 года мое внимание было обращено в сторону UX, ML, игр, социологии и экономики. Особенно интересно изучать какие знания и процессы из оффлайна адаптируются в онлайн. Глубоко в каждой области разобраться невозможно, но кажется мне удалось почерпнуть оттуда ключевые мысли, теории, концепты и методы.
Любовь последних двух лет - системология / теория (сложных) систем / system science / complexity science.
В этом домене пытаются вывести общие принципы и закономерности, которые есть в других областях. По правде сказать, в академических кругах до сих пор нет единой позиции о том, является ли это отдельной наукой или нет. Но мне, как практику, это не важно. Главное, что есть люди, которые стараются найти общие знания и способы их переиспользовать в разных областях.
К сожалению, готовых "преобразователей мыслей и ситуаций" из академических изложений complexity science в коммерческую продуктовую аналитику я не нашел, но заставляет задуматься.
Теперь на рабочие задачи смотрю как на "анализ сложных адаптивных систем" и пытаюсь применять изучаемые подходы. С одной стороны прикольно, с другой - часто себя одергиваю, чтобы не уходить в переусложнения.
Для погружения в предмет, можно почитать Вики - https://en.wikipedia.org/wiki/Portal:Systems_science
Если хочется по хардкору, то вам дорога на сайт https://santafe.edu/ - это спец.учреждение, где умные дяди и тети двигают эту область вперед в плане теории.
#мысливслух
Пока болтался в отпуске, попалась на глаза статья от X5 Tech про разметку событий. Какой трекер они выбрали, как называть события, какая логика организации параметров. То, что я называю “дизайном событий” и что вполне может занимать до трети рабочего времени аналитика на ранних этапах проекта (потом, конечно, существенно меньше).
Статья в целом симпатичная, сам буквально неделю назад думал над правилами названия событий и в целом над структурированием своей документации. В геймдеве набор сущностей, действий и процессов ощутимо сложнее, кажется, чем приведенные. Тем не менее подходы и идеи все равно весьма схожи.
Но самое полезное в статье, на самом деле — не очень заметная ссылка на полную документацию по разметке событий. Она намного полнее и понятнее, чем статья, содержит в себе определения основных понятий, правила создания и ведения разметки, а также описание процессов разметки.
Очень хочется свою документацию довести до схожего вида, ведь примерно половина уже есть. Мечты-мечты.
Никогда такого не было и вот опять
Ищу двух соратников для развития Музыки: гроус/деньги и муз.сценарий.
Подробности: https://martsen.notion.site/8e2197e96f864db4b8147a563eaac2e1
Пишите вопросы и присылайте резюме мне в личку (@martsen)
Оригинал отчета здесь https://www.revenuecat.com/state-of-subscription-apps-2024/
Разбираем на бенчмарки.
Словарик
Антрвольт, антревольт (через фр. entrevolte от итал. antervolta — «перед дугой») — часть плоскости стены между архивольтом (обрамлением, дугой) арки и расположенным над ней карнизом либо между архивольтами соседних арок в аркаде, хотя в английском утвердился термин - spandrel
В биологии антревольтами называют особенности устройства организма, которые не являются ценными для приспособленности сами по себе, а являются неизбежным результатом устройства других частей.
Итак, некая сущность, которая является неизбежным результатом, а не появляется как заранее спланированный результат. В биологии — это подбородок, в архитектуре — это пространство между стеной и аркой. Фактически, пространство следующее изгибам арки. Этот термин был придуман палеонтологом Стивеном Джеем Гулдом и популяционным генетиком Ричардом Левонтином в их статье «Спандрелы Сан-Марко и панглоссианская парадигма: критика адаптационистской программы»
Гораздо интереснее, что сам Ноам Хомский вроде бы полагал в качестве такой перемычки-антревольта сам язык, его рекурсию - как сущность, которая возникла как побочный продукт. Есть авторы, которые видят и объясняют антревольтом нашу религиозную веру, как побочный продукт эволюции
Коллега собрал топовую подборку
Читать полностью…
Конец года, а значит наступает время материалов, где аналитики и сильные мира сего описывают тренды будущего исходя из своей картины мира.
Мне интересно читать, что пишут венчурные инвесторы на эту тему, особенно тех из них, кто вкладывает в свое видение больше деньги.
Сегодня у нас в меню мнение коллектива Andreessen Horowitz. Давно за ними слежу, тк они довольно открыто пишут про свои шаги и управляют большим венчурным капиталом. А помню были времена, когда и сам общался с их представителями на предмет финансирования.
Как я интерпретировал этот материал:
1. Следующие большие инновации и компании будут глубже проникать в реальный мир.
2. Сделать next big thing только цифровых/информационных продуктах все сложнее и сложнее
- Интересный ROI в digital-first продуктах есть в ИИ, финансах и крипте. На этом не буду подробно останавливаться, т.к. и так из каждого утюга слышим.
3. Другие тренды направлены на интеграцию с физическим миром
4. Безопасность в широком смысле: кибер, энергетика, транспорт, оборонка, разведка, слежка за деятельностью в городе. Здесь много железа, технологий по созданию цифровых копий реального мира, автоматизация/оптимизация принятия решений на основе больших данных.
- Как пишут в статье: "This opportunity holds particular relevance to American Dynamism companies, which often require a synthesis of software, physical capital, and operations."
5. Здоровье и биотек: создание лекарств, терапий, методик и технологий, которые влияют на физическое состояние человека.
6. Развлечения и игры: генеративные, адаптивные, персонализированные и которые при помощи AR/VR пролазят в физический мир.
7. Ну и конечно же важно иметь свое железо и инфраструктуру, на котором все это будет крутиться. Тоже своего рода безопасность / "технологический суверенитет".
Что это значит для RnD-специалистов, я писал в прошлом посте.
https://a16z.com/big-ideas-in-tech-2024/
30 ноября в Индии местный орган защиты прав потребителей опубликовал документ, в котором на законодательном уровне хотят зарегулировать Темные Паттерны.
Интересно:
1. как отреагирует индустрия?
2. какие новые трюки появтся в ближайшее время?
3. где подобные законы появятся в ближайшее время?
Найти и внимательнее почитать что там за регуляция, можно на сайте индийского правительства по Gazette ID = CG-DL-E-30112023-250339
За картинку, спасибо уходит Якобу Нильсену и его рыссылке на SubStack.
Почти пять лет назад, когда ещё даже не было этого канала, я начал писать цикл статей про дизайн данных. Свободного времени в то время было явно побольше, раз за полгода я смог запилить все семь штук.
Интересно, что к этому циклу я до сих пор иногда отправляю своих студентов и коллег, если им нужно подтянуть матчасть по обмену, хранению и обработке данных.
Чтобы упростить погружение в тему, я даже набросал высокоуровневую схему (которая до этого момента, кажется, нигде и не публиковалась)
Как публичные компании оценивают оттдачу от вложений в исследования и разработку новых продуктов?
Ответ - Return on Research Capital (RORC).
- RORC измеряет доходы фирмы, полученные от научно-исследовательской деятельности
- Он рассчитывается путем деления текущей валовой прибыли на расходы на НИОКР за предыдущий год (Current Year Gross Profit / Previous Year R&D Expenditures)
- Обычно требуется более одного года, чтобы осознать отдачу от НИОКР; иногда это может быть реализовано в течение более чем одного года
Этот показатель часто строится по отчетам публичных компаний, рост которых зависит от новых разработок. Самые очевидные примеры это IT и фарма. Но новые продукты делаются в различных областях.
RORC показывает, сколько заработала компания с каждого вложенного в R&D доллара.
Бенчмарки быстро в открытом доступе я найти не смог, но их можно высчитать самому по публичной отчетности.
На скриншоте к посту можно посмотреть RORC компании Apple, которое любезно собрал ведущий одного финансового шоу. Как видно, Тим Кук и Ко имеют 8-кратную доходность по этому показателю.
Если вам вдруг нужно будет защитить бюджеты на R&D-деятельность, вы можете знать каким финансовым показателем оперировать и собрать коллекцию бенчарков по конкурентам.
https://www.investopedia.com/articles/fundamental-analysis/10/research-development-rorc.asp
Основатель Вольфрама выступил с заявлением о создании языка описания концептов/идей/гипотез:
In a sense, what’s happening is that Wolfram Language shifts from concentrating on mechanics to concentrating on conceptualization.
https://www.ted.com/talks/stephen_wolfram_how_to_think_computationally_about_ai_the_universe_and_everything
https://writings.stephenwolfram.com/2023/10/how-to-think-computationally-about-ai-the-universe-and-everything/
Базовое понятие, который лежит в основе "языка идей" - рулиада (ruliad)
https://writings.stephenwolfram.com/2021/11/the-concept-of-the-ruliad/
Кейси Клаймс написал о необходимости интеграции теории сложности (теории сложных систем) в дисциплину дизайна. Он опирается на труды Кристофера Александера, автора книги «Язык Шаблонов», и, собственно, теорию сложности. В статье много интересных примеров и ценных рассуждений.
Тут приведём основные характеристики сложных систем:
• Самоорганизация. Элементы системы самоорганизуются в упорядоченные модели, как это происходит, например, со стаями птиц или косяками рыб
• Хаотическое поведение. Небольшие изменения в начальных условиях приводят к большим изменениям в дальнейшем (широко известно как «эффект бабочки»)
• «Толстые хвосты». Экстремальные события (например, массовые вымирания и крахи рынков) происходят чаще, чем предсказывало бы нормальное (колоколообразное) распределение. Об этом интересно пишет в своих книгах Нассим Талеб
• Адаптивное взаимодействие. Взаимодействующие агенты (например, торговцы на рынке или игроки в «дилемме заключенного») меняют свои стратегии по мере накопления опыта
• Возникновение. Спонтанный, глобальный порядок возникает в результате множества локальных взаимодействий между агентами, у которых нет источника централизованного контроля
Кейси пишет, что системы, для которых дизайнеры проектируют решения, становятся всё сложнее и сложнее, взаимное влияние разных частей общества усиливается, а значит нам необходимо развивать прикладное понимание этой теории и интегрировать её в дизайн-процесс.
https://rhizomerd.substack.com/p/design-needs-complexity-theory
How-to для тестирования продуктовых гипотез для зачастую дорогущих в разработке ML-фичей
https://www.uxmatters.com/mt/archives/2023/06/testing-the-future-a-guide-to-testing-ai-products-with-users.php
Умные мысли и другие релевантные комиксы по ссылке https://marketoonist.com/2023/09/personalization-gone-wrong.html
Читать полностью…
И вот, на мой взгляд, что-то реально новое и полезное в плане UX-концепта для AI товаров и услуг.
Читать полностью…