Qetzal ad libitum, ad infinitum

08 January 2018 16:37

2. Дает ли нам важную информацию и выигрыш и проигрыш теста?
A/B тест и гипотеза тестируют новую концепцию/продукт, если любой результат теста — негативный или позитивный дает нам важную и полезную информацию о мире, продукте, наших пользователях. Полезную, это значит на основе этой информации мы можем строить новые гипотезы для новых концепций.

Если полезную информацию дает только проигрыш теста или только выигрыш — это гипотеза в рамках существующей концепции, "оптимизаторская".
Если проигрыш и выигрыш теста дают только информацию о конкретном поведении в конкретных условиях — тоже.

- Пример: если гипотеза "фотографии улучшают конверсию" выиграет, мы узнаем, как улучшить конверсию нашего сайта (это хорошо). Но если проиграет — мы не узнаем ничего. Мы будем знать, что на конкретном сайте конкретные фотографии не сработали — но почему не сработали — не знаем.
Даже выигрыш нам дает только "конкретные" знания для "конкретной ситуации". Мы не можем использовать новые знания, чтобы сформировать какую-то новую сильную гипотезу.

- Обратный пример: гипотеза "посылать посетителя не на сайт, а в мессенжер-бота, где посетитель сможет получить данные". И выигрыш и проигрыш гипотезы дает нам важную информацию. В первую очередь потому, что мы будем лучше понимать наших пользователей — "они на самом деле любят мессенжеры" или "они совсем не понимаю мессенжеры!". Во вторую — потому, что ЛЮБЫЕ данные от этого теста, неважно провалился он или нет, можно использовать для формирования новой гипотезы / теста. Мессенжер-бот не зашел — а мы можем посмотреть как люди там общались и сделать новую версию, которая будет сильно лучше. Мессенжер-бот зашел — с нашим сайтом видимо проблемы, давайте его переделывать.

Qetzal ad libitum, ad infinitum

08 January 2018 16:36

Сформулировал важную для себя мысль про A/B тесты.

Есть два разных подхода к A/B тестам: для оптимизации существующей концепции/продукта или для создания новой.

Обычно A/B тесты выглядят так. Мы формулируем гипотезу, почему какое-то изменение улучшит нашу штуку. Запускаем тест, смотрим. Сработало — отлично, внедряем. Не сработало — формулируем новую гипотезу.

Пример: "если добавить фотографии существующих клиентов на сайт — люди будут лучше регистрироваться".

Этот подход хорошо работает, когда надо оптимизировать уже *существующую концепцию*. В рамках существующей концепции мы находим локальный максимум.

Проблема в том, что этот подход не поможет найти *новые и более лучшие концепции*. Потому что все наши гипотезы УЖЕ лежат в рамках существующей концепции (старого продукта).

Чтобы находить новое, A/B тест и его гипотеза должны быть совсем другими, вне существующего фрейма. Такие гипотезы расширяют поиск "максимумов" и позволяет найти что-то совершенное новое, что качественно лучше старого.

Qetzal ad libitum, ad infinitum

05 January 2018 16:05

Про это хорошо написано в отличной книге "Принцип "черного ящика" Мэтью Сайеда. Очень рекоммендую ее.

- На русском: https://www.ozon.ru/context/detail/id/137593779/ и https://www.litres.ru/metu-sayed/princip-chernogo-yaschika-kak-prevratit-neudachi-v-uspeh-i-snizit-risk-nepopravimyh-oshibok/

- На английском: https://www.amazon.co.uk/Black-Box-Thinking-Surprising-Success/dp/1473613779

Qetzal ad libitum, ad infinitum

05 January 2018 16:04

Это очень круто. Конечно это связано с улучшением техники: самолеты, оборудование, вспомогательные системы — все сильно улучшилось.

Но думаю это еще связано с тем, как к происшествиям относятся в авиа-индустрии. Каждое происшествие регистрируется (есть даже возможно репортать их анонимно), разбирается и ищутся корневые причины ("post-mortem"). Культура "давайте говорить о наших проблемах и искать решения", а не культура замалчивания, чтобы сохранить лицо (как например есть в медицине).

Поэтому авиа-индустрия постоянно улучшается: технически, улучшают процессы, даже такие вещи как коммуникация между пилотами. Все это приводит к повышению безопасности.

А культура сохранения лица, когда все боятся говорить о своих проблемах, когда они обсуждаются только "среди своих", ничего не улучшает.

Qetzal ad libitum, ad infinitum

02 January 2018 17:48

Кстати забавная цитата из этого исследования про сравнения себя с другими:

> Somewhat ironically, being a peripheral member of an extremely socially active entourage may leave a person feeling worse off about her social life than being an average member of a less socially active group of friends.

Qetzal ad libitum, ad infinitum

26 December 2017 12:35

Вообще получается алгоритм такой. Каждая ступень делает лучше.

- Если сердишься или недоволен кем-то, скажи ему. Cказать — лучше, чем не сказать.
- Если сердишься или недоволен кем-то, скажи или напиши ему приватно. Писать публично — прямой путь к тому, что человек начнет защищаться вместо того, чтобы принять фидбэк.
- Если сердишься или недоволен кем-то, скажи или напиши ему приватно, но не сразу. Я уверяю, что если дать день-два своему недовольству, то вы сможете коммуницировать свое недовольство сильно лучше, эффективней, конструктивней и без лишних эмоций.
- Если сердишься или недоволен кем-то, скажи ему приватно и лично через день-два, а не пиши письмо или комментарий. Личная встреча или звонок делает все проще и лучше.

Qetzal ad libitum, ad infinitum

26 December 2017 09:14

Самые частые механики там кстати такие:
- Немного поддаться игроку: дать ему возможность в самом начале выиграть, сделать вид, что он "чудом выжил" или "еле избежал попадания", если не получается пройти — снизить сложность.
- Увеличить сложность, если у игрока все легко получается.
- Изменить немного события в сторону зрелищности (пример: "немного отклонить пулю, чтобы она попала в бочку с бензином и все взорвалось")

Больше всего мне понравилось вот это:

> "В F.E.A.R когда ИИ одного NPC хочет совершить какое-то действие (кинуть гранату), то он находит рядом другого NPC запускает у него фразу про это действие («кидай гранату!»). Это создает ощущение, что персонажи общаются друг с другом."

Это еще интересно потому, что демонстрирует, что у внешне простых удобных механизмов внутри часто сложная логика. И именно эта сложная логика дает внешнюю простоту.

Qetzal ad libitum, ad infinitum

26 December 2017 09:14

Я уже писал раньше про то, как чуваки в своих продуктах используют разные "хаки", хитрости и костыли для того, чтобы срезать углы или сделать хитрую механику. Я приводил в пример шапку-вагон из Fallout 3 /channel/qetzal_1up/74

Qetzal ad libitum, ad infinitum

18 December 2017 12:59

Роберт Сапольски — профессор биологии, который написал несколько известных книг про механизм работы стресса. На Ютубе есть цикл его лекций "Human Behavioral Biology" (Биология поведения человека), которые он читал в Стэнфорде.

Это очень интересные лекции, которые рассказывают про то, как работает эволюция и как он влияет на наше поведение, почему семья для нас важна, как работает секс, почему мы агрессивны и много разных других вещей. Если вам (как например мне) было когда-нибудь интересно узнать о причинах нашего поведения — очень рекомендую эти лекции. Роберт Сапольски рассказывает очень интересно и доступно, понятно даже если нет биологического бэкграунда.

- Лекции на английском: https://www.youtube.com/playlist?list=PL848F2368C90DDC3D (25 штук, примерно по полтора часа каждая)

- Лекции на русском: https://www.youtube.com/playlist?list=PL8YZyma552VcePhq86dEkohvoTpWPuauk
13 (какие-то клевые ребята начали переводить, пока переведено 13 лекций, но обещают больше в будущем)

Qetzal ad libitum, ad infinitum

13 December 2017 17:17

"Можешь вылечить рак, но веселее превращать людей в динозавров".

Qetzal ad libitum, ad infinitum

12 December 2017 14:48

Вот это вот ощущение непонимания перед простыми штуками, которые *типа* должны быть всем понятны — очень полезно. Надо его помнить, лелеять и стараться попадать в такие ситуации.

Потом, помня свои ощущения от непонимания простых вещей, которые очевидны и привычны другим людям вокруг, надо смотреть уже на свои интерфейсы / продукт. Это сильно помогает.

Qetzal ad libitum, ad infinitum

12 December 2017 14:48

Каждого хорошего продакт-менеджер мучает вопрос: "Как мне сделать продукт простым и понятным?". Готового решения или инструкции у меня нет. Но я точно знаю, что помогает.

Иногда бывают ситуации, когда чувствуешь себя глупо. Стоишь и не можешь разобраться с чем-то простым. Становится немного стыдно, растерянно тупишь. Вроде простая штука, люди вокруг с ней запросто справляются, а я не понимаю, что делать.

Это очень полезное чувство. Его надо помнить.

Qetzal ad libitum, ad infinitum

11 September 2017 18:11

Мне кажется это все от недостатка эмпатии и большого эго — ну всем же хочется быть не просто "средством для удаления пятен", а "компанией, которая делает мир лучше".

Это все понятно, но людям же надо пятна удалять. Иногда внутренние мифы компании надо оставлять внутри, не проливать наружу.

Qetzal ad libitum, ad infinitum

11 September 2017 18:08

Как-то мне для одного исследования нужно было просмотреть ~200 сайтов и определить их вертикаль — чем они занимаются и что продают. Я открывал сайт, смотрел, что они продают и записывал в документ.

Это оказалось сложной задачей. Дело в том, что у большинства сайтов было абсолютно непонятно, чем же они занимаются.

Это было просто удивительно. Вот чуваки хотят тебе что-то продать, сделали сайт. Но я тратил *заметные* усилия, чтобы понять "эй, ребята, а чем вы вообще занимаетесь, что делаете?". Вместо важной информации там были новости компании, маркетинговый булшит, стоковые фото, картинки каруселями с какой-то хренью.

Конечно, можно было открыть их список товаров и по ним определить тип бизнеса. Но оказалось, что ссылку "Магазин" найти тоже не просто!

Так я понял, что если делаешь сайт бизнеса, надо на главной всегда крупно писать следующее:
- чем мы занимаемся, что продаем
- большая заметная кнопка "Купить" или "Магазин"
- время работы, адрес, как оплатить, как доставят, телефон
- чем мы лучше остальных

Qetzal ad libitum, ad infinitum

29 August 2017 18:01

Две неплохие статьи про найм:
"How to Hire": https://medium.com/eshares-blog/how-to-hire-34f4ded5f176

"Hiring is your brand: 9 small things to improve your interview process": gerstenzang/hiring-is-your-brand-9-small-things-to-improve-your-interview-process-142286cc13e0" rel="nofollow">https://medium.com/@gerstenzang/hiring-is-your-brand-9-small-things-to-improve-your-interview-process-142286cc13e0

Qetzal ad libitum, ad infinitum

08 January 2018 16:36

Чтобы определить, подходит ли гипотеза под поиск нового, можно ответить на следующие вопросы.

1. Догадываемся ли мы о результате теста? Удивит ли нас его какой-то один конкретный результат, а другой не удивит? Если да — гипотеза в рамках существующей концепции, "оптимизаторская".

- Пример: когда мы формулируем гипотезу "фотографии могут улучшить конверсию", мы уже предполагаем ответ. Мы уже знаем, что лица важны для людей и уже более-менее уверены в результате. Если этот тест сработает — мы не будем удивлены. Если не сработает — будем сильно удивлены.

- А вот обратный пример: гипотеза "посылать посетителя не на сайт, а в мессенжер-бота, где посетитель сможет получить данные". Мы не можем предположить, какой вариант выиграет. Победа каждого варианта будет интересной и удивит. Значит гипотеза в рамках новой концепции.

Qetzal ad libitum, ad infinitum

06 January 2018 10:04

Еще про:

> О проблемах принято говорить вслух и никто этого не боится. Для этого за проблемы не должны наказывать, информация о плохих новостях должна привествоваться.

Главная проблема тут в cамом себе же в первую очередь. Критику мы не любим. Когда нас критикуют, первая реакция — защититься или атаковать в ответ. А не разобраться, что к чему и "пост-мортемы" проводить.

Особенно если мы не чувствуем себя в безопасности: надо сохранить лицо, очень важно мнение окружающих (а оно нам важно — что бы мы себе не говорили!), боимся, что критика повлечет за собой смену какого-то статуса (социального, рабочего, etc.)

Я в себе стараюсь это явно отслеживать. Можно все эти правильные вещи знать, но первые свои внутренние *реакции* на критику все равно будут неправильными. Я стараюсь отлавливать их и явно себя переключать на рациональные вещи: "ОК, это полезная вещь, как она может нам пригодится?" (получается не всегда)

Ну и обратный подход: если надо кому-то дать негативный фидбэк, надо убедиться, что он чувствует себя в безопасности.

Qetzal ad libitum, ad infinitum

05 January 2018 16:04

Так что важно, когда:
- О проблемах принято говорить вслух и никто этого не боится. Для этого за проблемы не должны наказывать, информация о плохих новостях должна привествоваться.
- Проблемы должны разбираться на честном пост-мортеме, когда находятся корневые причины (классическое правило "пяти почему") и планируются исправления.

Qetzal ad libitum, ad infinitum

05 January 2018 16:04

В местной локальной Фейсбук группе случился небольшой скандал. У нас в городе открылся новый пафосный ресторан "авторской кухни". Туда сходил шеф-повар другого нашего локального (хорошего) ресторана и написал справедливо разгромный отзыв.

Что интересно, потом в комментарии пришли ребята, которые стали говорить, что это неправильно. Что должна быть "корпоративная этика", "приличия", "не выносить сор из избы" — то есть негативный фидбэк должен был дан исключительно приватно.

Я это вспомнил в связи с другой новостью. Прошедший 2017 год был самым безопасным для гражданской авиации. И было 0 (ноль) крушений у массовых коммерческих рейсов. (статья: http://www.independent.co.uk/travel/news-and-advice/air-safety-2017-best-year-safest-airline-passengers-worldwide-to70-civil-aviation-review-a8130796.html)

А если посмотреть на количество успешно перевезенных пассажиров на одну смерть от полетов, то там тоже все очень хорошо: https://ourworldindata.org/grapher/air-passengers-per-fatality Где-то с начала 90-х годов все начало быть сильно улучшаться.

Qetzal ad libitum, ad infinitum

02 January 2018 17:48

Я уже упоминал фундаментальную ошибку атрибуции — когда кто-то другой делают что-то плохое, мы объясняем это их встроенными качествами ("он плохой человек"), а когда мы сами — внешними обстоятельствами, ситуацией ("он не такой, просто день был плохой","его вывели")

Тут какие-то чуваки исследовали еще один феномен разницы восприятия себя и других (https://www.ncbi.nlm.nih.gov/m/pubmed/29189037/). Большинство людей думают, что другие живут более насыщенной и активной жизнью, чем они сами. Причем это касается всех социальных групп.

Связано это с тем, что:
- Люди постят только самый интересный контент. Никто не постит фото вида "я читаю книгу", все постят "смотрите, я на краю вулкана". Если вы читаете книгу, а рядом устроили вечеринку, то ребят на вечеринке слышат все — а вас и других ребят с книгой — нет.
- Мы следим за большим количеством человек, среди них всегда есть кто-то с ОЧЕНЬ активной жизнью (более того — мы ХОТИМ следить за такими ребятами). Мы всегда вспоминаем про таких ребят первыми, поэтому сравниваем не со средним, а с максимумом.

Вообщем жизнь у нас не хуже чем и у остальных — даже лучше, скорее всего.

Qetzal ad libitum, ad infinitum

26 December 2017 12:35

Простое правило, которое устранит большинство конфликтов.

Обсуждать проблемы лучше устно. Если не получается устно — дайте сердитым письмам "отстояться" день-два перед отправкой.

1. Если пишешь сердитое письмо или комментарий — напиши, но не отправляй. Дай ему день-два "отстояться". Я уверяю, вы его перепишите потом. Если можете не отправлять — не отправляйте, а лучше обсудите проблему с человеком устно.

2. Если вы обсуждаете какую-то проблему с кем-то в почте или комментах, вы уже обменялись 2-3 письмами/комментами и нет результата — чувство, что вы ходите кругами и собеседник не понимает / издевается / спорит — надо останавливать обсуждение и договариваться о личной встрече или звонке.

Qetzal ad libitum, ad infinitum

26 December 2017 09:14

А тут в августе в Твиттере был мега-тред в котором гейм-дизайнеры делились вот такими крутыми хитрыми механиками, которые скрыты от игрока и используются, чтобы создать у него определенное впечатление.

- Мега-тред на английском: https://twitter.com/Gaohmee/status/903510060197744640 Надо читать реплаи.

- Если хочется на русском и без Твиттера, вот тут чувак собрал и перевел из того треда часть вещей (но не все): https://www.polygon.com/2017/9/2/16247112/video-game-developer-secrets

Очень люблю такие штуки.

Qetzal ad libitum, ad infinitum

18 December 2017 12:59

Один пример из множества других, которые можно узнать из лекций Роберта Сапольски.

Когда вы сгибаете указательный палец на руке, то все работает не как "мозг послал команду согнуть палец → палец согнулся".

На самом деле одна из систем в мозгу посылает сигнал "согни все пальцы". Сразу же после этого другая система посылает сигнал "эй, все кто не указательный палец, не слушайте того чувака и не сгибайтесь". В результате сгибается только указательный.

Это связано с тем, что первая система, которая сгибает все пальцы сразу, появилась первой. Животным в первую очередь надо было совершать действия всеми пальцами, например выпускать когти или что-нибудь откопать.

Необходимость действовать отдельными пальцами появилась позже. Поэтому в процессе эволюции мозг вместо того, чтобы пересоздавать систему полностью, создал надстройку над старой.

(это выглядит как будто программист исправляет баг в очень большом и старом legacy проекте, сложно написать нормально или переписать, поэтому он по-быстрому патчит и говнокодит. Да, эволюция это говнокодер, который делает некрасиво, но эффективно)

Qetzal ad libitum, ad infinitum

18 December 2017 07:24

Есть штука, которую я называю "ловушкой умного человека".

Умный человек рано понимает (например в школе), что массовое мнение часто неверно. Очень много людей верят в глупости, поступают как велят привычки и общество, а не как правильно и эффективно.

Человек это видит и понимает: "общепринятые штуки", "так все делают", "в это все верят" — это глупости. Он начинает вести себя по другому и сразу сталкивается с негативной реакцией общества: "ты все делаешь неправильно, ты глупый". Чувак делает по своему и оказывается в результате прав.

Поэтому у этого умного человека вырабатывается привычка считать массовое мнение по умолчанию фигней. Привычка к ситуации вида "все вокруг говорят, что я неправ, но я-то знаю, что это не так". И понятно почему -- очень часто так и было.

Но потом иногда этот умный человек может случайно поверить в странную штуку. В гомеопатию, в память воды, альтернативную хронологию, вред прививок, память прошлых жизней, связь всех болезней от мыслей, в рептилоидов и так далее.

Странная штука может быть неверной, но этому человеку будет очень сложно отказаться от этого убеждения, не смотря на множество мнений против. К мнению "гомеопатия не работает" и его аргументам он будет относится также как и к другим массовым мнениям, которые он встречал в прошлом: "массы ничего не знают, мое не массовое мнение как правило оказывается правильным".

Как в себе это замечать? Наверное оставлять всегда возможность, что твое мнение неверно. Но у этого решения есть опасность, что скатишься в бесконечную рефлексию и отсутствие решений. То есть надо как-то балансировать между быстрым принятием решений в нужной ситуации, настойчивостью и в то же время постоянным сомнением в собственной правоте.

Интересно, что один достаточно известный психолог, тренирующий спортсменов, который явно советует развивать в себе две личности. "Нормальную" личность, которая явно знает о своих возможностях, ограничениях, способности ошибиться и "соревновательную" личность, которая верит в собственную непобедимость, непогрешимость, невозможность проиграть.

Qetzal ad libitum, ad infinitum

13 December 2017 17:16

Смешная картинка, которая часто описывает частую проблему продакт-менеджеров. (стараюсь в себе это замечать и бороть)

Qetzal ad libitum, ad infinitum

12 December 2017 14:48

У меня оно возникает обычно в поездках. В трех стандартных ситуациях.

1. Умывальники в туалетах аэропортов.
Все умывальники в аэропортах имеют свои собственные необычные способы включения. Где-то обычные вентили, где-то ручки, которые надо дергать вверх или вбок. Иногда надо нажимать кнопку. Часто там датчик и надо помахать рукой перед краном. Или не помахать, а подержать.
Я слышал историю про педаль, которую надо нажимать ногой внизу (!).

В результате в каждом новом аэропорту я начинаю махать руками перед краном, трогать его в разных местах c надеждой, что он включится. Если есть возможность — подсматриваю за соседями, как они делают. (А когда разобрался — новые соседи у умывальников подглядывают за тобой)

2. Рестораны и кафе.
В каждой новой стране свои правила. В классических ресторанах все понятно: ты садишься, тебе приносят меню, оплачиваешь счет официанту. В разных кафешках все по разному: иногда надо заказать у стойки, там же оплатить и тебе принесут за стол. Или надо забрать самому. Или примут заказ у столика, а оплачивать надо идти на кассу. Каждый раз может быть что-то новое, если не угадал — сидишь за столиком и думаешь, почему к тебе не подходят.

3. Лифты в отелях.
У лифта простой интерфейс: кнопки и этажи. Но в лифтах отелей даже там можно хорошо потупить. У некоторых лифтов надо провести ключем отеля перед считывателем, чтобы он поехал, а у других нет. У каких-то лифтов считыватель стоит снаружи, а у каких-то внутри (как-то раз я простоял 20 минут перед лифтом, ожидая его. Оказалось надо было провести карточой перед дверью). Где-то карточка дает доступ на все этажи, а где-то только на твой.
Лобби может быть за кнопкой [1], [0], [Lobby], [L] и [-1] (это особенно странный вариант). Порядок кнопок тоже может быть весьма странный:

1 2
3 4
5 6

или же

1 4
2 5
3 6

Заходишь в лифт и тупишь.

Qetzal ad libitum, ad infinitum

02 October 2017 11:31

"A bias towards action and quick decisions is the greatest strength an organization can develop and maintain."

Из https://twitter.com/ilyasu/status/897832642762096641

Qetzal ad libitum, ad infinitum

11 September 2017 18:08

Еще сильней это применимо к сайтам стартапов. Вот тут ребята про это пишут: kasperkubica/for-the-love-of-god-please-tell-me-what-your-company-does-c2f0b835ab92" rel="nofollow">https://medium.com/@kasperkubica/for-the-love-of-god-please-tell-me-what-your-company-does-c2f0b835ab92

Qetzal ad libitum, ad infinitum

29 August 2017 18:43

"The Idea Person": https://medium.com/the-year-of-the-looking-glass/the-idea-person-e08e36f9024d

Еще раз про то, почему идеи сами по себе так мало значат.

А стоит быть тем, кто:

- Someone who knows that good execution is 90% of what makes anything succeed.
- Someone who values getting shit done.
- Someone who honors the craft of getting shit done well.
- Someone who recognizes that in order to make the idea live, she must inspire others to also want to make the idea live, through a combination of planning, research, critical thinking, and effort.
- Someone who fights the devil in the details every single day.
- Someone who does not pat herself on the back when the idea is good, but only when the incarnation of the idea is good.
- Someone who does not flinch at the possibility that her idea may not be good enough.
- Someone who soldiers on through the hard, the repetitive, the frustrating, the boring, all for the sake of making something real.

Qetzal ad libitum, ad infinitum

29 August 2017 18:00

"21 management things I learned at Imgur": gerstenzang/21-management-things-i-learned-at-imgur-7abb72bdf8bf" rel="nofollow">https://medium.com/@gerstenzang/21-management-things-i-learned-at-imgur-7abb72bdf8bf