6899
Кращі матеріали по A/B-тестуванню Автор: @osiyuk Product Analyst в MacPaw.com
Bayesian Hierarchical A/B Testing with PyMC3
https://medium.com/geekculture/bayesian-hierarchical-a-b-testing-with-pymc3-f2c6bab14b24
via @ABtesting
Shared.domains - ссылки с морд в складчину
Как участник, всего за $150 вы получите ссылку с главной страницы домена, который был куплен на аукционе за $2000, а продление на следующий год будет стоить $30-50 (в зависимости от числа участников).
Работает это так: ежедневно в сервисе shared.domains появляются новые домены - это уже отобранные вручную домены, с нормальными анкорами, чистой историей по web archive и с максимальным числом ссылок в главную страницу и после выкупа домена, каждый участник получает ссылку с главной страницы.
Как сервис, мы хотим дать больше value нашим клиентам, поэтому активно ищем участников для нишевых складчин, где вашими соседями будут только сайты в той же нише.
Анжела @shared_domains_support готова ответить на все ваши вопросы, а при регистрации на сайте shared.domains по промокоду 2022 можно получить $25 на счет.
Confidence Interval
The 95% confidence interval dominates experimentation. Why you should make 95% your default, and when and how to adjust it.
via @ABtesting
Bayesian A/B Testing in R and comparison Bayesian vs. Frequentist statistics.
via @ABtesting
Подробное описание анализа данных AB-теста с примерами кода на Python.
via @ABtesting
Sequential A/B Testing at Uber — for early stopping and continuous testing.
via @ABtesting
Segment analytics with Firebase AB testing
https://medium.com/firebase-developers/segment-analytics-with-firebase-ab-testing-36bfa6589ea4
via @ABtesting
Описание полного цикла процесса экспериментирования.
via @ABtesting
Как увеличить мощность критериев для A/B-тестирования, используя машинное обучение? Дима Лунин, аналитик AvitoTech, подробно рассказал в своей статье, а ещё:
🔹 что такое CUPED-метод и как улучшить CUPED-алгоритм;
🔹 как использовать Uplift-модель в качестве статистического критерия;
🔹 методы и критерии, разработанные и придуманные командой AvitoTech.
Ритейловский кубик рубик и как его собирать: X5 Group запускает платформу АБ-тестирования.
На финишной полосе этого года одна из крупнейших компаний страны X5 Group объявила о запуске первой в ритейле платформы АБ-тестирования. Анализ экспериментов будет проводиться на основе данных хранилища X5 и ежедневной работы 18656 магазинов, что суммарно означает обучение на десятках миллионов записей ежедневно. «Сырые» данные станут настоящим сокровищем в 1000 планируемых ежегодных экспериментов ритейлера. В планах X5 продолжить драйвить рост бизнеса за счет новых подтвержденных гипотез и уменьшить время внедрения успешных пилотов с минимизацией человеческого фактора в процессы.
Получается простая арифметика – чем больше задаешь вопросов, тем больше получаешь ответов. Каждый правильный ответ равен кратному эффекту для бизнеса и развития отрасли в целом.
Куда приведут такие примеры покажет время, но то, что этот шаг уникален и немного отдает ароматом «судьбоносного» можно заявить с уверенностью.
Еще один неплохой бесплатный курс по А/B-тестированию.
via @ABtesting
Как в Airbnb проводят эксперименты и как фреймворк Experiment Guardrails помогает им предотвратить негативное влияние на ключевые метрики при масштабных экспериментах.
via @ABtesting
10 ошибок в A/B-тестировании мобильных приложений
Подробный разбор самых частых ошибок при проведении экспериментов — с примерами и рекомендациями по устранению. Полезно изучить перед запуском A/B-тестов в продукте.
Бонусом в статье делятся новым сервисом для проведения A/B-тестов именно в мобильных приложениях: proba.ai.
via @ABtesting
Как сделать причинно-следственный вывод по методу Массачусетского технологического института.
via @ABtesting
A/B Testing Result Analysis Using Python— Beginner’s Guide
via @ABtesting
How to Select the Right Statistical Tests for Different A/B Metrics.
A Discussion of the go-to methods for 5 Types of A/B Metrics.
via @ABtesting
Editorial Links - Ccылки с Корпоративных Блогов Компаний и SaaS сервисов
💪 Як збільшити трафік на сайт за допомогою editorial посилань?
Editorial посилання - це посилання з сайтів реальних бізнесів, корпоративних блогів всесвітньо відомих SaaS сервісів.
Посилання за таких сайтів не продаються, їх отримують тільки завдяки збудованим відносинам.
Приклади сайтів: podium.com, monday.com, namecheap.com, envato.com, cloudways.com, avada.io.
На скріншоті один із сайтів, який просувається editorial посиланнями. За 10 місяців було проставлено 83 editorial посилання. Результат - зростання позицій за висококонкурентними запитами і трафіку по сторінках, що просуваються.
Відгуки: https://clutch.co/profile/admix-global-editorial-link-building#summary.
Замовте тестове посилання на сайті editorial.link
Також працюємо по White Label з агентствами на спеціальних умовах.
Віталій @Vitali_999 готовий відповісти на всі ваші питання.
Abel-Blue/a-b-test-using-machine-learning-a6dfbbb2d016">Comparison of different approaches to A/B-testing: Classic, Sequential and Machine Learning Approach.
via @ABtesting
Understanding CUPED
An in-depth guide to the state-of-the-art variance reduction technique for A/B tests.
via @ABtesting
Статья о распространенных ошибках в A/B-тестировании
via @ABtesting
Не используйте T-Test в A/B-тестировании, или как уменьшить дисперсию.
via @ABtesting
Появился еще один пакет в Python для оценки A/B-тестирования с использованием байесовского подхода: статья | пакет | github
via @ABtesting
Обзор собственной платформы для А/В-тестирования от Teads.
via @ABtesting
Что такое статистическая мощность и 5 способов как ее увеличить.
via @ABtesting
🆎 Proba — новый сервис для проверки продуктовых гипотез в мобильных приложениях.
Развитие мобильного приложения невозможно без постоянной проверки новых гипотез. Это конвейер — протестировали, измерили, приняли/отклонили. Любому product-менеджеру, разработчику, аналитику, маркетологу хочется ускорить этот процесс. На проверку каждой гипотезы уходит несколько дней (часто и недель), плюс нужно позаботиться о статзначимости результата.
Мы запускаем сервис, который помогает мобильным продуктам автоматизировать этот процесс и проводить A/B-тесты быстрее и дешевле. Для этого мы реализовали алгоритмы автоматического распределения пользователей и оптимизации под выбранную целевую метрику. Помимо простой конверсии алгоритм может оптимизироваться на ARPU и количество совершённых событий. Уже в ходе эксперимента побеждающий вариант будет получать больше пользователей. Автоматическое распределение трафика работает на основе байесовской статистики.
🚀 Мы приглашаем вас попробовать наш сервис бесплатно и будем рады любой обратной связи — регистрируйтесь на proba.ai
📆 Также приглашаем на бесплатный вебинар «А/B-тесты в мобайле: как проверять гипотезы быстро и дёшево», который пройдёт 1 декабря в 16:00 МСК. Регистрация доступна здесь.
По всем вопросам: @annatch66
Приглашаем на митап по аналитике от EXPF x Delivery Club
Программа:
— «Что делать, если возникли сомнения, подходит ли твой критерий для твоего теста (а они должны возникать!)», Тимур Исмагилов, Avito
— «Платформа switchback-экспериментов в Ситимобил», Артём Солоухин, Cитимобил
— «Как мы ищем точки роста в продукте: пошаговая инструкция», Владимир Абазов, Delivery Club
— «Скрытая угроза ранговых критериев», Егор Семин, EXPF
Когда: 25 ноября 2021, 18:00—20:00
Где: online
Регистрация и детали: https://u.to/57bCGw
Книга по байесовской оптимизации от Roman Garnett. Это драфт от автора, официально книга выйдет в 2022 году.
via @ABtesting
Статья о том, как у Facebook повышали качество A/B-тестов.
via @ABtesting
