6899
Кращі матеріали по A/B-тестуванню Автор: @osiyuk Product Analyst в MacPaw.com
Мотив (або ж мотивований трафік) — непроста
тема для ринку мобільних додатків.
Із кількох ключових чинників,
що впливають на досягнення позначки $10k MRR,
зупинимось на двох основних:
1. Життєздатність мотиву
Якщо ви стежили за ситуацією, то знаєте: останні три місяці
в ASO-ринку були складними. У більшості сервісів
мотивованого трафіку середній відсоток установок,
які зараховувались через конект, ледве дотягував до 50%.
Для тих, хто працює з китайськими партнерами,
нормою вважався показник у 30%.
Втім, були й винятки. Деякі команди змогли утримати
високий рівень зарахувань — 80–90%.
Наприклад, @Fourasobot
2. Вартість трафіку
Схема бізнесу досить відома: створюєш
утилітарні мобільні застосунки,
заливаєш на них мотивований трафік,
піднімаєш їх у сторах.Далі застосунок
починає з’являтись в органічному пошуку,
залучаючи реальних користувачів, які оформлюють підписки.
Математика виглядає приблизно так:
Розробка застосунку — $3–10k
Витрати на мотив трафік — залежать від стратегії заливу
Після запуску та промо — MRR у межах $1–10k,
залежно від рівня команди (медіанний показник по ринку)
Ключовим чинником є вартість трафіку:
$0.20 за інсталл → 100k установок = $20k
$0.10 → $10k
$0.05 → $5k
Наприклад:
Якщо ваш застосунок коштує $5k, а трафік — $20k,
а ви маєте $2k MRR — це провально.
Але якщо все обійшлося в $10k,
а MRR дорівнює $2k — це вже робоча модель.
Цікаво, що в того ж @Fourasobot
собівартість залежить від обсягів.
Саме тому вони будують сітку — великі команди отримують кращі ціни,
малі — менш вигідні.
Ті, хто заливає мільйони установок,
можуть вийти в плюс за пів року.
А ті, хто працює точково — можуть чекати роками.
На жаль чи на щастя — ринок працює саме так.
Подавай заявку на навчання з аналітики від Genesis Academy!
Обирай програму, яка найкраще відповідає твоєму запиту:
📊 Genesis Analytics Week — відкритий тиждень live-лекцій і воркшопів, що допоможе розібратися з основами аналітики в IT-бізнесі.
Без відбору — участь за реєстрацією.
Після навчання ти:
▪️знатимеш, які бувають ролі аналітиків у продуктовому ІТ;
▪️розумітимеш метрики та їхню взаємозалежність;
▪️отримаєш інструменти для розвитку критичного мислення й боротьби з когнітивними викривленнями;
▪️навчишся доносити результати своєї роботи та впливати на бізнес.
⌛️ Реєструйся: https://cutt.ly/irkuBTEy
💻 Genesis Analytics Summer Camp — інтенсивний курс, що поєднує теоретичне навчання та роботу над реальними бізнес-кейсами.
На тебе чекають:
▪️4 тижні теорії: онлайн-навчання на LMS, live-лекції, воркшопи, тестування;
▪️8 тижнів практики: кейс-стаді, практикуми, реальні задачі, ярмарок вакансій.
📌 Проходь відбір у закриту групу та навчайся безоплатно.
⌛️ Подавай заявку до 1 червня: https://cutt.ly/nrkuNrAH
Якщо хочеш глибше зрозуміти аналітику, метрики, бізнес-контекст і логіку ухвалення рішень у продуктовому ІТ — долучайся!
The good Lukas Vermeer’s A/B testing game simulator is here. It’s an interactive way to understand hypothesis testing better.
You control the backlog and running experiments for a small development team. Each day you make decisions that impact product development and overall sales.
Your objective is to maximise total sales.
via @ABtesting
Four Ways to Improve Statistical Power in A/B Testing (without increasing test duration, duh)
Exploration simple and potent techniques for enhancing power without prolonging test durations. By grasping the significance of key parameters such as allocation, MDE, and chosen KPIs, data analysts can implement straightforward strategies to elevate the effectiveness of their testing endeavors. This, in turn, enables increased data collection and provides deeper insights into their product.
via @ABtesting
Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud"!
🔗 Реєстрація на програму за посиланням!
Новий потік програми стартує 16 вересня та націлений на розробників, IT-інженерів, світчерів та всіх кому цікаві хмарні технології. Під час програми учасники, які тільки починають свій карʼєрний шлях в IT, зможуть отримати персоналізовану підтримку від експертів по роботі із Google Cloud.
У межах індивідуальних консультацій до 100 учасників зможуть отримати відповіді на свої питання та практичні поради щодо початку кар’єри у сфері IT, а також дізнатися більше про роботу з хмарними технологіями.
Учасники програми також отримають:
✔️Безкоштовний 45-денний доступ до платформи Google Cloud Skills Boost для вдосконалення своїх навичок.
✔️Можливість отримати нагороди за здобуті бейджі навичок на платформі.
✔️Вебінари із фахівцями зі штучного інтелекту та Google Cloud, які ділитимуться своїм практичним досвідом роботи у хмарі.
✔️Безкоштовні ваучери на сертифікаційний іспит Google Cloud за 12+ бейджів навичок.
Computing Minimum Sample Size for A/B Tests in Statsmodels: How and Why
A deep-dive into how and why Statsmodels uses numerical optimization instead of closed-form formulas.
@ABtesting
The downsides of experimentation
The article help you to delve into the less discussed, yet critical, aspects of experimentation.
@ProductAnalytics
When You Should Prefer “Thompson Sampling” Over A/B Tests
An in-depth explanation of “Thompson Sampling”, a more efficient alternative to A/B testing for online learning
@ABtesting
Delusive Extrapolation and A/B Testing
Cautionary Tales of Complexity and the Dangers of Jumping to Conclusions
@ABtesting
The Five Types of A/B Test Decisions
https://www.harlan.harris.name/2023/07/the-five-types-of-a-b-test-decisions/
@ABtesting
Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" - тепер із фокусом на машинне навчання (ML), штучний інтелект (АІ) та роботу з даними!
Програма стартує 18 вересня та націлена на програмістів, IT-інженерів, студентів IT-спеціальностей і точних наук, а також нетехнічних фахівців, які працюють із даними.
Учасники програми отримають:
✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost
✔️практичний досвід
✔️індивідуальні напрями навчання, зокрема з фокусом на АІ, ML та дані
✔️призи від Google
✔️безкоштовні ваучери на сертифікаційний іспит Google Cloud
✔️поради від експертів із хмарних технологій
🔗 Долучайтеся до програми за посиланням!
Як обійти обмеження Google Optimize при аналізі результатів A/B-тестування використовуючи BigQuery та Python зі joshua.web3/harnessing-the-power-of-bigquery-and-python-overcoming-google-optimize-a-b-testing-limitations-9233365a0707">зразками коду.
@BigQuery
Difference-in-Differences
Метод оцінки ефекту змін у випадку, коли немає змоги провести A/B-тест.
+ приклад реалізації на Python.
@ABtesting
Валідація продуктових гіпотез
ttatus/валідація-продуктових-гіпотез-61f52a79879">Підходи до валідації та про А/Б тестування.
@ABtesting
Variance reduction in experiments using covariate adjustment techniques by Data Scientists at Glovo
@ABtesting
ridhomakbar/the-unusual-a-b-test-with-heterogenous-treatment-effects-7a6bf03c86db">The unusual A/B Test, with Heterogenous Treatment Effects
The article explores the limitations of traditional A/B testing when treatment effects are heterogeneous—that is, when changes don’t affect all users or segments equally.
In search engines, changes to algorithms might significantly impact some queries
via @ABtesting
False Positive Risk in A/B Testing
There is a much greater probability than generally expected that a statistically significant test outcome is in fact a false positive. In industry jargon: that a variant has been identified as a “winner” when it is not.
https://georgi-georgiev.medium.com/false-positive-risk-in-a-b-testing-ba2c76e258c4
via @ABtesting
It takes a Flywheel to Fly: Kickstarting and Keeping the A/B testing Momentum
Practitioners from hundreds of companies and several different industries reached out with thoughts, concerns and tips on how to kickstart and scale an A/B testing program from “Crawl” or “Walk” milestones, to the “Run” or “Fly” stages.
via @ABtesting
Beyond the limitation of A/B Testing using Causal Inference
In the realm of product management and development, understanding the impact of new campaign (aka treatment) releases on user behavior is crucial. Campaign assessing effect on key performance indicators, such as retention metrics (specifically, Day 1 retention or D1), becomes a pivotal task.
However, this dangvanconghoang.ch/beyond-the-limitations-of-a-b-testing-using-causal-inference-044d85b19c74">task presents several challenges. While A/B testing is commonly employed to measure such impacts, it is not always a viable option due to ethical, practical, or financial constraints.
@ProductAnalytics
Ми в MacPaw шукаємо продуктового аналітика з досвідом у web-аналітиці та бажанням працювати над маркетинговими задачами.
MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.
40+ аналітиків, багато різноманітних сервісних команд, які допомагають продуктовим аналітикам робити їх роботу краще. Можливість працювати віддалено.
Вакансія за посиланням:
👉 Product Analyst (Marketing).
Google запрошує на Kaggle-змагання з машинного навчання
🔗 Реєстрація на змагання за посиланням!
Kaggle-змагання від Google націлене на людей, що цікавляться машинним навчанням (ML - machine learning) та надає можливість попрактикувати свої навички на реальних або наближених до реальних задачах. Змагання стартує 17 червня і триватиме два тижні.
Учасники змагання отримають:
✔️практичні навички машинного навчання;
✔️доповнення портфоліо;
✔️зворотній звʼязок від експертів;
✔️знайомство з іншими фахівцями;
✔️цінні нагороди для перших 50 учасників, що продемонструють найкращий результат у змаганні.
Ви понад 2 роки в IT, але наймана робота здається затісною? Хотіли б працювати на себе і відкрити власну IT компанію?
⚡️Тоді 6 лютого о 18:00 за Києвом, відвідайте онлайн-зустріч по старту IT-компанії про те, яку стратегію та нішу обрати для запуску.
🎙Досвідом поділиться Павло Обод
Він починав як розробник, сьогодні має компанію Sloboda Studio, що налічує понад 100 співробітників та працює «на автоматі». Засновник найбільшого ком'юніті IT-підприємців в Україні, інвестор.
👀 Якщо вам цікаво дізнатися про перші кроки до IT-підприємництва, реєструйтесь та скористайтеся бонусом – отримайте файл з розбором актуальних бізнес-моделей в IT аутсорсингу.
До зустрічі 6 лютого, 18:00 за Києвом🤝
🚀 Дайджест Освітніх Можливостей від Sigma Software University: Розкрий свій потенціал у світі даних! 📊
Якщо ви мріяли поглибити свої знання в сфері аналітики та даних, то цей дайджест - саме для вас. Ми готові познайомити вас зі світом Time Series, вивчити Power BI з рівня новачка до експерта та вивести на новий рівень навички Data Science та Big Data. 🚀
📍 14.02 КУРС DATA SCIENCE
📍 02.03 КУРС BIG DATA
📍05.03 КУРС POWER BI
Також запрошуємо на безкоштовний мітап:
📌15.02 МІТАП: TIME SERIES ANALYSIS AND FORECASTING
Спеціально для підписників каналу діє знижка 15% за промокодом
ABTESTING15*Читать полностью…
Безплатна лекція для новачків "Data Scientist/Data Analyst: Введення в професії"📊
Шукаєте нові способи оптимізації кампаній та покращення результатів❓
Або ж просто маєте бажання змінити професію❓
Тоді наша лекція для вас😉
Знання з Data Science допоможуть вам віртуозно збирати, обробляти і аналізувати великі обсяги даних, зрозуміти поведінку клієнтів, їхні вподобання і прогнозувати майбутні подій на основі історичних даних. Це корисно для оптимізації бюджетів та передбачення ефективності рекламних кампаній.
До того ж ви зрозумієте чому так стрімко зростає попит на Data Science/Data Analyst та чому навіть попри кризу заробітні плати цих спеціалістів зростають!
🔥Також, бговоримо найбільш цікаві питання:
🔹 Data Analyst та Data Science: чому це цікаво та як спробувати себе у професії?
🔹 Які проблеми на шляху: від освоєння професії до старту роботи за новою професією? Рішення!
🔹 Як влаштована “кухня” всередині IT проекту та яка у ній роль фахівця з Data Science?
🔹 Чому Data Science це професія, яку НІКОЛИ не замінить AI? Та як використовувати АІ у своїх цілях в роботі ?
🔹 Як знайти круту команду та добре заробляти з професією Data Science/Data Analyst?
🔹 З чого почати на першій роботі в Data Science та як влаштуватися? Як влаштуватися на першу роботу у ролі Data Analys|Data Scientist. З чого почати?
🗓 25 жовтня
🕗 19:00
🎙 Спікер: Ігор Бетлей - Head of R&D у Platma та Agrosem.
🎁А ще, маємо для вас подарунок. Бронюйте місце і отримайте гайд входження в професію Data Scientist, Data Analyst, який ґрунтується на реальних подіях😎
🔗 Реєструйтесь на безкоштовну лекцію, пориньте у світ професій які не замінить AI у найближчі 20 років
Всього за 3 дні ви познайомитесь з основними робочими задачами дата-аналітика. Так зможете зрозуміти, чи підходить вам ця айтішна професія та які можливості відкриває. 😎
Марафон стартує регулярно, спробувати може кожен. Для участі потрібен лише ноутбук та 1 година вільного часу ввечері.
Якщо виконаєте всі домашки, берете участь у розіграші повного курсу Data Analyst в GoIT. Починайте хоч зараз!
📱 Реєстрація: https://i.goit.global/CrKzU
An Introduction to Bayesian A/B Testing in Stan, R, and Python workshop - цікавий воркшоп від Dariia Mykhailyshyna за донат.
Про основи байєсівського підходу до A/B тестування та теорії прийняття рішень для аналізу великомасштабних експериментів у промислових умовах.
Більше корисних воркшопів тут.
@ABtesting
Практичні та теоретичні навички по роботі машинного навчання (ML) для девелоперів: навчальний курс “Machine Learning Bootcamp” від Google
🔗 Реєстрація на програму за посиланням!
Курс націлений допомогти спеціалістам, які цікавляться ML, знають Python та володіють англійською мовою на середньому рівні чи вище, здобути практичні навички з використання машинного навчання (ML) й отримати можливість застосовувати їх одразу під час навчання. Перший тренінг відбудеться вже 6 липня о 17:00.
Учасники програми отримають:
✔️практичні навички машинного навчання за допомогою TensorFlow;
✔️можливість отримати сертифікат TensorFlow Developer Professional Certificate на Coursera та ваучер на іспит TensorFlow Certificate;
✔️навчання онлайн у зручний час;
✔️отримати поради від спікерів Google та інших компаній під час лекцій, відкритих дискусій та індивідуальних консультацій;
✔️виграти цінні нагороди у розіграшах наприкінці кожної лекції.
BigQuery UDF for A/B-testing
aleksandrosiyuk/bigquery-udf-for-ab-testing-47580858f153">Automate the calculations of experimental results in BigQuery via User Defined Function.
@BigQuery.
AB testing in real life alejandro.attento/ab-testing-in-real-life-step-by-step-8d455dc5674a">step-by-step.
+ repository with the code on GitHub
@ABtesting
Optimizing Marketing Strategies using A/B Testing with Machine Learning (Part 1, Part 2)
via @ABtesting
