A/B-тест
A/B-тестирование — золотой стандарт причинной аналитики в digital-продуктах. Без него — корреляция выдаётся за причинность. Расчёт sample size: зависит от baseline conversion и MDE (minimum detectable effect). Тулзы: Google Optimize (закрыт), Optimizely, VWO, GrowthBook, в РФ — Я.Метрика эксперименты.
Когда применять и когда нет
Применять
- Изменения с измеримой метрикой
- Достаточно трафика (минимум 1000 пользователей в группе)
Не применять
- Новый продукт без трафика
- Радикальный pivot — A/B не подходит для качественных скачков
Примеры применения
Тест нового onboarding: A — старый flow, B — новый. 5000 пользователей в каждой группе. Метрика — completion rate. Через 2 недели: A — 35%, B — 42%. p-value = 0.001. Result: B значимо лучше, выкатываем.
Часто задаваемые вопросы
Минимум 1 неделя (для учёта недельной сезонности), обычно 2–4 недели. Главное — достичь pre-calculated sample size. Останавливать раньше — peeking — приводит к ложным выводам.