Размер выборки
Размер выборки — главный регулятор надёжности и стоимости любого статистического исследования. Слишком маленькая выборка даёт ненадёжные выводы, слишком большая — лишние затраты времени и денег.
От чего зависит нужный размер
- Минимальный эффект, который вы хотите уверенно поймать (MDE).
- Базовая величина метрики: конверсия 1% требует значительно большей выборки, чем 30%.
- Выбранные уровни значимости и мощности теста.
- Дисперсия метрики: чем шире разброс, тем больше нужно данных.
Что важно
- Если выборка не дотягивает до расчётной, выводы из теста почти бесполезны.
- Слишком большая выборка приводит к тому, что значимыми становятся даже бесполезные для бизнеса различия.
Когда применять и когда нет
Применять
- Перед запуском A/B-теста
- При планировании опросов и фокус-групп
- Перед оценкой моделей на отложенной выборке
Не применять
- Когда выбор делается не на основе статистики, а на основе экспертной оценки или регуляторных требований
Примеры применения
Команда хочет проверить изменение в форме регистрации. Конверсия — 8%, минимальный интересный прирост — 0,5 процентных пункта. Калькулятор размера выборки показывает: для теста с уровнем значимости 5% и мощностью 80% нужно около 28 тысяч пользователей в каждой группе. У сайта 5 тысяч новых в неделю. Это значит, что эксперимент займёт около 12 недель, и команда заранее решает либо подождать, либо тестировать более грубые гипотезы.
Часто задаваемые вопросы
Тогда честнее признать, что тест не даст уверенного ответа, и либо подождать, либо изменить метрику на более чувствительную, либо использовать байесовские методы и принимать решение с явно описанной долей риска. Иллюзия точности на маленькой выборке хуже, чем её отсутствие.
Да, их много — у Google, Optimizely, Evan Miller и других. Для большинства классических задач они работают хорошо. Для нестандартных метрик и распределений лучше посчитать вручную или с помощью симуляций.