НОВОЕ😍 Рабочие процессы, структура компании, шаблоны и холст. Обновление Shtab 3.0 ➜
Попробовать бесплатно
Аналитика и данныеСтатистика

Статистическая значимость

Свойство результата эксперимента, при котором вероятность получить его случайно при отсутствии эффекта мала.

КРАТКО
Статистическая значимость показывает, насколько результат эксперимента похож на случайное совпадение. Чем она выше, тем меньше шанс, что вы спутаете шум с реальным эффектом. По умолчанию принимают порог 5%: если вероятность получить такие данные при отсутствии эффекта меньше 5%, результат считают значимым. Это не доказательство, а защита от слишком ранних выводов.
СИНОНИМЫ:статистическая значимостьуровень значимостизначимость результатаstatistical significance

Статистическая значимость — главная защита от того, чтобы принять случайный всплеск за реальное улучшение. Без неё A/B-тесты быстро превращаются в гадание.

Что важно

  • Порог 5% — соглашение, а не закон. В медицине и в регулируемых отраслях берут 1% или 0,1%, в маркетинге часто 10%.
  • Значимый результат не равен «большому». Малый, но устойчивый эффект может быть значим, а большой случайный — нет.
  • Чем больше выборка, тем легче поймать значимость даже у незначительных эффектов.

Типичные ошибки

  • Подглядывание в тест до его завершения и остановка, как только цифры понравились.
  • Многократные сравнения без поправок — чем больше метрик проверяете, тем выше шанс случайной «победы».
  • Игнорирование размера эффекта: значимый, но микроскопический результат может не стоить внедрения.
КОГДА ПРИМЕНЯТЬ
  • Любые A/B-тесты и сравнения вариантов
  • Любые выводы вида «у группы X результат выше, чем у Y»
  • Перед принятием решений на основе данных небольшого объёма
КОГДА НЕ СТОИТ
  • Когда речь о бизнес-решении, где значимость — лишь часть картины. Иногда стоит внедрить и без полной значимости, иногда — отказаться даже при значимом эффекте, потому что он слишком мал
ПРИМЕР

Маркетинг тестирует два варианта писем. Через сутки в первом конверсия 3,1%, во втором — 3,4%. Кажется, что лучше второй. Расчёт значимости показывает: при таком объёме данных вероятность увидеть такую разницу случайно — около 30%. Через неделю и большую выборку разница исчезает: оба варианта дают около 3,2%. Без расчёта значимости команда отправила бы менее качественный шаблон в массовую рассылку.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

До запуска A/B-теста заранее посчитайте, какая выборка нужна, чтобы поймать минимально интересный для бизнеса эффект. Если для значимости требуется выборка, до которой эксперимент не доживёт, нужно либо менять метрику, либо честно признать, что тест не даст результата.

Попробовать бесплатно

Вопросы про «Статистическая значимость»

Нет. Это означает только, что вероятность случайно увидеть такие данные при отсутствии эффекта мала. Остаётся 5% (или другой выбранный порог) случаев, когда мы ошибочно поверим в эффект, которого нет. Значимость снижает риск ошибки, но не отменяет его, поэтому важные решения полезно подтверждать повторным тестом.

Ещё из «Аналитика и данные»

Вся категория →
ARPU и ARPPU (средняя выручка на пользователя)

ARPU — средняя выручка на пользователя. ARPPU — средняя выручка на платящего пользователя.

Business Intelligence (бизнес-аналитика)

Совокупность процессов и инструментов сбора, хранения и визуализации данных для принятия деловых решений.

DAU, WAU, MAU (активная аудитория за день, неделю и месяц)

Количество уникальных активных пользователей за день, неделю и месяц соответственно.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатноВсе термины