Доверительный интервал
Точечная оценка вроде «конверсия 3,4%» создаёт ложное чувство точности. Доверительный интервал честно показывает, в каких пределах могла бы лежать истинная величина.
Как читать
- «95% доверительный интервал» означает: если повторить эксперимент много раз, в 95% случаев истинное значение окажется внутри посчитанного интервала.
- Чем больше выборка, тем у́же интервал — оценка надёжнее.
- Чем выше уверенность (90%, 95%, 99%), тем шире интервал.
Чем полезен для бизнеса
- Сразу видно, насколько разница между группами реальна: если интервалы сильно пересекаются — разница, скорее всего, шум.
- Удобно обсуждать риски: лучше говорить «эффект между −0,2% и +1,8%», чем «эффект +0,8%, p = 0,07».
Когда применять и когда нет
Применять
- В A/B-тестах и любых сравнениях групп
- Когда нужно объяснить руководству, насколько точны оценки
- Когда планируете действия с учётом возможных диапазонов эффекта
Не применять
- Когда вообще нет данных, чтобы посчитать доверительный интервал, — сначала наладить сбор
Примеры применения
Финансовый аналитик сравнивает два варианта тарифа: средний чек в первом 1200 рублей (95% ДИ: 1150–1250), во втором — 1240 рублей (95% ДИ: 1100–1380). Точечные цифры подсказывают, что второй тариф «лучше», но интервалы пересекаются, и при таком объёме данных нельзя уверенно сказать, какой тариф в действительности приносит больше. Это сразу видно по доверительным интервалам и не видно по одной цифре среднего чека.
Часто задаваемые вопросы
Доверительный интервал показывает не только «значимо или нет», но и насколько большим может быть эффект. Это сразу помогает оценить практический смысл результата, а не только формальное «прошёл порог значимости».
Это уровень уверенности: если бы мы много раз повторили эксперимент и строили такие интервалы, в 95% случаев истинное значение оказалось бы внутри. Менять можно: 90% — шире и осторожнее, 99% — у́же и аккуратнее в выводах.