'/%3e%3cpath%20d='M83.8172%20112C100.688%20112%20111.886%2098.2694%20112%2083.8882H44.0245C25.8409%2083.8882%2016.001%2094.3169%2016.001%20112H83.8172Z'%20fill='url(%23paint1_linear_101_577)'/%3e%3cpath%20d='M44.1725%2044.1138H16.0008C15.9465%2051.0963%2018.504%2058.2306%2024.2977%2064.0225L44.1706%2083.8881L52.8986%2075.3569L61.7636%2066.7019C63.2767%2065.2244%2063.2786%2062.7888%2061.7636%2061.3094L44.1725%2044.1138Z'%20fill='%233A5FFF'/%3e%3cpath%20d='M83.8248%2083.8862H111.996C112.051%2076.9037%20109.493%2069.7693%20103.7%2063.9774L83.8267%2044.1118L75.0986%2052.6431L66.2337%2061.2981C64.7206%2062.7756%2064.7187%2065.2112%2066.2337%2066.6906L83.8248%2083.8862Z'%20fill='%233A5FFF'/%3e%3cdefs%3e%3clinearGradient%20id='paint0_linear_101_577'%20x1='16.001'%20y1='30.055'%20x2='111.998'%20y2='30.055'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%2370ADFE'/%3e%3cstop%20offset='0.62'%20stop-color='%233A5FFF'/%3e%3c/linearGradient%3e%3clinearGradient%20id='paint1_linear_101_577'%20x1='111.998'%20y1='97.9451'%20x2='16.001'%20y2='97.9451'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%2370ADFE'/%3e%3cstop%20offset='0.62'%20stop-color='%233A5FFF'/%3e%3c/linearGradient%3e%3c/defs%3e%3c/svg%3e)
Доверительный интервал
Точечная оценка вроде «конверсия 3,4%» создаёт ложное чувство точности. Доверительный интервал честно показывает, в каких пределах могла бы лежать истинная величина.
Как читать
- «95% доверительный интервал» означает: если повторить эксперимент много раз, в 95% случаев истинное значение окажется внутри посчитанного интервала.
- Чем больше выборка, тем у́же интервал — оценка надёжнее.
- Чем выше уверенность (90%, 95%, 99%), тем шире интервал.
Чем полезен для бизнеса
- Сразу видно, насколько разница между группами реальна: если интервалы сильно пересекаются — разница, скорее всего, шум.
- Удобно обсуждать риски: лучше говорить «эффект между −0,2% и +1,8%», чем «эффект +0,8%, p = 0,07».
Когда применять и когда нет
Применять
- В A/B-тестах и любых сравнениях групп
- Когда нужно объяснить руководству, насколько точны оценки
- Когда планируете действия с учётом возможных диапазонов эффекта
Не применять
- Когда вообще нет данных, чтобы посчитать доверительный интервал, — сначала наладить сбор
Примеры применения
Финансовый аналитик сравнивает два варианта тарифа: средний чек в первом 1200 рублей (95% ДИ: 1150–1250), во втором — 1240 рублей (95% ДИ: 1100–1380). Точечные цифры подсказывают, что второй тариф «лучше», но интервалы пересекаются, и при таком объёме данных нельзя уверенно сказать, какой тариф в действительности приносит больше. Это сразу видно по доверительным интервалам и не видно по одной цифре среднего чека.
Часто задаваемые вопросы
Доверительный интервал показывает не только «значимо или нет», но и насколько большим может быть эффект. Это сразу помогает оценить практический смысл результата, а не только формальное «прошёл порог значимости».
Это уровень уверенности: если бы мы много раз повторили эксперимент и строили такие интервалы, в 95% случаев истинное значение оказалось бы внутри. Менять можно: 90% — шире и осторожнее, 99% — у́же и аккуратнее в выводах.