Что значит «95%»?

Это уровень уверенности: если бы мы много раз повторили эксперимент и строили такие интервалы, в 95% случаев истинное значение оказалось бы внутри. Уровень можно менять: 90% даёт более узкий интервал и более смелые выводы, 99% — более широкий интервал и более осторожные. Выбор делают заранее, до расчёта, а не после него.

Аналитика и данныеСтатистика

Доверительный интервал

Диапазон значений, в котором с заданной уверенностью лежит истинная величина параметра.

КРАТКО

Доверительный интервал — это пара чисел, между которыми с заданной уверенностью (обычно 95%) находится истинное значение показателя. Например: «средний чек 1200 рублей, 95-процентный доверительный интервал — от 1150 до 1250». Для бизнеса это гораздо более полезный формат, чем одиночная цифра: сразу видно, насколько надёжна оценка и стоит ли спорить о маленьких различиях.

СИНОНИМЫ:доверительный интервалДИинтервальная оценкаconfidence interval

Точечная оценка вроде «конверсия 3,4%» создаёт ложное чувство точности. Доверительный интервал честно показывает, в каких пределах могла бы лежать истинная величина.

Как читать

«95% доверительный интервал» означает: если повторить эксперимент много раз, в 95% случаев истинное значение окажется внутри посчитанного интервала.
Чем больше выборка, тем уже интервал — оценка надёжнее.
Чем выше уверенность (90%, 95%, 99%), тем шире интервал.

Чем полезен для бизнеса

Сразу видно, насколько разница между группами реальна: если интервалы сильно пересекаются — разница, скорее всего, шум.
Удобно обсуждать риски: лучше говорить «эффект между −0,2% и +1,8%», чем «эффект +0,8%, p = 0,07».

КОГДА ПРИМЕНЯТЬ

В A/B-тестах и любых сравнениях групп
Когда нужно объяснить руководству, насколько точны оценки
Когда планируете действия с учётом возможных диапазонов эффекта

КОГДА НЕ СТОИТ

Когда вообще нет данных, чтобы посчитать доверительный интервал, — сначала наладить сбор

ПРИМЕР

Финансовый аналитик сравнивает два варианта тарифа: средний чек в первом 1200 рублей (95% ДИ: 1150–1250), во втором — 1240 рублей (95% ДИ: 1100–1380). Точечные цифры подсказывают, что второй тариф «лучше», но интервалы пересекаются, и при таком объёме данных нельзя уверенно сказать, какой тариф в действительности приносит больше. Это сразу видно по доверительным интервалам и не видно по одной цифре среднего чека.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

В презентациях показателей не ленитесь добавлять доверительный интервал хотя бы для самых важных цифр. Это сильно уменьшает количество голословных решений и помогает команде различать реальные изменения и шум.

Попробовать бесплатно

Вопросы про «Доверительный интервал»

Доверительный интервал показывает не только «значимо или нет», но и насколько большим может быть эффект. Это сразу помогает оценить практический смысл результата, а не только формальное «прошёл порог значимости». По интервалу видно и худший, и лучший сценарий, поэтому решение принимается с пониманием реального размера возможного выигрыша.

Ещё из «Аналитика и данные»

Вся категория →

ARPU и ARPPU (средняя выручка на пользователя)

ARPU — средняя выручка на пользователя. ARPPU — средняя выручка на платящего пользователя.

Business Intelligence (бизнес-аналитика)

Совокупность процессов и инструментов сбора, хранения и визуализации данных для принятия деловых решений.

DAU, WAU, MAU (активная аудитория за день, неделю и месяц)

Количество уникальных активных пользователей за день, неделю и месяц соответственно.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатно Все термины