Чем ошибка выжившего отличается от ошибки отбора?

Это близкие, но не идентичные понятия. Ошибка отбора — общий класс искажений, связанных со способом формирования выборки: например, опрос только довольных клиентов. Ошибка выжившего — её частный случай: мы видим только тех, кто «дошёл», и не видим выбывших. Любая ошибка выжившего — это ошибка отбора, но не наоборот.

Аналитика и данныеКонцепцияСтатистика

Систематическая ошибка выжившего

Аналитическая ловушка, при которой выводы строятся только на «выживших» наблюдениях, без учёта тех, что выбыли по дороге.

КРАТКО

Систематическая ошибка выжившего возникает, когда мы смотрим только на тех, кто дошёл до конца, — на успешных клиентов, прибыльные стартапы, оставшихся в когорте пользователей — и забываем про выбывших. Из такого анализа получается красивая, но обманчивая картина. Самый известный пример — попытка укрепить броню самолётов в местах попаданий, хотя именно с такими пробоинами машины возвращались на базу.

СИНОНИМЫ:систематическая ошибка выжившегоошибка выжившегоsurvivorship bias

Это одна из самых частых ошибок в продуктовой и маркетинговой аналитике. Она опасна тем, что данные выглядят достоверно и непротиворечиво.

Как проявляется

Анализ только активных пользователей без учёта тех, кто ушёл.
Истории успеха стартапов без учёта закрывшихся.
Изучение «лучших клиентов» без сравнения с худшими.
Анализ ответивших на опрос без учёта тех, кто не ответил.

Как с этим бороться

Прямо включать в анализ выбывших: ушедших клиентов, отказавшихся респондентов, провалившиеся проекты.
Смотреть когорты целиком, а не только активную их часть.
Задавать вопрос «кого не хватает в этих данных» и проверять, насколько это критично.

КОГДА ПРИМЕНЯТЬ

В когортном анализе
При изучении кейсов успеха и историй из бизнес-литературы
В любых выборках, где часть наблюдений могла «выпасть»

КОГДА НЕ СТОИТ

Когда задача — действительно посмотреть только на оставшихся клиентов (например, для допродаж активной базе), но даже тогда полезно помнить, что выводы нельзя переносить на всех

ПРИМЕР

Маркетинг анализирует «лучших клиентов с самым высоким LTV» и выясняет, что почти все они пришли через канал X. Возникает идея «надо вложить в канал X больше денег». При проверке полной картины оказывается, что через канал X приходит много и плохих клиентов, которые быстро уходят. Просто среди оставшихся «выживших» этот канал доминирует, а эффективность канала с учётом оттока — посредственная.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Любой анализ «лучших» или «успешных» сравнивайте с зеркальной группой «худших» или «выбывших». Этот простой шаг ловит большинство случаев систематической ошибки выжившего без сложной статистики.

Попробовать бесплатно

Вопросы про «Систематическая ошибка выжившего»

Да, классическая история про работу Абрахама Вальда: военные хотели укрепить те части самолётов, где у вернувшихся машин было больше всего пробоин. Вальд указал на обратное: укреплять надо места, где у вернувшихся пробоин нет, потому что попадание туда роняло самолёт и он не возвращался. Это самый известный пример систематической ошибки выжившего.

Ещё из «Аналитика и данные»

Вся категория →

ARPU и ARPPU (средняя выручка на пользователя)

ARPU — средняя выручка на пользователя. ARPPU — средняя выручка на платящего пользователя.

Business Intelligence (бизнес-аналитика)

Совокупность процессов и инструментов сбора, хранения и визуализации данных для принятия деловых решений.

DAU, WAU, MAU (активная аудитория за день, неделю и месяц)

Количество уникальных активных пользователей за день, неделю и месяц соответственно.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатно Все термины