Систематическая ошибка выжившего
Это одна из самых частых ошибок в продуктовой и маркетинговой аналитике. Она опасна тем, что данные выглядят достоверно и непротиворечиво.
Как проявляется
- Анализ только активных пользователей без учёта тех, кто ушёл.
- Истории успеха стартапов без учёта закрывшихся.
- Изучение «лучших клиентов» без сравнения с худшими.
- Анализ ответивших на опрос без учёта тех, кто не ответил.
Как с этим бороться
- Прямо включать в анализ «выбывших»: ушедших клиентов, отказавшихся респондентов, провалившиеся проекты.
- Смотреть когорты целиком, а не только активную их часть.
- Задавать вопрос «кого тут не хватает в данных» и проверять, насколько это критично.
Когда применять и когда нет
Применять
- В когортном анализе
- При изучении кейсов успеха и историй из бизнес-литературы
- В любых выборках, где часть наблюдений могла «выпасть»
Не применять
- Когда задача — действительно посмотреть только на оставшихся клиентов (например, для апселла активной базы), но даже тогда полезно помнить, что выводы нельзя переносить на всех
Примеры применения
Маркетинг анализирует «лучших клиентов с самым высоким LTV» и выясняет, что почти все они пришли через канал X. Возникает идея «надо вложить в канал X больше денег». При проверке полной картины оказывается, что через канал X приходит много и плохих клиентов, которые быстро уходят. Просто среди оставшихся «выживших» этот канал доминирует, но эффективность канала с учётом оттока — посредственная.
Часто задаваемые вопросы
Да, классическая история про работу Абрахама Вальда: военные хотели укрепить части самолётов, где было больше всего пробоин у вернувшихся. Вальд указал на обратное: укреплять надо те части, где у вернувшихся пробоин нет, потому что попадание туда роняло самолёт и он не возвращался. Это самый известный пример систематической ошибки выжившего.
Это близкие, но не идентичные понятия. Selection bias — общий класс ошибок отбора (например, опросы только довольных клиентов). Survivorship bias — частный случай: мы видим только тех, кто «дошёл», и не видим выбывших. Все ошибки выжившего — это selection bias, но не наоборот.