Систематическая ошибка отбора
Selection bias — фоновая угроза любой неэкспериментальной аналитики. Она тише систематической ошибки выжившего, но встречается чаще.
Где особенно часто возникает
- Онлайн-опросы и NPS-исследования: отвечают самые активные и самые недовольные.
- Анализ кейсов: смотрят только закрытые сделки, забывая про незакрытые и отвалившиеся ещё на пресейле.
- Воронки в продукте: считают конверсию по тем, кто дошёл до конкретного шага, не учитывая, кто вообще даже не начал.
- Бенчмарки рынка: их составляют по компаниям, согласившимся участвовать, а это уже сильно смещённая группа.
Что делать
- Описывать аудиторию выборки явно: «эти выводы относятся только к...».
- Стараться сделать сбор более случайным или хотя бы понятно структурированным.
- Сверять метрики с альтернативными источниками, в которых смещение устроено иначе.
Когда применять и когда нет
Применять
- В любых опросах, NPS и UX-исследованиях
- При работе с публичными бенчмарками
- При воронках, в которых часть пользователей системно не попадает в анализ
Не применять
- Когда речь о действительно сплошной выборке (например, все транзакции системы) — но даже там бывают свои смещения
Примеры применения
Компания публикует «бенчмарк по рынку»: средняя выручка SaaS-стартапа на seed-стадии — 50 тысяч долларов в месяц. Цифра выглядит правдоподобно, но это среднее по стартапам, согласившимся участвовать в опросе — а это сильно смещённая выборка успешных и амбициозных команд. Стартап, который сравнивает себя с этим бенчмарком, рискует ставить нереалистичные цели и принимать ошибочные решения о найме.
Часто задаваемые вопросы
Survivorship bias — частный случай selection bias, когда в выборке остались только «выжившие». Selection bias шире: сюда же относятся опросы только активных, бенчмарки только согласившихся участвовать, кейсы только закрытых сделок.
Иногда — частично, через перевзвешивание выборки или сравнение со внешними источниками. Полностью «починить» ошибочный сбор уже постфактум обычно нельзя: лучше честно ограничить выводы тем сегментом, который был корректно собран.