Попробовать бесплатно

Систематическая ошибка отбора

Selection bias — фоновая угроза любой неэкспериментальной аналитики. Она тише систематической ошибки выжившего, но встречается чаще.

Где особенно часто возникает

  • Онлайн-опросы и NPS-исследования: отвечают самые активные и самые недовольные.
  • Анализ кейсов: смотрят только закрытые сделки, забывая про незакрытые и отвалившиеся ещё на пресейле.
  • Воронки в продукте: считают конверсию по тем, кто дошёл до конкретного шага, не учитывая, кто вообще даже не начал.
  • Бенчмарки рынка: их составляют по компаниям, согласившимся участвовать, а это уже сильно смещённая группа.

Что делать

  • Описывать аудиторию выборки явно: «эти выводы относятся только к...».
  • Стараться сделать сбор более случайным или хотя бы понятно структурированным.
  • Сверять метрики с альтернативными источниками, в которых смещение устроено иначе.

Когда применять и когда нет

Применять

  • В любых опросах, NPS и UX-исследованиях
  • При работе с публичными бенчмарками
  • При воронках, в которых часть пользователей системно не попадает в анализ

Не применять

  • Когда речь о действительно сплошной выборке (например, все транзакции системы) — но даже там бывают свои смещения

Примеры применения

Компания публикует «бенчмарк по рынку»: средняя выручка SaaS-стартапа на seed-стадии — 50 тысяч долларов в месяц. Цифра выглядит правдоподобно, но это среднее по стартапам, согласившимся участвовать в опросе — а это сильно смещённая выборка успешных и амбициозных команд. Стартап, который сравнивает себя с этим бенчмарком, рискует ставить нереалистичные цели и принимать ошибочные решения о найме.

Часто задаваемые вопросы

Готовы применить теорию на практике?

Соберите команду в Shtab — единое пространство для проектов, целей и задач. Бесплатно до 5 человек.