Попробовать бесплатно
Аналитика и данныеКонцепцияСтатистика

Систематическая ошибка отбора

Искажение выводов, возникающее из-за того, что данные собраны неслучайно и не отражают всю интересующую совокупность.

Кратко
Систематическая ошибка отбора возникает, когда выборка перекошена: в аналитике сайта мы видим только зашедших посетителей, в опросе — только тех, кто ответил, в разборе сделок — только закрытые. Если по такой группе судить обо всех клиентах, получится красивая картинка, далёкая от реальности. Лечится это либо честным случайным отбором, либо явными поправками на структуру данных.
Синонимысистематическая ошибка отборасмещение выборкиошибка отбораselection bias

Систематическая ошибка отбора — фоновая угроза любой неэкспериментальной аналитики. Она тише ошибки выжившего, но встречается чаще.

Где особенно часто возникает

  • Онлайн-опросы и NPS-исследования: отвечают самые активные и самые недовольные.
  • Разбор кейсов: смотрят только закрытые сделки, забывая про незакрытые и отвалившиеся ещё на этапе переговоров.
  • Воронки в продукте: считают конверсию по тем, кто дошёл до конкретного шага, не учитывая тех, кто вообще не начал.
  • Отраслевые бенчмарки: их составляют по компаниям, согласившимся участвовать, а это уже сильно смещённая группа.

Что делать

  • Описывать аудиторию выборки явно: «эти выводы относятся только к...».
  • Стараться сделать сбор более случайным или хотя бы понятно структурированным.
  • Сверять метрики с альтернативными источниками, в которых смещение устроено иначе.
Когда применять
  • В любых опросах, NPS и UX-исследованиях
  • При работе с публичными бенчмарками
  • При работе с воронками, в которых часть пользователей системно не попадает в анализ
Когда не стоит
  • Когда речь о действительно сплошной выборке (например, все транзакции системы) — но даже там бывают свои смещения
Пример

Компания публикует «бенчмарк по рынку»: средняя выручка SaaS-стартапа на посевной стадии — 50 тысяч долларов в месяц. Цифра выглядит правдоподобно, но это среднее по стартапам, согласившимся участвовать в опросе, — а это сильно смещённая выборка успешных и амбициозных команд. Стартап, который сравнивает себя с этим бенчмарком, рискует ставить нереалистичные цели и принимать ошибочные решения о найме.

Как использовать в Shtab

Любой график со «средним по отрасли» или «по нашей базе клиентов» полезно сопровождать одной фразой: чья именно это выборка, какие группы в неё не вошли и какие выводы из неё переносить корректно, а какие — нет.

Попробовать бесплатно

Вопросы про «Систематическая ошибка отбора»

Ошибка выжившего — частный случай ошибки отбора, когда в выборке остались только «выжившие». Ошибка отбора шире: сюда же относятся опросы только активных пользователей, бенчмарки только по согласившимся участвовать компаниям и разбор только закрытых сделок. Проще говоря, ошибка выжившего — про тех, кто дошёл до конца, а ошибка отбора — про то, как вообще формировалась группа наблюдений.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.