Аналитика и данныеКонцепцияСтатистика

Систематическая ошибка отбора

Искажение выводов, возникающее из-за того, что данные собраны неслучайно и не отражают всю интересующую совокупность.

КРАТКО
Систематическая ошибка отбора возникает, когда выборка перекошена: в аналитике сайта мы видим только зашедших посетителей, в опросе — только тех, кто ответил, в разборе сделок — только закрытые. Если по такой группе судить обо всех клиентах, получится красивая картинка, далёкая от реальности. Лечится это либо честным случайным отбором, либо явными поправками на структуру данных.
СИНОНИМЫ:систематическая ошибка отборасмещение выборкиошибка отбораselection bias

Систематическая ошибка отбора — фоновая угроза любой неэкспериментальной аналитики. Она тише ошибки выжившего, но встречается чаще.

Где особенно часто возникает

  • Онлайн-опросы и NPS-исследования: отвечают самые активные и самые недовольные.
  • Разбор кейсов: смотрят только закрытые сделки, забывая про незакрытые и отвалившиеся ещё на этапе переговоров.
  • Воронки в продукте: считают конверсию по тем, кто дошёл до конкретного шага, не учитывая тех, кто вообще не начал.
  • Отраслевые бенчмарки: их составляют по компаниям, согласившимся участвовать, а это уже сильно смещённая группа.

Что делать

  • Описывать аудиторию выборки явно: «эти выводы относятся только к...».
  • Стараться сделать сбор более случайным или хотя бы понятно структурированным.
  • Сверять метрики с альтернативными источниками, в которых смещение устроено иначе.
КОГДА ПРИМЕНЯТЬ
  • В любых опросах, NPS и UX-исследованиях
  • При работе с публичными бенчмарками
  • При работе с воронками, в которых часть пользователей системно не попадает в анализ
КОГДА НЕ СТОИТ
  • Когда речь о действительно сплошной выборке (например, все транзакции системы) — но даже там бывают свои смещения
ПРИМЕР

Компания публикует «бенчмарк по рынку»: средняя выручка SaaS-стартапа на посевной стадии — 50 тысяч долларов в месяц. Цифра выглядит правдоподобно, но это среднее по стартапам, согласившимся участвовать в опросе, — а это сильно смещённая выборка успешных и амбициозных команд. Стартап, который сравнивает себя с этим бенчмарком, рискует ставить нереалистичные цели и принимать ошибочные решения о найме.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Любой график со «средним по отрасли» или «по нашей базе клиентов» полезно сопровождать одной фразой: чья именно это выборка, какие группы в неё не вошли и какие выводы из неё переносить корректно, а какие — нет.

Попробовать бесплатно

Вопросы про «Систематическая ошибка отбора»

Ошибка выжившего — частный случай ошибки отбора, когда в выборке остались только «выжившие». Ошибка отбора шире: сюда же относятся опросы только активных пользователей, бенчмарки только по согласившимся участвовать компаниям и разбор только закрытых сделок. Проще говоря, ошибка выжившего — про тех, кто дошёл до конца, а ошибка отбора — про то, как вообще формировалась группа наблюдений.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.