Ошибки первого и второго рода

Любой статистический вывод — это компромисс между двумя ошибками. Уменьшая одну, обычно увеличиваешь другую.

Как это связано с порогами

• Уровень значимости (обычно 5%) — это допустимая вероятность ошибки первого рода.
• Мощность теста (обычно 80%) — это вероятность правильно поймать эффект, если он есть. 1 минус мощность = вероятность ошибки второго рода.
• Чем строже порог значимости, тем реже ложные тревоги, но и тем больше пропусков реальных эффектов при той же выборке.

Где это особенно важно

• Медицина: одна цена у «зря назначили лечение», другая — у «пропустили серьёзный диагноз».
• Антифрод: ошибка пропуска мошенника обычно дороже ошибки ложного срабатывания (с учётом обработки).
• A/B-тесты в продукте: ложный «успех» приводит к внедрению бесполезных изменений и потере фокуса.