Аналитика регулярно показывает корреляции, а бизнес-решения требуют причинных выводов. Между этими двумя вещами легко запутаться, и именно тут чаще всего рождаются дорогие ошибки.
Откуда берётся ложная корреляция
- Общая причина: обе переменные зависят от третьей, скрытой.
- Обратная причинность: следствие путают с причиной.
- Эффект отбора: данные собраны так, что связь возникла уже на этапе выборки.
- Случайность: при достаточно большом числе сравнений где-то обязательно найдётся «значимая» связь.
Как доказать причинность
- Рандомизированные эксперименты (A/B-тесты).
- Естественные эксперименты и квазиэкспериментальные методы (разность разностей и другие).
- Аккуратное моделирование с учётом всех известных смешивающих факторов.
- Перед любым выводом вида «X влияет на Y»
- При интерпретации корреляционных карт и матриц
- Когда хочется превратить аналитику в управленческое решение
- В разведочной аналитике — там корреляции часто полезны для генерации гипотез, даже если ещё нельзя говорить о причинности
Аналитик заметил: клиенты, заходившие в раздел справки в первую неделю, чаще остаются на сервисе через 3 месяца. Естественный вывод — «надо чаще водить новых пользователей в справку». При ближайшем рассмотрении оказалось, что в справку чаще ходят более вовлечённые пользователи, и именно вовлечённость объясняет и заход в справку, и удержание. Принудительные показы справки в эксперименте не дали никакого эффекта на удержание.
В любом дашборде с парой коррелирующих метрик добавьте короткий комментарий: что с чем связано и что прямой причинности это ещё не означает. Иначе руководство будет принимать решения по красивым графикам, не задавая нужных вопросов.