Ошибки I и II рода; значимость ≠ важность
Зачем это нужно
Проверка гипотез ошибается двумя способами — и оба стоят денег. А ещё «статистически значимо» не значит «практически важно».
Как это работает
Ошибка I рода — увидеть эффект там, где его нет (ложная тревога). Ошибка II рода — проглядеть реальный эффект. Отсюда два правила чтения: «нет значимости» ≠ «эффекта точно нет» (возможно, просто мало данных); «есть значимость» ≠ «эффект важен» (на огромной выборке значимым станет и +0.01 п.п., бесполезный на практике).
Пример
Тест на миллионе пользователей: рост конверсии +0.02 п.п., p = 0.001. Значимо? Да. Важно? Внедрение стоит дороже, чем принесёт этот прирост.
🧠 Как думает аналитик
Аналитик всегда ставит рядом два вопроса: «различие реально?» (статистика) и «различие достаточно велико, чтобы что-то менять?» (бизнес).
🎯 Быстрый вопрос
Результат «различие незначимо». Что это означает?