H0, H1 и p-value простыми словами
Зачем это нужно
Различие между группами может быть случайностью. Статистика даёт язык, чтобы аккуратно говорить о «случайно или нет».
Как это работает
Нулевая гипотеза H0: «различий на самом деле нет, всё — случайный шум». Альтернативная H1: «различие есть». p-value — насколько неожиданным был бы такой результат, если бы различий на самом деле не было. Маленький p (обычно < 0.05 — уровень значимости) — результат странен для «мира без различий», и H0 отвергают. Доверительный интервал — диапазон, в котором правдоподобно лежит истинное значение. Смотреть только на точку («конверсия 5.4%») опасно: на малых данных истина может быть и 4%, и 7%. Честный отчёт показывает не точку, а диапазон неопределённости — и чем больше данных, тем он уже. Практическое правило: широкий интервал — оценка неточна; интервал включает ноль — уверенно говорить об эффекте нельзя.
Пример
Конверсия A 5.0%, B 5.4%, p = 0.03. Читаем: «будь группы на деле одинаковы, такой разрыв выпадал бы редко (3 раза из 100)». Это аргумент в пользу реального различия.
🧠 Как думает аналитик
Аналитик не говорит «p = 0.03, значит вероятность ошибки 3%» — это неверно. p-value отвечает на один вопрос: «насколько удивителен результат в мире, где различий нет».
🎯 Быстрый вопрос
Что показывает p-value?