Зачем нужны статистические тесты
Зачем это нужно
Разница между группами видна глазами, но глаза не умеют отличать эффект от случайности. Тест — это формализованный способ оценить, насколько результат похож на случайный.
Как это работает
Статистический тест берёт данные двух (или более) групп и возвращает p-value. Какой тест выбрать — зависит от того, ЧТО сравниваем: средние значения, доли (конверсии) или распределения категорий. Тест не доказывает истину — он лишь помогает оценить вероятность случайности результата.
Пример
«Средний чек в группах различается на 40 ₽» — сравнение средних. «Конверсия 5% против 5.4%» — сравнение долей. «Пользователи по тарифам распределились иначе» — сравнение категорий. Три разных задачи — три разных теста.
🧠 Как думает аналитик
Первый вопрос аналитика перед тестом: «что за величина — среднее, доля или категории?» Ответ почти однозначно определяет инструмент.
🎯 Быстрый вопрос
От чего в первую очередь зависит выбор теста?