Самый частый вопрос — «различаются ли средние двух групп»: средний чек, среднее время, средняя оценка. Для него есть пара инструментов.
t-test сравнивает средние двух групп; хорошо работает, когда данные без диких выбросов и распределены более-менее «прилично». Тест Манна-Уитни — запасной вариант для асимметричных данных с выбросами: он сравнивает не средние, а «кто обычно больше», через ранги, поэтому выбросы ему не страшны.
Средний чек двух групп при аккуратных данных — t-test. Время до заказа, где куча выбросов и длинный хвост, — Манна-Уитни.
Аналитик сперва смотрит на распределение (урок про хвосты!): симметрично и без диких точек — t-test; кривой хвост и выбросы — Манна-Уитни.
Данные о времени доставки сильно асимметричны, много выбросов. Какой тест выбрать для сравнения двух групп?