Почти каждый вывод аналитика — сравнение: с прошлым периодом, с другой группой, с другим городом. Но сравнение честно, только если группы сопоставимы.
Честная база сравнения — группы различаются только тем, что мы изучаем. Сравнить отток «с подарком» и «без подарка» честно, если группы похожи по возрасту аккаунта, активности, региону. Если подарки давали только новичкам — сравнение сломано ещё до подсчёта.
«В Токио средний чек выше, чем в Берлине» — но если в Токио сервис работает только в центре, а в Берлине по всему городу, сравниваются не города, а районы обслуживания.
Перед любым сравнением аналитик спрашивает: «а группы вообще сопоставимы? чем ещё они отличаются, кроме изучаемого?»
Что такое честная база сравнения?