Половина ошибок анализа рождается до анализа — в самих данных. Красивая метрика на кривых данных хуже, чем отсутствие метрики: она убеждает в неверном.
Аналитическая проверка данных — не про инструменты, а про вопросы: что считается событием? (клик, загрузка или оплата — это разные «заказы»); менялись ли правила логирования? (событие стало отправляться дважды — метрика «выросла»); есть ли пропуски и дубли, полны ли периоды; не сломалась ли метрика — резкий скачок без продуктовой причины чаще поломка счётчика, чем чудо.
Retention «вырос на 15%» ровно в день релиза новой версии приложения. Проверка показала: новая версия шлёт событие входа дважды. Рост был не у удержания, а у бага.
Перед расчётом метрик аналитик проверяет: сколько строк, какие типы, нет ли пропусков и странных значений, что именно значит каждое событие. Иначе можно посчитать красивую, но неверную метрику.
Метрика резко скакнула в день релиза новой версии приложения. Первая проверка?