Метрика модели ≠ польза для бизнеса
Зачем это нужно
Модель может быть статистически отличной и бесполезной для дела. Финальная проверка любой модели — не accuracy, а эффект в продукте.
Как это работает
Между метрикой модели и пользой — три разрыва: (1) модель предсказывает, но решение и действие — за процессом (предсказали отток, а удерживать некому); (2) качество на исторических данных ≠ качество на живом потоке (данные дрейфуют); (3) оптимизация метрики может вредить (вспомни guardrail-метрики из «Анализа данных»). Внедрение проверяют экспериментом — A/B, как любой другой продуктовый механизм.
Пример
Модель оттока с recall 85% внедрили — отток не изменился: скидку-удержалку слали всем подряд, включая тех, кто и так остался бы. Модель хороша, механика — нет.
💼 Зачем это менеджеру
Вопрос менеджера к любой модели: какое решение она улучшает, кто действует по её сигналу и как мы измерим эффект? Без ответов модель — украшение презентации.
🎯 Быстрый вопрос
Модель оттока точна, но отток после внедрения не изменился. Наиболее вероятная причина?