Accuracy и её ловушка
Зачем это нужно
«Модель верна в 95% случаев» звучит убедительно. Но accuracy — самая обманчивая метрика, если классы несбалансированы.
Как это работает
Accuracy (доля верных ответов) = верные предсказания ÷ все предсказания. Ловушка: если в данных 95% кошек и 5% собак, модель, которая всегда говорит «кошка», получает accuracy 95% — не отличив ни одной собаки. Высокая accuracy на перекошенных данных ничего не говорит о полезности.
Пример
Отток 5% в месяц. Модель «никто не уйдёт» имеет accuracy 95% — и абсолютно бесполезна: она не находит ни одного уходящего.
🧪 Интерактивная лаборатория
Модель тупая: она всегда отвечает «кошка». Смотри, как её accuracy растёт с перекосом классов — при нулевой пользе.
Ловушка: accuracy 95% звучит прекрасно — но модель не нашла НИ ОДНОЙ собаки (recall = 0%). На перекошенных классах accuracy бесполезна.
Цель: найди уровень дисбаланса классов, при котором accuracy ≥ 90% — вот и ловушка.
💼 Зачем это менеджеру
Услышав одну цифру accuracy, менеджер спрашивает: каков баланс классов и что модель делает с редким классом? Часто редкий класс — и есть то, ради чего всё затевалось.
🎯 Быстрый вопрос
В данных 95% кошек. Модель всегда отвечает «кошка». Какая у неё accuracy?