Одна цифра прячет, ГДЕ модель ошибается. Матрица ошибок раскладывает ответы по четырём клеткам — и сразу видно характер ошибок.
Для задачи «найти собак»: TP — собака, названная собакой (верно); TN — кошка, названная кошкой (верно); FP — кошка, ошибочно названная собакой (ложная тревога); FN — собака, пропущенная как кошка (пропуск). Две ошибки — FP и FN — стоят по-разному в разных задачах, и матрица показывает их по отдельности.
Из 100 фото: 40 собак, 60 кошек. Модель нашла 34 собаки верно (TP), 6 собак пропустила (FN), 5 кошек назвала собаками (FP), 55 кошек распознала (TN).
| модель: собака | модель: кошка | |
|---|---|---|
| на деле собака | TP = 34 | FN = 6 |
| на деле кошка | FP = 5 | TN = 55 |
Менеджер читает матрицу как карту рисков: FP — сколько раз потревожим зря, FN — сколько важного пропустим. Цена этих ошибок в деньгах и доверии — вопрос к бизнесу, не к модели.
Модель назвала кошку собакой. Какая это клетка матрицы?