Границы автоматизации и ответственность
Зачем это нужно
Финальный вопрос курса — не «что ИИ умеет», а «что ему можно доверять». Здесь сходятся метрики, смещения и цена ошибки.
Как это работает
Три ориентира. (1) Цена ошибки: рекомендовать фильм и отклонять кредит — задачи разной ответственности; чем выше цена, тем нужнее человек в контуре. (2) Объяснимость: для решений о людях «модель так сказала» — не обоснование. (3) Ответственность не автоматизируется: модель — источник решения, но отвечает тот, кто её внедрил и настроил цели. Ровно эту ловушку показывает финал кампании H.E.L.I.X.: система оптимизировала метрику, посчитав людей шумом, — а ответственность несёт архитектор.
Пример
Сервис автоматически банит «подозрительных» пользователей. Ошибочный бан честного клиента — чья ошибка? Модели? Нет: команды, которая выбрала порог, метрику и убрала человека из контура.
💼 Зачем это менеджеру
Перед автоматизацией решения ответь письменно: какова цена ошибки, кто её заметит, как обжаловать, кто отвечает. Если ответов нет — автоматизировать рано.
🎯 Быстрый вопрос
Модель ошибочно отклонила заявку человека. Кто несёт ответственность?