Разведите сортировку и решение
В жалобе клиент может одновременно описать задержку, повреждение товара и прошлый разговор с оператором. Первую задачу ИИ можно ограничить сортировкой: определить тему, извлечь упомянутые даты, перечислить приложенные доказательства и указать, какого факта не хватает. Решение о компенсации, признании ошибки или отказе остаётся у сотрудника, которому известны договор, политика компании и полномочия. Это не формальность: ошибочная автоматическая классификация способна превратить обычный вопрос в отказ или, наоборот, отправить мошенническое обращение в приоритетную очередь.
Подготовьте выборку без лишних данных
Возьмите обращения за один типовой период, удалите имена, телефоны, адреса, номера заказов и вложения, которые не нужны для задачи. Создайте таблицу с обезличенным ID, текстом после редактирования, ожидаемой темой и эталонным следующим шагом. В неё должны попасть спокойное обращение, эмоциональная жалоба, неполный случай и письмо, где клиент сообщает несколько проблем. Не показывайте модели только аккуратные примеры из демо: в рабочем потоке ошибки обычно возникают на смешанных и неполных сообщениях.
Задайте строгий формат результата
Попросите модель вернуть фиксированные поля: категория из заранее утверждённого списка, краткое изложение утверждений клиента, факты, которые подтверждены приложенным документом, отсутствующие сведения, уровень уверенности и рекомендуемая очередь. Отдельно укажите: не обещать возврат, не обвинять клиента и не придумывать причину сбоя. Если модель не может отделить мнение от документа, она должна вернуть «требуется просмотр», а не выбрать категорию по тону письма. Такой формат полезнее свободного пересказа, потому что оператор может проверить каждое поле.
Проверьте ошибки на ручной выборке
Попросите двух сотрудников независимо разметить 30–50 обращений. Затем сравните категории модели с разметкой и отдельно посчитайте пропущенные чувствительные кейсы: угрозы безопасности, упоминание повторного списания, жалобу на доступность и претензию с юридическим сроком. Общая точность может выглядеть высокой, если большинство писем относятся к простым вопросам, поэтому следите за каждым редким классом. Ошибки группируйте по причине: не хватило контекста, перепутан документ, правило было слишком широким или пример в выборке неоднозначен.
Встройте человека в маршрут
В интерфейсе оператору показывайте исходное обезличенное обращение рядом с кратким итогом, а не только ярлык модели. Добавьте быстрые действия «исправить категорию», «запросить уточнение» и «передать старшему». Не отправляйте черновик клиенту автоматически, пока не проверены язык, факты и политика возврата. Логируйте, какой вариант предложила система и что изменил сотрудник, но не сохраняйте лишние персональные сведения в диагностике. Для оценки ответов заранее задайте эталонные примеры и фиксируйте каждую коррекцию в журнале решений ИИ-пилота; важнее число пропущенных критичных случаев, чем средний красивый балл.
Как измерить полезность
До запуска зафиксируйте базовые показатели: время до распределения, доля перенаправлений между очередями, количество существенных исправлений и время решения обращения. После пилота сравните одинаковые по сложности периоды, а не один загруженный понедельник с тихой пятницей. Сотрудники должны иметь право отменить предложение модели без штрафа и объяснить, какой признак был упущен. Если классификация ускорилась, но операторы тратят больше времени на исправление, автоматизация пока не помогает.
Что считать достаточным результатом
Небольшая модель может быть полезной, даже если она не решает спор: аккуратно раскладывает факты и направляет спорные случаи специалисту. Успех — это меньше ручной сортировки при прежнем или более низком числе ошибочных передач. Сохраните список случаев, где ИИ не применяется, назначьте владельца рубрики и пересматривайте её после существенного изменения продукта или политики. Для связанного сценария цепочка подтверждений действий агента помогает отличать рекомендацию системы от выполненного человеком решения.
Отдельный маршрут для спорных случаев
Определите заранее, какие признаки автоматически отправляют письмо старшему специалисту: требование отменить платеж, угроза безопасности, упоминание суда, несколько конфликтующих документов или повторное обращение по уже закрытому делу. Это не оценка правоты клиента; такие признаки лишь сигнализируют, что стандартной очереди недостаточно. У каждого эскалационного правила должен быть владелец и срок реакции. Если модель ошиблась и поставила обычное обращение в срочную очередь, оператору нужна кнопка исправления и понятная причина выбора, а не запрет менять метку.
Пилот без риска для клиента
Начните в теневом режиме: модель размечает копию потока, но её вывод не меняет очередь и не влияет на ответ. Через неделю сравните подсказки с решениями опытных операторов, разберите ложные срабатывания и проверьте, не стала ли какая-то группа клиентов чаще ждать. Только после этого можно ограниченно показывать метку сотрудникам. Не запускайте автоответы и не связывайте классификацию с возвратом денег. Такой порядок сохраняет возможность отменить эксперимент без последствий для текущих обращений.
Назначьте владельца рубрики
Список категорий со временем устаревает: меняется продукт, появляется новый способ оплаты, а привычная формулировка жалобы перестаёт соответствовать внутренней очереди. Назначьте сотрудника, который раз в месяц просматривает спорные примеры, обновляет инструкцию и отмечает дату версии. Сотрудник поддержки должен иметь способ сообщить о новой теме, которой нет в списке. Если категория добавлена, повторно прогоните тестовую выборку и сравните результат с прошлой версией — иначе невозможно понять, улучшило ли изменение маршрутизацию.
Проверьте маршрут на реальной нагрузке
После теневого теста измерьте не только точность меток, но и то, как очередь переживает пиковые часы. Проверьте, не задерживает ли дополнительная проверка срочные письма, не теряются ли обращения при повторной отправке и можно ли быстро вернуться к прежнему процессу. Сравнивайте одинаковые по объёму недели и отдельно отмечайте сезонные всплески. Если система экономит время на простой сортировке, но усложняет работу со спорными письмами, оставьте автоматическую подсказку только для типовых классов. Пилот должен иметь дату завершения и решение о продолжении, иначе временная схема незаметно станет постоянной.