Проблема начинается после хорошего ответа
Агент может написать безупречный черновик и всё равно навредить, если отправит его преждевременно: неверному получателю, без согласования цены или с лишним вложением. Поэтому генерация и отправка — разные этапы. Между ними должен быть слой правил, который можно показать человеку: кто получатель, какие данные есть в тексте, требуется ли подтверждение и какая операция будет выполнена.
Опишите простые запреты
Начните с правил, которые не требуют интерпретации: нельзя отправлять на внешний домен без подтверждения; нельзя включать персональные данные; нельзя обещать срок вне утверждённого списка; нельзя менять вложение. Такие проверки лучше исполнять кодом на сервере. Модель может объяснить риск или классифицировать текст, но не должна быть единственным барьером между черновиком и реальным действием.
Сделайте очередь исключений
Если правило сработало, агент не переписывает сообщение тайно. Он сохраняет черновик, показывает причину, указывает сработавшее условие и ждёт человека. Очередь исключений нужна не ради бюрократии: она показывает, какие правила слишком широкие, а какие ситуации повторяются. Через месяц по ней можно улучшить шаблон вместо бесконечной настройки промпта.
Проверяйте на архиве
До запуска возьмите обезличенные письма: утверждённые, отменённые и ошибочные. Пропустите их через стенд и отметьте ложные блокировки, опасные пропуски и непонятные объяснения. Тест считается удачным не тогда, когда блокируется всё подозрительное, а когда команда понимает каждое решение и может безопасно обработать спорный случай.
Оставьте человека владельцем
У сотрудника должна быть возможность подтвердить, исправить или отклонить черновик. Решение сохраняется в журнале вместе с версией правил. Это важно и для качества, и для обучения процесса: если люди постоянно исправляют одну фразу, причину стоит вынести в шаблон или серверную проверку. Автоматизация не должна прятать ответственность за внешнюю коммуникацию.
Как оценить результат
Считайте критичные пропуски, ложные блокировки, среднее время обработки и количество исправлений после отправки. Не сравнивайте только скорость ответа: быстрый, но рискованный агент создаёт долг в поддержке и репутации. Расширяйте доступ постепенно — от внутреннего черновика к ограниченной группе получателей, а не наоборот.
FAQ
**Может ли модель сама решать, что безопасно?** Нет, права и лимиты остаются программными правилами. **Нужна ли очередь?** Да, если есть спорные случаи. **Что делать с ложным блоком?** Разобрать пример и уточнить правило, не отключая весь контроль.