Откуда берётся завышенная выгода
На презентации сотрудник пишет письмо 20 минут, а модель создаёт черновик за полминуты. Из этого делают вывод: экономия почти 20 минут на каждом письме. Но никто не посчитал подготовку исходных данных, проверку фактов, исправление тона, согласование и отправку. Иногда человек дописывает за модель дольше, чем написал бы сам. Более честная единица измерения — завершённая задача с принятым результатом, а не скорость первого текста. Ещё до пилота договоритесь, что считается завершением и какие ошибки недопустимы.
Постройте базовую линию
Выберите один повторяемый процесс, например ответ на типовое обращение или подготовку отчёта. Возьмите 20–30 реальных, обезличенных случаев разной сложности. Для обычного способа запишите время от получения задания до утверждённого результата, число правок, участников и причины задержек. Не смешивайте лёгкие обращения с конфликтными. Если данные собирают сами заинтересованные сотрудники, попросите второго человека проверить выборку: иначе в неё незаметно попадут только случаи, удобные для автоматизации. Нормальный разброс важнее красивого среднего числа.
Повторите те же случаи с ИИ
Дайте команде одинаковые исходные материалы и один утверждённый маршрут работы с моделью. Записывайте время на загрузку, формулировку запроса, проверку, исправление и согласование. Отдельно отмечайте случаи, в которых модель не помогла, отказалась или вынудила начать заново. Не улучшайте промпт после каждого просмотренного теста, не оставив отдельную контрольную выборку: это сделает итог чрезмерно оптимистичным. Быстро сгенерированная ошибка не должна незаметно войти в отчёт об экономии как успешно закрытая задача.
Посчитайте стоимость целиком
К цене API или лицензии добавьте установку, интеграцию, права доступа, обучение сотрудников, мониторинг, поддержку и хранение журналов. Не забывайте о человеке, который отвечает за обновление инструкций и разбор жалоб. Если модель сэкономила семь минут на черновике, но добавила пять минут на перепроверку и две минуты на внесение отчёта, чистой экономии времени нет. Это не обязательно означает провал: качество могло повыситься. Однако тогда в обосновании должна стоять метрика качества, а не выдуманный процент сокращения трудозатрат.
Цена редкой ошибки
Средний результат часто скрывает событие, которое разрушает всю экономику проекта. Неправильный реквизит, раскрытие чужого документа или обещание клиенту невозможного срока могут стоить дороже сотен удачных черновиков. Составьте матрицу последствий: что исправляется за минуты, что требует разбирательства, а что нельзя допускать вообще. Для каждого риска укажите контроль — источник, подтверждение, запрет действия, ручную очередь. Если контроль зависит от внимательности сотрудника, измерьте, успевает ли он проверять поток при планируемом масштабе.
Сравните два маршрута
Маршрут без ИИ может включать поиск в базе, подготовку текста и согласование. Маршрут с ИИ — поиск, генерацию, просмотр цитат, исправление, согласование и регистрацию ошибки. Нарисуйте обе цепочки и отметьте узкие места. Иногда разумнее исправить плохую форму заявки или устаревшую базу знаний, чем добавлять модель. Если десять минут уходят на поиск файла, помогите сначала найти файл. Только после этого станет видно, осталась ли проблема, которую нейросеть действительно решает.
Установите порог решения
До начала испытания запишите, сколько времени или ошибок должно сократиться, чтобы пилот продолжился. Укажите, какие провалы останавливают его независимо от среднего результата. Пример: экономия не менее десяти процентов полного времени при нулевых раскрытиях данных и отсутствии несанкционированных действий. Это условие не универсально; оно зависит от задачи и утверждается владельцем процесса. Если испытание не прошло порог, сохраните находки и измените процесс либо область применения, а не переписывайте отчёт под желаемый ответ.
Что показать руководителю
В итоговой записке разделите факт и предположение. Факт: сколько случаев обработано, какой разброс времени, сколько исправлений, сколько опасных ошибок и кто проверял. Предположение: что произойдёт при десятикратном объёме. Покажите расходы при трёх уровнях нагрузки и стоимость ручного контроля. Укажите дату повторной оценки после запуска, поскольку тарифы, качество и тип обращений меняются. Хороший пилот мал, измерим и допускает безопасный возврат к обычному способу работы.
Повторная оценка через месяц
Пилот и постоянная работа различаются составом задач. В первый месяц сотрудники могут выбирать простые случаи и уделять необычно много внимания проверке. Позже поток включает редкие обращения, а внимание снижается. Поэтому назначьте повторное измерение спустя месяц после ограниченного запуска: та же метрика полного времени, те же уровни ошибок и отдельная строка стоимости поддержки. Не сравнивайте новые данные с презентационной демонстрацией; сравнивайте с исходной линией, зафиксированной до внедрения. Если качество стало хуже при росте объёма, уменьшайте автоматическую долю и выясняйте причину.
Проверьте, кто фактически выиграл время
Средняя экономия по отделу может скрывать перераспределение нагрузки: один сотрудник быстрее пишет черновики, а другой проводит больше времени на контроле и исправлениях. Разбейте измерение по ролям и посчитайте полное время каждого участника. Если руководитель ожидает высвободить часы, уточните, какая работа действительно исчезла, а какая просто переместилась. Отдельно измерьте ожидание между этапами: ИИ способен сократить подготовку письма, не меняя двухдневное согласование. Только после такого разложения можно обсуждать штат, график и бюджет. Иначе экономия окажется числом из демонстрации, а не изменением рабочего дня.