Определите решение до выбора сервиса
Начните не со списка моделей, а с одного рабочего результата. Например: подготовить карточку обращения с верной категорией и ссылками на источники за пять минут вместо пятнадцати. Запишите текущий ручной показатель, допустимую ошибку и человека, который принимает итог. Если цель звучит как «внедрить ИИ», любой красивый ответ можно объявить успехом. Ограниченная задача позволяет сравнить поставщиков и остановить пилот, когда технология не даёт измеримого выигрыша.
Соберите собственную выборку
Возьмите от тридцати до ста обезличенных случаев из реального потока. Разделите обычные, редкие, неполные и опасные. Для каждого зафиксируйте правильный результат или критерии приёмки. Не отдавайте поставщику только аккуратные примеры: демонстрация научится выглядеть идеально, а рабочая очередь останется неизвестной. Часть выборки оставьте закрытой до финального сравнения. Она покажет, насколько настройка переносится за пределы материалов, которые команда уже видела.
Зафиксируйте конфигурацию
В протоколе укажите точное название модели, дату, системную инструкцию, температуру, подключённые источники и права инструментов. Сохраните версию базы знаний и способ разбиения документов. Название продукта недостаточно: поставщик может незаметно обновить модель или поиск, и результат изменится. Попросите описать порядок уведомления о релизах, возможность закрепить версию и срок поддержки старого API. Без этой записи удачный прогон нельзя повторить.
Проверьте данные и договор
Составьте таблицу: какие поля передаются, где обрабатываются, сколько хранятся, используются ли для обучения и кто имеет доступ к журналам. Отдельно проверьте резервные копии, субподрядчиков и удаление. Маркетинговая фраза «данные защищены» не отвечает ни на один из вопросов. Если поставщик предлагает загрузить полный архив до согласования, сделайте синтетический набор. Пилот не должен становиться исключением из правил безопасности только потому, что он временный.
Считайте стоимость принятого результата
Цена токенов — малая часть бюджета. Добавьте распознавание файлов, поиск, повторные вызовы, интеграцию, хранение, контроль человека и исправление ошибок. Делите итог на число случаев, которые прошли критерии и были приняты. Если дешёвая модель требует вдвое больше ручной проверки, её вызов может оказаться дороже сильной. Для сезонного процесса повторите расчёт на пиковом объёме и учтите лимиты запросов.
Устройте тест отказа
Дайте противоречивый документ, отсутствующий факт, запрос вне роли и попытку получить закрытые данные. Отключите один источник и верните ошибку инструмента. Система должна показать неопределённость, не выдавать выдуманный успех и передать задачу человеку. Зафиксируйте, что видит оператор и как восстанавливается работа. Пилот, который оценивает только правильные ответы при исправной инфраструктуре, проверяет демо, а не рабочий процесс.
Сравнивайте слепо
Уберите названия поставщиков и покажите результаты двум специалистам в случайном порядке. Оценка включает точность, полноту, понятность источников и время исправления. Разногласия обсуждаются по конкретным критериям, а не по предпочтению интерфейса. После слепой оценки верните эксплуатационные показатели: задержку, стоимость, стабильность и условия договора. Так сильный текст не скроет неприемлемое хранение, а дешёвый тариф не скроет низкое качество.
Примите одно из трёх решений
Пилот заканчивается не только «покупаем» или «не покупаем». Можно продолжить на узком сценарии, сузить задачу до черновика или остановить внедрение. Запишите пороги заранее: доля критических ошибок, экономия времени, стоимость и доступность журналов. Решение подписывают владелец процесса, безопасность и человек, отвечающий за бюджет. После запуска сохраните контрольную выборку и повторяйте её при обновлении модели. Так закупочный документ превращается в рабочий контроль качества, а не остаётся в папке после презентации.
Короткие ответы
Сколько должен длиться пилот? Достаточно времени, чтобы пройти типичный цикл и пик, обычно две–четыре недели. Нужны ли несколько поставщиков? Хотя бы текущий ручной процесс и один альтернативный вариант. Можно ли верить публичному бенчмарку? Он помогает сформулировать гипотезу, но не заменяет вашу выборку. Что запросить на выходе? Конфигурацию, сырые результаты, журнал ошибок, расчёт стоимости, ограничения и план отката. Если поставщик не отдаёт воспроизводимые данные, впечатляющее демо нельзя считать доказательством.