Почему сводка может обмануть
Десять недовольных сообщений в одном канале выглядят как тренд, но могут относиться к одному сбою и повторяться из-за пересылок. Нейросеть хорошо помогает предложить категории и сжать длинный текст. Она не знает, как формировалась выборка, кто чаще пишет отзыв и сколько довольных клиентов молчат. Поэтому отчёт должен отвечать на два вопроса раздельно: какие мотивы встречаются в переданных сообщениях и насколько эта выборка представляет клиентскую базу. Второй вопрос нельзя закрыть выразительным графиком.
Подготовка выборки
Соберите обращения за конкретный период и укажите канал, продукт, статус клиента и исход задачи, если это разрешено. Удалите имена, телефоны и идентификаторы заказов. Уберите дубликаты, но сохраните счётчик повторов отдельно: массовое повторение может само быть важным сигналом. До анализа задайте единицу наблюдения — одно обращение, одна проблема или один клиент. Не смешивайте их. Если один человек оставил пять сообщений, это не автоматически пять независимых подтверждений проблемы.
Создайте систему кодов
Попросите модель предложить категории на небольшой части массива. Затем аналитик проверяет, что категории различимы и полезны для решения. Например, «доставка долго», «не было статуса» и «курьер не приехал» могут относиться к логистике, но требовать разных действий. Сохраните исходную цитату рядом с меткой, не заменяйте первичный текст пересказом. Добавьте коды «неясно», «не относится» и «несколько тем». Принудительный выбор одного ярлыка часто стирает смысл смешанного обращения.
Ручная проверка и спорные случаи
Случайно выберите часть размеченных сообщений и попросите двух сотрудников разметить их независимо, не видя ответа модели. Сравните расхождения и уточните определения категорий. Затем проверьте все выводы, которые могут изменить политику возврата, тариф или обещание клиенту. Модель может спутать сарказм, цитату сотрудника и мнение клиента. Если в сообщении написано «обещали завтра», это не доказывает, что компания действительно обещала такой срок. Для этого нужен первичный след заказа или переписки.
Как показывать результат
В отчёте пишите размер и состав выборки: например, «среди 420 обращений поддержки за сентябрь, полученных из чата и почты». Указывайте период, исключённые каналы и метод удаления повторов. Долю можно считать скриптом после проверки кодов; не просите генеративную модель оценить проценты по длинному тексту. Цитаты выбирайте как иллюстрации, а не как доказательство частоты. Рядом покажите неизвестное: например, данные не включают звонки. Это делает вывод полезнее и честнее, чем универсальная фраза о том, чего хотят «клиенты».
От наблюдения к действию
У каждой темы должен быть владелец следующей проверки. Для «непонятен статус заказа» проверьте события в логах; для «сложно вернуть товар» изучите путь в интерфейсе; для «поддержка отвечает долго» сопоставьте обращения с временем ответа. Не превращайте каждую категорию в задачу разработки: сначала выясните, влияет ли она на результат и в какой части пути возникает. Через месяц повторите анализ тем же способом, иначе изменение может объясняться новой выборкой, а не улучшением продукта.
FAQ команды
Можно ли попросить ИИ оценить настроение? Можно получить предварительную метку, но её нужно сверить с контекстом и учитывать различия языка и иронии. Достаточно ли одной выборки? Для поиска гипотез — да; для оценки распространённости нужны понятная выборочная рамка и статистическая методика. Нужно ли хранить цитаты? Да, с контролем доступа и обезличиванием, чтобы вывод можно было проверить без раскрытия клиента шире необходимого.