Что считать повторяющейся темой
Команда поддержки часто замечает рост одинаковых вопросов раньше, чем он проявится в квартальном отчёте. Причиной может быть не только неудобная функция: меняются условия тарифа, текст подсказки, ожидания после рекламы или время доставки. Модель поможет предварительно сгруппировать обезличенные обращения, но частая формулировка ещё не доказывает одну и ту же проблему. Поэтому задача пилота — быстрее получить проверяемые группы примеров, а не заменить исследование клиентов.
Сначала установите границы данных
Не отправляйте наружу имена, телефоны, адреса, номера заказов, ссылки на личные кабинеты, платёжную информацию и свободные поля, где клиент мог оставить секрет. Используйте утверждённый контур обработки и согласуйте срок хранения с ответственным за данные. Даже после удаления прямых идентификаторов редкое сочетание деталей может указывать на конкретного человека. При сомнении анализируйте короткие фрагменты или агрегаты, а не полную историю диалога.
Соберите небольшую проверяемую выборку
Выберите обращения за одинаковый период и обозначьте канал, тему продукта и итог, если эти поля нужны. Удалите служебные ответы, шаблонные приветствия и дубли после повторной отправки. Для первого теста не нужно загружать весь архив: достаточно выборки, которую команда может вручную проверить. Сохраните часть примеров отдельно, чтобы проверить, находят ли предложенные категории новые обращения, а не только объясняют известные.
Попросите кластеризацию с примерами
Инструкция должна просить короткое название темы, число попавших обращений, несколько обезличенных цитат, альтернативное толкование и уверенность. Запретите выводы о возрасте, доходе, здоровье, характере или намерениях клиента, если таких данных нет и они не нужны. Отдельная категория «неясно / смешанная причина» лучше искусственно точного ярлыка. Не просите модель сочинять цитаты; каждая иллюстрация должна точно присутствовать в подготовленном наборе.
Проверьте, не слиплись ли разные причины
Сотрудник читает примеры в каждой группе и ищет контрпример. «Не понял оплату» и «сумма списания отличается от ожидания» могут звучать похоже, но требовать разных исправлений. Сверьте категорию с продуктовой аналитикой и правилами сервиса, затем объедините или разделите кластеры. Если тема включает единичную историю с узнаваемыми подробностями, не публикуйте её в общей сводке.
От гипотезы — к действию
Сформулируйте для каждой подтверждённой темы следующий шаг: проверить интерфейс, обновить подсказку, посмотреть журнал ошибок или провести пять интервью. Не меняйте продукт только из-за размера кластера: сообщения могут поступать из одного канала или быть вызваны единичной кампанией. Запишите период, фильтр, размер выборки и долю ручной проверки. Повторяйте анализ после изменения продукта, чтобы отличить устойчивый сигнал от разового всплеска.
FAQ
Можно ли доверить модели число обращений? Пересчитайте его исходным фильтром и проверьте пропуски/дубли. Нужно ли сохранять исходный текст? Только по внутренним правилам и на ограниченный срок; для отчёта часто достаточно обезличенных примеров. Можно ли автоматически отвечать клиентам по найденным темам? Такой анализ не проверяет факты отдельного кейса. Начните с <a href="/materialy/proverka-otvetov">проверки ответов</a> и определите границу пилота по <a href="/materialy/pervyi-process">первому рабочему процессу</a>.