Как ИИ сортирует обращения и готовит черновики ответов

Стендфирст: Разбираю, как нейросеть определяет тему и срочность сообщения, назначает маршрут и помогает сотруднику подготовить точный ответ.

Поддержка получает обращения из чатов, почты, форм на сайте и мессенджеров. В одном потоке встречаются вопросы о доставке, возврате, оплате, технические ошибки и запросы на консультацию. Если каждое сообщение читать с нуля, сотрудник тратит время на повторяющиеся действия: определить тему, найти приоритет, выбрать инструкцию и сформулировать ответ. Нейросеть способна взять на себя черновую классификацию, но итоговое решение должно оставаться проверяемым.

Я рассматриваю такую систему как рабочий конвейер из отдельных операций, а не как кнопку «ответить всем». Сначала задаются категории и правила срочности, потом проверяется качество на размеченных обращениях. Практический разбор задач и способов проверки есть в материале о генерации текста и контроле результата, а базовые принципы формулировки запроса разобраны в статье об искусстве промптинга.

Что именно сортирует ИИ в обращениях

ИИ сортирует сообщение минимум по трём признакам: типу, срочности и теме; для маршрутизации я добавляю ещё канал и язык обращения. Такой набор превращает свободный текст в 5–7 полей, с которыми проще работать оператору.

Тип показывает намерение клиента. Примеры категорий: вопрос о товаре, претензия, возврат, сбой оплаты, запрос документов, консультация перед покупкой. Тема уточняет предмет: доставка, тариф, личный кабинет, гарантия или конкретная услуга. Эти уровни лучше не смешивать. «Не пришёл заказ» описывает тип проблемы, а «доставка» указывает тему.

Срочность должна опираться на наблюдаемые признаки. Высокий приоритет можно назначить сообщению о списании средств, блокировке доступа или остановке рабочего процесса. Средний подойдёт для запроса со сроком ответа до 24 часов. Низкий применим к общему вопросу, предложению или просьбе прислать справочную информацию.

Для каждой категории я задаю короткое описание и 2–4 примера. Например, правило для «ошибки оплаты» может включать слова «списали дважды», «платёж не прошёл», «деньги ушли, заказ не создан». Список слов сам по себе не решает задачу: фраза «платёж не прошёл вчера» требует одного маршрута, а «платёж не прошёл, деньги списаны» может требовать срочной проверки.

Как выглядит рабочий конвейер сортировки

Рабочая схема состоит из 5 шагов: получение текста, извлечение признаков, присвоение меток, проверка уверенности и передача результата сотруднику.

1. Система получает текст обращения и сохраняет исходную формулировку без сокращений. Номер заказа, дату, сумму и контактные данные лучше передавать в отдельных полях, а не прятать внутри длинного абзаца.
2. Нейросеть выделяет сущности и намерение. В сообщении «Заказ 4812 оплачен 12 марта, но статус не изменился» можно извлечь номер 4812, дату 12 марта и тему «оплата или статус заказа».
3. Модель присваивает одну основную категорию, при необходимости добавляет вторичную. Для аналитики полезны поля «тип», «тема», «срочность», «уверенность» и «следующий шаг».
4. Результат проходит порог уверенности. Например, обращения с оценкой ниже 0,75 отправляются на ручную проверку. Это рабочий параметр для теста, а не универсальная норма для каждой команды.
5. Сотрудник видит исходный текст, метки, объяснение выбора и черновик ответа. Он исправляет ошибку, отправляет сообщение после проверки или переводит обращение в другой маршрут.

Схема полезна тем, что ошибка становится видимой. Если система присвоила категории «возврат» и «доставка», оператор может быстро изменить одну метку, а не перечитывать весь поток и заново составлять классификацию.

Как подготовить черновик ответа без выдуманных обещаний

Хороший черновик содержит 4 элемента: признание сути вопроса, проверенный факт, конкретный следующий шаг и условие для эскалации. Он не должен самостоятельно придумывать скидку, срок доставки или решение по возврату.

Я задаю нейросети границы источников. В запросе указываю, какие сведения разрешены, какие поля нужно вернуть и что делать при нехватке данных. Формулировка может выглядеть так:

«Определи тип, тему и срочность обращения. Верни результат в формате: тип, тема, приоритет, основания, черновик ответа, следующий шаг. Не придумывай цену, срок, статус заказа или условия возврата. Если фактов недостаточно, напиши, какой вопрос нужно задать клиенту».

После классификации полезно применять отдельные инструкции к разным группам. Для сбоя оплаты нужен спокойный тон и запрос идентификатора операции. Для претензии о качестве, фиксация сути проблемы и порядок передачи специалисту. Для консультации перед покупкой, краткое сравнение доступных вариантов и уточнение задачи клиента.

Модельный кейс: в очереди из 180 обращений 60 относятся к доставке, 45 к оплате, 35 к возвратам, а остальные 40 требуют уточнения. Если черновик для каждой группы использует свой набор допустимых фактов, оператору проще проверить 4 типа ответа, чем 180 сообщений без структуры. Это иллюстрация метода, а не отчёт о работе конкретной компании.

Для примера: сообщение «Верните деньги, заказ отменён» не даёт сведений о дате, номере заказа и способе оплаты. Корректный черновик попросит эти данные. Некорректный пообещает возврат в конкретный срок, если такого правила нет в базе.

Практика составления запросов подробно описана в материале о внедрении нейросетей в рабочие процессы. Там же полезно свериться с идеей сценариев: один длинный запрос часто уступает нескольким коротким операциям, где каждая выдача имеет понятный формат.

Какой подход выбрать для сортировки обращений

Для потока из 4 типов сообщений достаточно правил, для смешанного потока из 8–12 тем полезна нейросеть, а при высоком риске лучше соединить автоматическую разметку с проверкой сотрудником.

Правила полезны там, где есть точное условие. Фраза «отменить подписку» может отправлять сообщение в один маршрут, а упоминание «списали деньги» повышает приоритет. Нейросеть лучше справляется с формулировками вроде «вчера оплатил, а доступа всё ещё нет», где смысл складывается из нескольких частей.

Я бы не оценивал систему по одному удачному ответу. Нужна выборка минимум из нескольких десятков обращений на каждую важную категорию. Для срочных тем отдельно проверяются пропуски, когда опасное сообщение получает низкий приоритет. Для черновиков оцениваются точность фактов, соответствие тону и наличие следующего шага.

Модельный кейс: если из 100 проверенных сообщений 92 получили правильную тему, показатель точности классификации равен 92 процентам. Но при 8 пропущенных обращениях о списании средств общая цифра может скрывать риск. Поэтому для приоритета «высокий» я смотрю отдельную долю пропусков, а не только средний результат.

Как связать сортировку с показателями поддержки

Систему стоит оценивать по 5 показателям: точность темы, доля правильного приоритета, время до назначения, доля исправлений и процент черновиков, принятых после проверки.

Для темы можно считать совпадение с разметкой сотрудника. Для срочности полезнее отдельно измерять ложные пропуски и ложные срабатывания. Если срочное письмо иногда попадает в обычную очередь, это может быть серьёзнее, чем лишняя ручная проверка пяти спокойных сообщений.

Модельный кейс: отдел получает 240 обращений в день, из них 30 требуют ответа в течение часа. Если система верно выделяет 27 срочных сообщений и пропускает 3, полнота по этой группе составляет 90 процентов. Такой расчёт помогает обсуждать качество предметно, без фразы «модель стала работать лучше».

Скорость тоже нужно считать одинаково. Можно измерять время от появления сообщения до назначения ответственного и отдельно время до первого содержательного ответа. Если эти показатели не разделить, улучшение маршрутизации легко перепутать с ускорением подготовки текста.

Для руководителя поддержки полезен журнал исправлений. В нём фиксируются исходная метка, исправленная метка, причина изменения и категория обращения. Через 2–4 недели такой журнал показывает, где не хватает примеров, какие названия категорий пересекаются и какие инструкции требуют уточнения.

Связь с маркетингом и продажами описана в статье о нейросетях в маркетинге и автоматизации. Для поддержки логика похожа: сначала определяется измеримая задача, потом задаётся контрольная выборка, после чего сравниваются результаты до и после изменения процесса.

Как проверить промпт и модель на практике

Для проверки я использую 3 этапа: тест на отдельных сообщениях, сравнение на размеченной выборке и контроль после запуска. Такой порядок снижает риск принять красивый черновик за рабочий процесс.

На первом этапе беру 15–20 обращений разных типов. В выборке должны быть короткие вопросы, эмоциональные претензии, сообщения с несколькими проблемами и случаи без обязательных данных. Нейросеть должна вернуть одинаковый набор полей, иначе результаты трудно сопоставлять.

На втором этапе сотрудник заранее размечает 50–100 сообщений. В таблице фиксируются правильные тема, приоритет и следующий шаг. Затем сравниваются ответы модели с этой разметкой. Отдельно отмечаются случаи, где правильная категория есть, но черновик содержит лишнее обещание или пропускает уточняющий вопрос.

Для проверки разных вариантов в веб-чате SoftChat удобно переключать модели внутри разговора. Ответы в интерфейсе поступают потоком, поэтому можно быстро сравнить структуру двух вариантов на одной и той же инструкции. Я сохраняю исходный запрос, набор примеров и критерии оценки, чтобы сравнение не зависело от памяти редактора.

На третьем этапе проверка продолжается после запуска. Первые 7 дней стоит просматривать случайную выборку каждый день, а для срочных категорий оставлять ручное подтверждение. Если доля исправлений растёт после добавления новой категории, это сигнал проверить описание метки и примеры, а не просто заменить модель.

Что бы я выбрал для команды поддержки

Если поток содержит 3–5 повторяющихся тем, я бы начал с правил и понятной ручной проверки; если формулировки сильно различаются, добавил бы нейросеть после разметки 50–100 сообщений.

Моя рабочая граница проста: автоматизировать можно классификацию и черновик, а решение по деньгам, доступу, претензии или юридически значимому обещанию оставлять сотруднику. Такой порядок сохраняет скорость на типовых вопросах и даёт человеку право остановить ошибочный ответ.

Начинать стоит с одной очереди, например вопросов о доставке. Зафиксируйте 4–6 меток, порог ручной проверки, допустимые источники фактов и показатель качества. Через неделю сравните точность темы, пропуски срочных сообщений, долю правок и время до назначения. Если данные подтверждают пользу, расширяйте схему на оплату, возвраты и консультации.

Нейросеть здесь не заменяет правила поддержки. Она помогает превратить поток свободного текста в понятную последовательность действий, а качество зависит от категорий, примеров, порогов и контроля сотрудника. Именно эти элементы определяют, станет ли черновик экономией времени или дополнительным слоем проверки.