Схема классификации обращений, контроль срочности и расчёт экономии времени без передачи решения целиком автоматике.

Поток обращений обычно приходит из трёх каналов: почты, формы на сайте и мессенджеров. Внутри него смешиваются вопросы о доставке, оплате, возврате, характеристиках товара и технических сбоях. Нейросеть помогает превратить такой поток в структурированные записи с четырьмя полями: тема, срочность, следующий шаг и уверенность в результате. Человек получает уже подготовленную очередь, а не набор сообщений без порядка.

Задача начинается с формулировки правил. В статье об искусстве промптинга я разбираю тот же принцип: модель лучше работает, когда видит формат ответа, критерии оценки и примеры спорных случаев.

Схема разбора обращенийЧетыре этапа обработки сообщения: подготовка, классификация, проверка и следующий шагОт сообщения к рабочему действиюПроверяемая цепочка из четырёх этапов1Подготовкаочистка текстасохранение фактов2Классификациятема и намерениесрочность3Проверкауверенностьисключения4Действиеответ или задачаручной маршрутНизкая уверенность должна останавливать автоматический маршрут.
Инфографика

Что именно делает нейросеть с обращением

Рабочий процесс сортировки обращений по темам и срочности

Нейросеть раскладывает каждое сообщение минимум на 4 признака: тему, срочность, намерение автора и рекомендуемый следующий шаг. Такой результат полезнее простого пересказа, потому что оператор сразу видит, что нужно сделать в первую очередь.

Первый слой отвечает на вопрос «о чём обращение». Для этого подходят фиксированные категории: доставка, оплата, возврат, техническая проблема, консультация перед покупкой. Чем уже справочник, тем легче измерить ошибки. Если в нём 6 категорий, оператору проще проверить результат, чем при свободном описании из 30 разных формулировок.

Второй слой определяет намерение. Сообщение «Когда будет заказ?» просит назвать статус, а фраза «С карты списали деньги дважды» требует проверки платежа. Тема у них может быть связана с заказом, однако следующий шаг разный.

Третий слой оценивает срочность. Я советую заранее задать 3 уровня: обычный, повышенный и критический. Критический уровень должен иметь операционное условие, например угрозу остановки сервиса, повторное списание средств или жалобу на нарушение срока поставки.

Четвёртый слой предлагает действие. Это может быть запрос номера заказа, передача вопроса специалисту, подготовка ответа по базе знаний или постановка задачи на ручную проверку. Нейросеть предлагает маршрут, а сотрудник сохраняет право изменить его.

Модельный кейс: для компании из сферы логистики, примерно 200 сотрудников, справочник из 8 тем может включать доставку, повреждение груза, документы, оплату, возврат, адрес, сроки и претензию. Фраза «груз прибыл с разорванной упаковкой» должна получить тему «повреждение», повышенную срочность и следующий шаг «запросить фотографии и номер отправления».

Как устроить поток обработки

Надёжная схема состоит из 4 последовательных этапов: подготовка текста, классификация, проверка результата и передача в рабочую очередь. Если пропустить второй контроль, ошибки модели сразу попадут к клиенту или в операционный процесс.

Перед классификацией текст приводят к единому виду. Из него убирают технические дубли, лишние подписи, повторяющиеся цитаты и служебные номера. Содержание обращения сохраняется. Длинная переписка может быть сокращена до последнего вопроса, истории заказа и фактов, которые влияют на решение.

Этап Что получает система Что возвращается Контроль человека
1. Подготовка Текст сообщения и служебные поля Очищенное обращение Проверка потери фактов
2. Классификация Обращение и список категорий Тема, срочность, намерение Проверка новых формулировок
3. Проверка Результат и оценка уверенности Разрешение или ручная очередь Работа с исключениями
4. Следующий шаг Подтверждённая карточка Ответ, задача или маршрут Финальное решение

Я разделяю классификацию и подготовку ответа. Сначала система отвечает на вопрос «что произошло», затем формирует вариант реакции. При таком порядке легче увидеть ошибку в теме до того, как появится неуместный текст для клиента.

Для рабочих процессов полезно сопоставить эту схему с рекомендациями из материала о внедрении нейросетей в рабочие процессы. Там акцент сделан на сценариях, а не на попытке автоматизировать сразу весь отдел.

Какие поля нужно задать в инструкции

Для первого пилота достаточно 6 полей: тема, намерение, срочность, следующий шаг, уверенность и причина решения. Такое ограничение уменьшает число расплывчатых ответов и даёт понятную основу для проверки.

Поле «тема» должно принимать значение из закрытого списка. Поле «намерение» описывает действие автора: узнать, пожаловаться, изменить данные, отменить заказ или получить расчёт. В поле «срочность» лучше задать словарь из трёх уровней, а не просить модель написать произвольный комментарий.

Поле «следующий шаг» связывает классификацию с работой сотрудника. Формулировка «передать в отдел продаж» слишком общая. Лучше написать «запросить бюджет, срок закупки и количество лицензий», если именно эти сведения нужны для продолжения диалога.

Оценку уверенности удобно представлять числом от 0 до 1. Значение 0,86 означает высокий уровень уверенности в рамках выбранных правил, но не доказывает фактическую правильность ответа. Причина решения нужна для аудита: модель должна коротко указать, какой фрагмент сообщения повлиял на категорию.

Перед запуском я готовлю 20–30 размеченных обращений. В выборке должны быть обычные вопросы, короткие сообщения без контекста, эмоциональные жалобы и случаи с двумя возможными темами. Без таких примеров процент правильных ответов выглядит убедительно, но не показывает поведение на границах категорий.

Как настроить порог уверенности и исключения

Проверка уверенности нейросети и передача спорных обращений оператору

Я бы начал с порога 0,80 и отправлял всё ниже него на ручную проверку. Это стартовая настройка, а не универсальная норма: для платежей, безопасности и претензий порог должен быть выше, чем для простых вопросов о графике работы.

У каждой категории должен быть список исключений. Например, обращение о доставке превращается в приоритетное, если в нём есть слова о повреждении, повторной просрочке или потере отправления. Для платежей исключением может стать упоминание двойного списания. Такие правила лучше хранить отдельно от общей инструкции, чтобы их было легко менять.

Полезно вести две очереди. Первая содержит сообщения с высокой уверенностью и стандартным следующим шагом. Вторая получает низкоуверенные случаи, конфликтующие признаки и обращения, где требуется доступ к закрытым данным. Автоматический ответ из второй очереди не отправляется без решения сотрудника.

Условный пример: из 100 входящих сообщений 70 получили уверенность выше 0,80, 20 попали в диапазон от 0,60 до 0,80, а 10 содержали конфликтующие признаки. В рабочий процесс можно допустить первую группу после выборочной проверки, вторую отправить оператору, а третью разобрать отдельно и добавить новые правила.

Для контроля я повторно проверяю случайную выборку из 30 сообщений каждую неделю на старте пилота. Если ошибки повторяются в одной категории, проблема может быть в справочнике, примерах или самом маршруте, а не в объёме данных.

Как посчитать экономию времени

Экономию удобно считать по формуле: число обращений умножается на минуты ручной сортировки и на долю сообщений, которые проходят автоматическую проверку. Из результата нужно вычесть время контроля, исправлений и обслуживания правил.

Модельный кейс: компания из сферы электронной коммерции получает 2400 сообщений в месяц, а первичная сортировка одного сообщения занимает 4 минуты. Полный ручной объём равен 9600 минутам, или 160 часам. Если черновая классификация проходит проверку для 60% потока, теоретический выигрыш составляет 96 часов. Фактическая экономия будет ниже после учёта контроля и исключений.

Я фиксирую минимум 5 показателей: время до первого маршрута, долю исправлений, точность темы, долю сообщений ниже порога и часы ручной сортировки. Отдельно считаю стоимость ошибок. Ошибка в вопросе о графике работы и ошибка в возврате денег имеют разный операционный ущерб, даже если обе записаны как одна неверная категория.

Показатель «сэкономлено часов» без качества может вводить в заблуждение. Если система быстро отправляет обращения не в тот отдел, нагрузка перемещается, а не исчезает. Поэтому в отчёте рядом с экономией должны стоять число исправлений и количество обращений, которые прошли ручной контроль.

Как использовать чат для подготовки сценария

Для подготовки инструкции мне нужен диалог, в котором можно быстро уточнить формат, проверить несколько примеров и изменить правила. В веб-чате SoftChat можно переключать модели в рамках конкретного разговора, а ответы приходят потоково. Это подходит для последовательной доработки шаблона классификации, но саму обработку почты или заявок нужно проектировать отдельно, без приписывания чату функций внешней очереди.

Я начинаю с одного отдела и одной категории обращений. Например, беру вопросы о доставке, задаю 5 допустимых результатов и добавляю 10 спорных примеров. Затем прошу модель вывести тему, срочность, следующий шаг и причину выбора в заданном порядке.

После этого сравниваю ответы с разметкой человека. Речь идёт о проверке инструкции и качества результата, а не о соревновании моделей ради самого сравнения. Если меняется модель, я сохраняю один и тот же набор из 30 тестовых сообщений. Так результат можно сопоставить по одинаковым условиям.

Практический шаблон должен содержать роль, список категорий, критерии срочности, формат полей, запрет на догадки и правило для низкой уверенности. Объяснение «разбери письмо» оставляет слишком много свободы. Формулировка с таблицей значений и двумя спорными примерами даёт более стабильный результат.

В бытовых сценариях похожий подход описан в материале о применении нейросетей для повседневных задач. Для поддержки его нужно дополнить правилами доступа, журналом исправлений и ответственным сотрудником.

Как провести проверку перед запуском

Перед запуском я проверяю 5 вещей: полноту категорий, обработку пустого контекста, реакцию на конфликт признаков, соблюдение формата и корректность следующего шага. На каждом пункте нужны примеры с ожидаемым результатом.

Сначала беру 50 сообщений из реального обезличенного потока и размечаю их вручную. Потом считаю точность по каждой теме, а не одну среднюю цифру. Среднее значение 90% может скрывать 98% точности для доставки и 65% для возвратов. Вторая категория потребует отдельной доработки, даже если общий показатель выглядит приемлемо.

Затем проверяю устойчивость к коротким фразам. Сообщения «срочно», «не пришло» и «верните деньги» не дают полного контекста. Для них должен срабатывать низкий порог уверенности или запрос недостающих сведений, а не свободное предположение.

Последний тест касается человеческого контроля. Оператору должно быть видно исходное сообщение, выбранную тему, срочность, следующий шаг и причину решения. Если сотрудник видит только готовый статус, он не сможет быстро исправить ошибку.

Какое решение я бы принял на вашем месте

Я бы запускал классификацию как управляемый пилот для одной очереди, с 30 тестовыми сообщениями, порогом 0,80 и ручной проверкой всех исключений. Через 2–4 недели можно сравнить точность тем, долю исправлений и фактическое время сортировки с исходными значениями.

Если качество держится, расширил бы справочник на соседнюю категорию. Если ошибки повторяются, сначала изменил бы определения тем и примеры, а не добавлял новые инструкции без разбора причин. Нейросеть приносит измеримую пользу там, где у неё есть закрытый список решений, понятный маршрут и человек для спорных случаев. Подходы к саморазвитию и обучению требуют другой проверки, что показано в материале о нейросетях в образовании, поэтому рабочий классификатор нельзя переносить туда без адаптации критериев.