Еженедельная проверка качества ИИ-ответов

Качество ИИ-ответов проверяется не отчётом платформы, а чтением диалогов — пятнадцать минут в неделю и два конкретных срез: диалоги, которые оборвались, и диалоги, которые пришлось подхватить человеку. Именно там видно, где ассистент не дотягивает.

Главная ловушка — смотреть на количество ответов. Ассистент может ответить на сотню сообщений и не привести ни одного заказа; это выглядит как работа и ею не является.

Какие диалоги читать, а какие пропустить?

Читать нужно только два типа. Остальные — пропустить, они ничего не скажут.

1. 1

   Оборванные диалоги

   Ассистент ответил — клиент замолчал. Самая частая причина: ответ не дал следующего шага.

2. 2

   Переданные менеджеру

   Здесь видна граница автоматизации: либо ассистент правильно отдал сложное, либо не смог простое.

3. 3

   Повторные вопросы

   Клиент переспрашивает одно и то же дважды — ответ был формально правильным и непонятным.

4. 4

   Успешные — выборочно

   Два-три для контроля тона. Не больше: они подтверждают, а не учат.

Что именно измерять?

Три числа, которые можно посчитать вручную по выборке:

1. Сколько диалогов дошли до следующего шага — то есть клиент назвал размер, город или согласился на оформление. Это и есть польза.
2. Сколько ушли к человеку — и главное, по какой причине. Правильная передача (жалоба, торг) — это успех, а не сбой. Передача из-за «не понял вопроса» — сбой.
3. Сколько оборвались после ответа ассистента. Если эта доля не падает между неделями, проблема в структуре ответов, а не в отдельных формулировках.

Когда править инструкцию, а когда добавлять сценарий?

Правило, которое экономит месяцы: сценарий лечит один случай, инструкция лечит класс случаев. Если ошибка может повториться в другой теме — это инструкция.

Пример. Ассистент выдумал срок доставки в город. Слабое решение — добавить сценарий «этот город → 2 дня». Сильное — правило «сроки называй только из таблицы доставки; города не в таблице → уточню и напишу». Второе закрывает все города сразу, включая те, о которых ещё не спрашивали.

Как не сломать то, что работает?

Одно изменение за итерацию. Это скучно и это единственный способ понять, что подействовало.

Перед правкой сохраните несколько реальных вопросов как тест: наличие, цена, доставка, торг, жалоба. После правки прогоните их все. Если улучшился ответ о цене и сломалась передача жалобы — вы это увидите сразу, а не через неделю от клиента.

Чеклист еженедельной проверки

1. Открыть диалоги за неделю, отобрать оборванные и переданные человеку.
2. Прочитать 10–15, заметить повторяющиеся причины (не отдельные ошибки — именно паттерны).
3. Посчитать три числа: дошли до шага / ушли к человеку / оборвались.
4. Выбрать ОДНО изменение инструкции, закрывающее самый частый паттерн.
5. Прогнать набор тестовых вопросов до и после изменения.
6. Записать строку в таблицу недели.