Короткий ответ
AI-ассистент в поддержке работает надёжно, когда отвечает только из управляемой базы знаний, показывает границу уверенности и передаёт человеку вопросы с риском или нехваткой данных. До запуска нужны приоритеты источников, правила запретных обещаний и тестовая выборка из реальных обращений. Качество оценивают по фактической точности, уместности отказа и сохранённому контексту, а не по красоте формулировки.
AI-ассистент — часть процесса, а не автономный сотрудник
Качество ответа определяется не только моделью. Оно зависит от источников, правил, разрешённых действий и того, как команда обрабатывает исключения. Поэтому начинайте не с «пусть отвечает на всё», а с одного класса вопросов, где есть стабильные факты и понятная передача.
Хорошая граница звучит конкретно: ассистент может объяснить условия доставки, собрать номер заказа и передать спорный случай. Он не должен придумывать скидку, трактовать договор или обещать срок, которого нет в данных.
Можно ли вернуть товар после 30 дней?
В базе нет правила для этого срока. Передам вопрос специалисту и сохраню детали заказа.
Получает вопрос, заказ и причину передачи.
Соберите базу знаний по решениям, а не по папкам
Разделите материалы на короткие блоки, которые отвечают на конкретный вопрос: условие, исключение, пример и действие команды. В каждом блоке должна быть дата проверки и владелец. Не загружайте в базу противоречивые версии инструкций и не рассчитывайте, что ассистент сам выберет последнюю.
| Часть | Пример | Зачем |
|---|---|---|
| Факт | Доставка занимает 1–3 рабочих дня | Что можно сообщить без интерпретации |
| Ограничение | Для удалённых районов срок уточняет оператор | Где ассистент должен остановиться |
| Действие | Собрать город и номер заказа | Что сделать после ответа |
| Владелец | Руководитель поддержки, проверка раз в месяц | Кто отвечает за актуальность |
Опишите политику ответа до первой переписки
Политика должна ответить на вопросы:
- Какие факты можно сообщать без подтверждения оператора?
- Какие поля нужно собрать до передачи?
- Какие темы запрещено интерпретировать?
- Сколько раз можно уточнить вопрос, прежде чем включить человека?
- Что показать клиенту, если нужного факта нет в базе?
Сделаете скидку, если я оплачу сегодня?
В доступных условиях нет информации о такой скидке. Могу передать вопрос менеджеру — он проверит предложение.
Получает запрос и может ответить с учётом текущих условий.
Фраза не маскирует ограничение. Она объясняет, что известно, и предлагает следующий шаг.
Проверяйте не «красивые ответы», а границы
Соберите тестовую выборку из реальных вопросов: простые, неполные, с опечаткой, с конфликтом условий, с просьбой о запрещённом действии и с прямым запросом оператора. Для каждого заранее запишите ожидаемое поведение: ответить, уточнить или передать.
| Критерий | Да | Нет |
|---|---|---|
| Факт подтверждён источником | Есть ссылка на актуальный блок | Ответ звучит правдоподобно, но источника нет |
| Действие разрешено | Собраны только доступные поля | Ассистент обещает изменить заказ или цену |
| Передача объяснима | Есть причина и контекст | Клиент просто исчезает в общей очереди |
| Тон не маскирует неопределённость | Ограничение названо прямо | Есть категоричное «точно», когда данных нет |
- У каждого источника есть владелец и дата проверки.
- Для неизвестного факта задана ветка уточнения или передачи.
- Список запрещённых обещаний короткий и проверяемый.
- Тесты включают конфликтные и неполные вопросы.
- Оператор получает причину передачи и уже собранные поля.
Опишите контракт ответа понятнее любого промпта
Контракт — это короткая договорённость о том, что считается хорошим результатом. Например: назвать актуальное правило возврата, сослаться на действующую страницу, не придумывать срок и предложить оператора, если случай не покрыт политикой. Такой критерий можно проверить. Формулировку «отвечай полезно и профессионально» проверить почти невозможно.
| Критерий | Хороший ответ | Ошибка |
|---|---|---|
| Факт | Совпадает с приоритетным источником | Смешаны разные версии документа |
| Граница | Признаёт нехватку данных | Додумывает условие или срок |
| Действие | Предлагает конкретный следующий шаг | Оставляет клиента с общей фразой |
| Передача | Сохраняет вопрос и найденные факты | Оператор начинает выяснение заново |
После запуска читайте не случайные диалоги, а срезы риска
Случайная выборка показывает среднее качество, но легко пропускает дорогие ошибки. Отдельно собирайте ответы без найденного источника, диалоги с низкой уверенностью, повторный вопрос клиента, исправление оператором и темы с юридическими или финансовыми последствиями. Эти группы быстрее показывают, где менять базу, правило передачи или сам сценарий.
- У каждого изменяемого факта есть владелец и дата пересмотра.
- Ответ можно связать с конкретным источником, а не только с темой.
- Запреты сформулированы как проверяемые условия.
- Переход к человеку не удаляет найденные факты и вопрос клиента.
- После обновления базы повторно запускается одна и та же тестовая выборка.
Источники и документация
Частые вопросы
- С чего начать базу знаний для AI-ассистента?
- С повторяющихся вопросов клиентов и актуальных решений команды, а не с папки «все документы». Для каждого факта назначьте владельца и дату проверки: ассистенту важнее надёжный короткий источник, чем большой архив с противоречиями.
- Как запретить AI-ассистенту придумывать ответы?
- Заранее опишите допустимые источники, запрещённые обещания и фразу для неизвестного случая. Затем проверяйте ассистента вопросами с пропущенными и конфликтными данными: правильный ответ иногда звучит как уточнение или передача оператору.
- Как измерять качество ответов AI-ассистента?
- Оценивайте не красоту формулировки, а точность факта, соблюдение границы, полезность следующего шага и корректность передачи человеку. Сравнивайте по одной и той же выборке вопросов до и после изменения базы или правил.