Во время пилота систему обычно проверяют на заранее подготовленных сценариях. После запуска появляются реальные запросы сотрудников и ситуации, которых в тестах никто не предусмотрел.
Хороший пример — ассистент по корпоративной базе знаний. На тестировании ему могут задавать аккуратные вопросы со всеми нужными уточнениями. А реальный сотрудник пишет одно слово: «шаблон». Для него понятно, какой именно шаблон ему нужен, потому что он находится внутри своего рабочего контекста. Ассистент этого контекста не знает, а в компании таких шаблонов может быть множество.
Именно реальные обращения показывают, что нужно доработать- Каких данных не хватает в базе знаний
- Какие формулировки система понимает неправильно
- Где ей не хватает контекста о подразделении или сотруднике
- Какие сценарии вообще не были предусмотрены на этапе тестирования
Первые реальные обращения стоит разбирать сразу. Если системой активно пользуются, то материал для доработки будет готов быстро. Но одного раннего контроля недостаточно: некоторые ошибки проявятся только со временем, когда появятся нестандартные данные или изменится привычный сценарий работы. Например, система стабильно обрабатывала таблицу, а потом в ней появился дополнительный столбец — и процесс перестал работать так, как ожидалось.
Частота проверки зависит от цены ошибки. Если речь идет о задаче, где неверный результат может привести к серьезным последствиям, проверять работу системы нужно при каждом запуске. В менее критичных процессах можно анализировать накопленные обращения и ошибки через определенные интервалы.
Часть контроля можно встроить в сам процесс: после выполнения задачи агент дополнительно сверяет результат с заданными критериями или источниками. Но такая самопроверка не заменяет контроль со стороны человека.
И отдельно — про персональные данные.
Их нельзя просто загружать во внешние ИИ-сервисы в исходном виде. Перед передачей такие данные нужно обезличивать и соблюдать принятые в компании правила работы с конфиденциальной информацией.