Локальная база знаний для ИИ: поиск по документам с учётом прав
Корпоративная база знаний полезна только тогда, когда ответ можно проверить по источнику, устаревший документ исчезает из поиска, а сотрудник не получает фрагмент, к которому у него нет доступа.
Начните с источников и владельцев
Составьте перечень хранилищ, типов документов, владельцев, уровней доступа и сроков актуальности. Для каждой записи сохраняйте исходный адрес, версию, дату, владельца и область видимости.
Не переносите весь файловый сервер в один индекс. Сначала выберите ограниченную тему, в которой документы утверждены и сотрудники действительно тратят время на поиск.
Права проверяются до выдачи текста
Поиск должен отбирать только те фрагменты, которые разрешены текущему пользователю. Просьба модели «не показывать секретное» не заменяет техническую проверку доступа.
Если права наследуются из исходной системы, синхронизируйте не только содержание, но и группы, удаления и запреты. Уволенный сотрудник или закрытый проект не должны оставаться доступными через старый индекс.
Ответ обязан вести к доказательству
Порождающая модель делает изложение удобнее, но не становится новым источником истины. Для регламентов и чисел пользователь должен открыть исходный документ.
- Название и версия документа.
- Ссылка или устойчивый идентификатор источника.
- Фрагмент, на котором основан вывод.
- Дата последнего обновления.
- Честный отказ, если подходящего подтверждения нет.
Измеряйте поиск отдельно от ответа
Сначала проверьте, нашёл ли поиск нужный документ и не выдал ли запрещённый. Затем оценивайте, верно ли модель использовала найденное. Смешанный общий балл скрывает причину ошибки.
В испытания включают старые редакции, почти одинаковые документы, таблицы, сканы, отсутствие ответа и вредные указания внутри файла. После обновления проверяют, что предыдущая версия перестала влиять на результат.
Частые вопросы
Нужно ли обучать модель на документах компании?
Обычно сначала достаточно поиска по документам с передачей найденных фрагментов модели. Это проще обновлять, удалять и проверять по источнику.
Можно ли давать ссылки на сетевые файлы?
Да, если ссылка устойчива и открывается только у пользователя с правом доступа. Сам поисковый слой обязан применять те же ограничения.
Нужна оценка вашей задачи?
Опишите проект — разложим его на этапы и объясним, от чего зависит бюджет.