Préparer un corpus documentaire pour un assistant RAG
Un corpus documentaire est l’ensemble des documents qu’un assistant peut utiliser. Son utilité dépend de la pertinence, des versions et des accès, pas seulement du nombre de fichiers importés.
Partir des questions à traiter
Préparez des questions réelles autorisées ou des cas fictifs représentatifs. Pour chaque question, identifiez les documents qui devraient permettre de répondre et les cas où une réponse doit rester inconnue.
Exemple fictif : un assistant de support consulte une procédure en vigueur et une ancienne version archivée. Le corpus doit permettre de distinguer leur rôle au lieu de mélanger leurs consignes.
Inventorier versions et propriétaires
Conservez titre, identifiant, responsable, version, date de validité et emplacement d’origine. Distinguez date du fichier et période d’application du contenu. Écrivez comment une correction sera propagée.
Une procédure récente peut citer une annexe ancienne toujours valable. Le choix ne doit pas se réduire à prendre le document dont la date est la plus récente.
Définir les documents autorisés
Déterminez qui peut lire chaque document et si son utilisation par le système est autorisée. Séparez public, interne et accès limité. L’assistant ne doit pas contourner des restrictions par une réponse ou une citation.
Préparez un cas d’essai où une personne ne doit pas voir une information. Utilisez des documents fictifs pour le test initial, sans transférer de données sensibles vers un outil non approuvé.
Évaluer la recherche et la réponse
Pour chaque cas, vérifiez si le système retrouve les bons passages et si la réponse reste fondée sur eux. Notez séparément erreur de recherche et erreur de réponse. Une référence affichée peut être présente sans soutenir l’affirmation.
Conservez le passage, la version et la conclusion du contrôle. Préparez des cas sans document adéquat pour vérifier que le système signale sa limite plutôt que d’inventer une réponse.
Une fiche à conserver avec la décision
| Élément | Preuve |
|---|---|
| Questions | Cas couverts et réponses attendues ou inconnues. |
| Documents | Identifiant, version, responsable et validité. |
| Accès | Public autorisé et restrictions testées. |
| Évaluation | Passage récupéré, réponse et preuve du contrôle. |
Télécharger la fiche à compléter (CSV)
Questions fréquentes
Faut-il importer tous les documents ?
Sélectionnez ceux utiles aux questions autorisées, avec leur contexte et leurs versions. Un corpus plus grand n’est pas une preuve de meilleure réponse.
Une citation garantit-elle la réponse ?
Non. Vérifiez que le passage cité soutient effectivement la réponse et s’applique au cas.
Références
La grille pratique est une synthèse éditoriale à adapter à votre service. Elle ne constitue ni une certification ni un résultat d’audit.