Construire un assistant de connaissance privé avec RAG

Imaginez poser une question et obtenir une réponse qui cite le paragraphe exact de votre politique interne, de votre cahier des charges ou du rapport d’audit du trimestre dernier — sans qu’un seul octet ne quitte votre salle des serveurs. C’est la promesse de la génération augmentée par récupération (RAG), et avec Privonis fonctionnant entièrement on-premise, elle est désormais à portée de toute entreprise européenne qui prend la souveraineté des données au sérieux.

Qu’est-ce que le RAG et pourquoi est-il important ?

Les grands modèles de langage sont de puissants raisonneurs, mais ils ne connaissent que ce sur quoi ils ont été entraînés. Le RAG corrige cela en récupérant des passages pertinents de votre propre base documentaire au moment de la requête et en les transmettant au modèle comme contexte. Le modèle répond alors en s’appuyant sur ces passages, en citant les sources plutôt qu’en inventant des faits. Le résultat est un assistant de connaissance à la fois précis et auditable — deux propriétés qui ont une importance considérable dans les secteurs réglementés.

Le pipeline RAG étape par étape

Un système RAG en production comporte six étapes. Comprendre chacune d’elles vous aide à éviter les défauts les plus courants.

• Ingestion : chargez les documents depuis des PDF, des fichiers Word, des pages Confluence, SharePoint ou toute source structurée utilisée par votre organisation.
• Découpage : divisez les documents en segments — généralement 200 à 500 tokens — suffisamment petits pour tenir dans la fenêtre de contexte du modèle mais suffisamment grands pour porter du sens.
• Embedding : convertissez chaque segment en vecteur dense à l’aide d’un modèle d’embedding local tel que BGE-M3 ou E5-multilingual. Aucun appel cloud requis.
• Index vectoriel : stockez les embeddings dans une base de données vectorielle (Qdrant, Chroma, pgvector) fonctionnant sur votre propre infrastructure.
• Récupération : au moment de la requête, encodez la question de l’utilisateur et trouvez les k segments les plus proches par similarité cosinus, éventuellement combiné avec une recherche par mots-clés BM25 (récupération hybride).
• Génération : transmettez les segments récupérés ainsi que la question à votre LLM on-premise (Llama 3, Mistral, Qwen ou un autre modèle open-weight servi via Ollama ou vLLM) et produisez une réponse citée.

Garder tout privé avec Privonis

Chaque étape de ce pipeline s’exécute à l’intérieur de votre infrastructure lorsque vous déployez avec Privonis. Le modèle d’embedding, la base de données vectorielle, le serveur d’inférence LLM et la couche d’orchestration sont tous auto-hébergés. Vos documents ne quittent jamais votre réseau. Ce n’est pas seulement une préférence en matière de confidentialité — pour les entreprises soumises au RGPD, à la directive NIS2 ou à des règles sectorielles en finance et santé, maintenir les données on-premise est souvent une obligation de conformité, pas une option.

Conseils sur la qualité du découpage et de la récupération

La qualité de votre système RAG dépend entièrement des étapes de découpage et de récupération. Quelques pratiques qui améliorent constamment les résultats : utilisez le découpage sémantique plutôt que des comptes de tokens fixes quand c’est possible ; faites se chevaucher les segments de 10 à 15 % pour éviter de couper le contexte aux frontières ; stockez les métadonnées du document (source, date, en-tête de section) à côté de chaque segment afin que le modèle puisse citer avec précision ; et expérimentez le re-classement des passages récupérés avec un modèle cross-encoder avant de les envoyer au générateur.

La réponse n’est aussi bonne que la récupération. Investissez dans la stratégie de découpage et la recherche hybride avant d’investir dans un modèle plus grand.

Évaluer votre assistant de connaissance

L’évaluation est souvent omise dans les premiers projets RAG et regrettée plus tard. Construisez un jeu de données de référence de 50 à 100 paires question-réponse rédigées par des experts du domaine. Mesurez le rappel de récupération (le bon segment est-il apparu dans les k premiers résultats ?), la fidélité de la réponse (la réponse s’en tient-elle à ce que dit le texte récupéré ?) et la pertinence de la réponse (répond-elle réellement à la question ?). Des frameworks open source tels que RAGAS ou DeepEval peuvent automatiser une grande partie de ce scoring et s’intégrer dans un pipeline CI afin que les régressions soient détectées avant le déploiement.

Les pièges courants à éviter

Les erreurs les plus fréquentes que nous observons lorsque nous aidons des entreprises à construire des assistants de connaissance : indexer des documents de mauvaise qualité ou en double sans les nettoyer au préalable ; choisir une taille de segment trop grande, ce qui fait rater au modèle la phrase précise qui répond à la question ; ignorer les documents multilingues (BGE-M3 et E5-multilingual gèrent bien les corpus en langues mixtes) ; et omettre les contrôles d’accès afin qu’un utilisateur d’un département puisse récupérer des documents qu’il ne devrait pas voir. Les déploiements Privonis incluent une partition de collection basée sur les rôles prête à l’emploi pour répondre à ce dernier point. Construisez-le correctement dès le départ et votre assistant de connaissance privé sera l’un des outils les plus précieux que votre organisation ait jamais déployé.