Mesurer la qualité des réponses d'un système d'IA, question par question.
J'ai refait de zéro mon assistant RAG sur la loi camerounaise sur l'état civil. Recherche hybride, garde-fou sur les citations, réglages mesurés sur 21 questions, et des résultats sans maquillage.
Un assistant qui répond aux questions sur la loi camerounaise du 23 décembre 2024 sur l'état civil, en citant les articles utilisés, et qui refuse quand la réponse n'est pas dans le texte.
Limites
21 questions donnent une tendance, pas une garantie ; un seul modèle a été testé ; les verdicts varient d'une exécution à l'autre. Le détail est publié dans le dépôt (eval/results.md).
Outil de démonstration, qui ne remplace pas un avis juridique ; projet indépendant, construit à partir du seul texte public de la loi.