Nouveau cas client : LeadsIt, l’application de prospection B2B que nous avons construite avec l’IA. Lire le cas client →

Guide · 9 min de lecture

Évaluer la qualité d’un agent IA : métriques et jeux de tests

Ce guide vous montre comment vérifier qu’un agent IA répond juste, cite ses sources et sait dire non. Vous saurez construire un jeu de tests, choisir quelques mesures simples et organiser un suivi qui détecte les régressions avant vos utilisateurs.

Pourquoi évaluer, et quoi évaluer

Un agent IA est un logiciel qui répond à des questions ou prépare des tâches à l’aide d’un modèle de langage. Contrairement à un logiciel classique, il ne donne pas toujours la même réponse à la même question. Une démonstration réussie ne prouve donc pas grand-chose. Seule une évaluation méthodique sur de nombreux cas permet de savoir s’il est fiable.

Évaluer sert à trois choses. Décider si l’agent peut être mis entre les mains des utilisateurs. Comparer deux réglages ou deux modèles sur une base objective. Détecter une dégradation après une modification.

Les qualités à mesurer sont presque toujours les mêmes : l’exactitude des réponses, la qualité des citations, la capacité à refuser quand il le faut, et, pour un agent qui agit, la justesse des actions qu’il prépare. Le reste de ce guide les reprend une par une.

Construire le jeu de questions de référence

Le jeu de questions de référence est la base de tout. C’est une liste de questions, chacune accompagnée de la réponse attendue et de la source qui la justifie. Il joue le rôle d’un examen que l’agent repasse à chaque modification.

Les questions doivent venir du terrain : tickets de support, courriels reçus, questions posées en réunion. Gardez la formulation d’origine, avec ses fautes et ses abréviations. Les utilisateurs n’écrivent pas comme les documents.

Couvrez plusieurs familles de cas. Des questions simples dont la réponse tient dans un seul passage. Des questions qui demandent de croiser deux documents. Des questions ambiguës. Des questions hors périmètre, auxquelles l’agent doit refuser de répondre. Des questions pièges, qui contiennent une affirmation fausse.

Faites valider chaque réponse attendue par un expert métier, et notez son nom et la date. Une réponse de référence fausse fausse toute l’évaluation.

  • Questions réelles, formulées par les utilisateurs.
  • Réponse attendue et source exacte pour chaque question.
  • Questions simples, croisées, ambiguës, hors périmètre et pièges.
  • Validation par un expert métier, datée.
  • Mise à jour quand les documents de référence changent.

Mesurer l’exactitude

Une réponse exacte dit ce que dit la source, sans ajout ni oubli important. Pour la noter, une échelle simple suffit : correcte, partiellement correcte, incorrecte. Une échelle plus fine donne une fausse impression de précision.

Distinguez deux causes d’erreur. Soit le système n’a pas retrouvé le bon passage, et c’est un problème de recherche. Soit il l’a retrouvé mais l’a mal utilisé, et c’est un problème de rédaction ou de consigne. Les remèdes sont différents, d’où l’intérêt de noter les deux.

Il est possible de faire noter les réponses par un autre modèle de langage, qui compare la réponse à la réponse attendue. Cela fait gagner du temps sur de grands volumes. Mais ce correcteur automatique se trompe aussi. Vérifiez régulièrement ses notes sur un échantillon corrigé à la main.

Pour un agent qui prépare des actions, l’exactitude porte aussi sur l’action elle-même. L’agent a-t-il choisi le bon outil ? A-t-il rempli les bons champs, pour le bon client, avec les bonnes valeurs ? Une réponse bien rédigée qui crée un ticket au mauvais endroit reste une erreur. Notez ces cas à part, car leurs conséquences sont souvent plus lourdes qu’une réponse imprécise.

Vérifier les citations

Une citation permet à l’utilisateur de vérifier la réponse lui-même. Elle n’a de valeur que si elle est juste. Une citation qui renvoie vers un document sans rapport est pire que pas de citation : elle donne une fausse assurance.

Pour chaque réponse, contrôlez trois points. La source citée existe et l’utilisateur peut l’ouvrir. Le passage cité contient bien l’information avancée. Chaque affirmation importante de la réponse est rattachée à une source.

Regardez aussi la fraîcheur. Si la réponse s’appuie sur une version périmée d’une procédure, elle peut être exacte par rapport à sa source et fausse par rapport à la réalité. Afficher la date du document cité aide l’utilisateur à le repérer.

Faites vérifier un échantillon de citations par une personne qui ne connaît pas la réponse à l’avance. Si elle arrive à retrouver l’information en quelques clics à partir de la citation, celle-ci remplit son rôle. Si elle doit chercher dans tout le document, la citation est trop vague.

  • La source citée existe et s’ouvre.
  • Le passage cité contient l’information.
  • Chaque affirmation importante a sa source.
  • Le document cité est la version en vigueur.

Tester les refus appropriés

Un bon agent sait dire « je ne sais pas ». Quand ses sources ne contiennent pas la réponse, il doit le dire au lieu d’inventer. Quand la question sort de son périmètre, il doit le signaler et, si possible, orienter vers la bonne personne.

Testez aussi le cas inverse. Un agent trop prudent refuse des questions auxquelles il pourrait répondre, et les utilisateurs l’abandonnent. Il faut donc mesurer deux choses : les refus manqués, quand l’agent invente, et les refus inutiles, quand il refuse à tort.

Ajoutez des cas sensibles propres à votre activité. Une demande de conseil juridique ou médical personnalisé. Une question sur un collègue. Une tentative de faire contourner les consignes. Le comportement attendu doit être écrit pour chacun.

Regardez enfin la forme du refus. Un bon refus explique en une phrase pourquoi l’agent ne répond pas, et propose une suite : la personne à contacter, la page à consulter, la demande à ouvrir. Un refus sec laisse l’utilisateur sans solution et le pousse à chercher ailleurs, parfois dans des outils non autorisés.

Mettre en place des tests de non-régression

Une régression est une dégradation qui apparaît après un changement. Elle peut venir d’un nouveau modèle, d’une consigne modifiée, d’un nouveau découpage des documents ou de l’ajout d’une source. Une modification qui améliore certains cas peut en dégrader d’autres.

Le remède est de rejouer automatiquement le jeu de référence avant chaque mise en ligne, et de comparer les résultats à ceux de la version précédente. Toute question qui passait et ne passe plus doit être examinée avant de valider le changement.

Comme les réponses varient d’une exécution à l’autre, une différence isolée ne veut pas toujours dire grand-chose. Rejouez les cas douteux plusieurs fois et regardez la tendance. Gardez l’historique des résultats : il montre si la qualité progresse dans le temps.

Pensez aussi aux changements qui ne viennent pas de vous. Un fournisseur peut faire évoluer son modèle, et une source peut être réorganisée par une autre équipe. Rejouer le jeu de référence à intervalles réguliers, même sans modification de votre côté, permet de repérer ces dérives.

  • Jeu de référence rejoué avant chaque changement.
  • Comparaison avec la version précédente, question par question.
  • Examen de chaque question qui ne passe plus.
  • Historique des résultats conservé.

Recueillir les retours utilisateurs

Le jeu de référence ne couvre jamais tout. En production, les utilisateurs posent des questions nouvelles. Leurs retours sont la meilleure source de nouveaux cas de test.

Le dispositif peut rester simple : un pouce levé ou baissé sous chaque réponse, avec un champ facultatif pour expliquer. Ce qui compte, c’est ce qu’on fait des retours. Chaque réponse mal notée doit être relue, sa cause identifiée, puis corrigée : document à mettre à jour, passage manquant, consigne à préciser.

L’assistant Céos de l’APDP de Monaco fonctionne ainsi : les visiteurs notent les réponses, et ces retours servent à corriger la base de connaissances. Les cas corrigés rejoignent ensuite le jeu de référence, pour que l’erreur ne revienne pas.

Organiser la revue humaine

Les mesures automatiques ne remplacent pas le regard d’un expert. Prévoyez une revue régulière d’un échantillon de conversations réelles par une personne du métier. Elle repère ce que les chiffres ne voient pas : un ton inadapté, une réponse juste mais incomplète, une question récurrente mal servie.

Pour un agent qui agit, la revue humaine fait partie du fonctionnement lui-même. L’agent prépare une action, par exemple un courriel ou une mise à jour de fiche, et un humain la valide avant qu’elle soit exécutée. Les validations et les refus de l’humain sont aussi une mesure de qualité : un taux de corrections élevé signale un problème.

Écrivez les résultats de chaque revue dans un court compte rendu : ce qui a été vu, ce qui a été corrigé, ce qui reste à faire. Ce document sert aussi de preuve de suivi pour vos équipes conformité.

Un tableau de bord simple pour décider

Quelques indicateurs suffisent pour piloter : la part de réponses correctes sur le jeu de référence, la part de citations justes, le nombre de refus manqués et de refus inutiles, la part de réponses mal notées par les utilisateurs, et le nombre de questions restées sans réponse.

Fixez avec le métier un seuil d’acceptation pour chaque indicateur avant de commencer, pas après avoir vu les résultats. Ce seuil dépend des conséquences d’une erreur dans votre contexte. Il évite les débats sans fin au moment de décider la mise en ligne.

Si vous voulez un agent conçu pour être évalué de cette façon, les agents d’Open Intelligence répondent avec des sources citées, et l’Agent Pilote demande une validation avant d’agir.

Questions fréquemment posées

Combien de questions faut-il dans un jeu de test ?

Il n’existe pas de chiffre universel. Le jeu doit couvrir chaque type de question du périmètre, y compris les cas hors périmètre et les pièges. Commencez avec les questions réelles que vous avez sous la main et enrichissez-le avec les retours de production.

Peut-on faire évaluer un agent IA par une autre IA ?

Oui, un modèle peut comparer une réponse à la réponse attendue et gagner du temps sur de gros volumes. Mais il se trompe aussi. Contrôlez régulièrement ses notes sur un échantillon corrigé par un humain.

Qu’est-ce qu’une hallucination en IA ?

C’est une réponse fausse présentée avec assurance, souvent une information inventée. Elle se produit surtout quand le modèle ne trouve pas l’information et répond quand même. Les tests de refus et la vérification des citations servent à la détecter.

À quelle fréquence faut-il réévaluer un agent IA ?

Avant chaque changement technique, comme un nouveau modèle, une nouvelle consigne ou une nouvelle source. En plus, une revue régulière des conversations réelles permet de repérer les dérives liées à l’évolution des documents et des questions.

Qui doit valider les réponses de référence ?

Un expert du métier concerné, pas l’équipe technique seule. C’est lui qui sait ce qu’est une bonne réponse. Notez son nom et la date de validation pour chaque réponse.

Comment savoir si un agent IA est prêt pour la production ?

Quand il atteint les seuils fixés à l’avance avec le métier sur le jeu de référence, et qu’un groupe d’utilisateurs pilotes l’a testé sur ses vraies questions. Les seuils dépendent des conséquences d’une erreur dans votre contexte.

Passez de la question à la décision

Le moyen le plus rapide de comprendre Open Intelligence est de le voir répondre sur vos propres documents. Décrivez votre besoin : nous revenons vers vous avec une solution sur mesure et un devis chiffré.