Evals d'agents IA : comment définir et mesurer une bonne performance

Un agent IA peut terminer une tâche, produire une réponse convaincante et se tromper malgré tout sur la décision business. Avant de placer cet agent dans un workflow en production, vous avez besoin d'un moyen clair de juger son travail.

Une eval est un test qui vérifie si un agent IA a accompli une tâche correctement, au regard de critères définis pour un bon résultat.

Chez ScopeRight, nous considérons les evals comme une partie du travail de cadrage de la transformation IA. Elles relient ce que le métier attend à ce qu'un agent doit démontrer avant de mériter davantage de responsabilités.

Notre point de départ est simple : si nous ne pouvons pas décrire une bonne performance, nous ne sommes pas prêts à déléguer la tâche.

Que sont les evals d'agents IA ?

Les évaluations d'agents IA, généralement abrégées en « evals », apprécient les réponses, actions ou décisions d'un agent par rapport à un résultat attendu ou à un standard de qualité écrit.

Une eval a besoin d'une tâche, du contexte et des outils dont dispose l'agent, et d'un moyen de juger le résultat. Ce jugement peut venir d'un contrôle automatisé, d'un relecteur expert ou d'un modèle appliquant une grille d'évaluation définie.

Une grille d'évaluation n'est rien d'autre qu'une description écrite de ce à quoi ressemble un bon résultat. Par exemple : utiliser des informations vérifiées, identifier les preuves manquantes et demander une approbation avant de prendre un engagement.

La distinction compte, car le succès technique et le succès business sont deux mesures différentes. Un agent peut réussir à envoyer un e-mail contenant une promesse de livraison sans fondement. L'outil a fonctionné ; la tâche a été mal traitée.

Pourquoi les dirigeants devraient-ils s'intéresser aux evals ?

Les evals rendent les décisions d'automatisation plus factuelles.

Elles aident les équipes à déterminer si un agent est prêt pour un pilot, si un changement améliore son travail et où la relecture humaine reste nécessaire. Elles offrent aussi un point de référence commun aux responsables métier, aux équipes technologiques et aux partenaires de delivery.

C'est particulièrement utile pour comparer des fournisseurs ou des modèles. Une démonstration soignée montre ce qu'un système peut faire dans des conditions choisies. Un jeu d'évaluation convenu teste la façon dont il traite le travail de votre organisation, y compris les cas difficiles.

Les evals contribuent également à protéger le business case. Un agent qui produit des réponses rapidement mais exige des vérifications approfondies peut faire gagner moins de temps que prévu. Les scores de qualité doivent être mis en regard de l'effort de relecture, des reprises, des délais de traitement et des coûts d'exploitation.

Notre approche des evals chez ScopeRight

Notre conviction est que l'évaluation doit commencer pendant le cadrage et se poursuivre tout au long du delivery. Nous organisons cette réflexion autour de cinq questions.

1. À quoi ressemble une tâche réussie ?

Nous partons d'un workflow spécifique et des personnes qui le comprennent.

Pour un agent de support commercial, le succès peut signifier préparer un briefing de compte complet et étayé par des preuves. Pour un agent opérationnel, ce peut être transformer une demande client incomplète en informations exploitables par un employé.

« Précis et utile » est trop vague pour guider une implémentation. Nous devons identifier les informations requises, les hypothèses acceptables, les actions interdites et les conditions d'escalade.

C'est là que le travail aux côtés des employés prend toute son importance. Leurs corrections et leurs exceptions révèlent souvent les standards absents de la documentation des processus.

2. Quels cas l'agent doit-il traiter ?

Un jeu d'évaluation doit refléter le travail que l'agent est censé rencontrer.

Cela inclut les demandes de routine, les informations incomplètes, les cas ambigus et les situations où la bonne action consiste à s'arrêter et à demander de l'aide. Les échecs connus méritent une attention particulière.

Commencez par un jeu gérable et représentatif, et versionnez-le. Conservez un benchmark stable pour les comparaisons, puis ajoutez de nouveaux cas de manière délibérée à mesure que le workflow évolue. Dans la mesure du possible, mettez de côté des cas que l'équipe n'a pas utilisés pour optimiser l'agent, afin que l'évaluation teste davantage que la familiarité avec les exemples.

3. Comment jugerons-nous le résultat ?

Utilisez le contrôle fiable le plus simple pour chaque critère.

Les champs structurés et les règles numériques peuvent souvent être vérifiés automatiquement. Les jugements plus contextuels peuvent nécessiter une grille d'évaluation et une appréciation d'expert. Les relecteurs basés sur un modèle peuvent aider à passer à l'échelle, mais leurs appréciations doivent elles aussi être confrontées au jugement humain.

Prenons un workflow de distributeur à titre d'illustration :

Tâche	Ce que l'eval vérifie
Interpréter une demande de pièces	Les détails requis sont extraits ; les informations manquantes sont signalées
Recommander un produit	La compatibilité est étayée par les preuves disponibles
Préparer un devis	Les prix proviennent d'une source autorisée ; les approbations requises sont respectées
Gérer l'incertitude	L'agent demande des clarifications lorsque les preuves sont insuffisantes

L'évaluation doit récompenser l'escalade appropriée. Une réponse assurée n'est pas toujours une réponse réussie.

4. Quelles preuves justifieraient un pilot ?

Les critères d'acceptation doivent être convenus avant d'examiner les résultats.

Toutes les erreurs n'ont pas les mêmes conséquences. Un problème de mise en forme et un engagement commercial non autorisé ne devraient pas disparaître dans le même score moyen.

Nous privilégions un reporting de la performance par tâche et par type d'échec, avec des limites explicites pour les erreurs critiques. Lorsque des exécutions répétées produisent des résultats différents, cette variabilité compte aussi.

Pour un Minimal Viable Agent — un agent au périmètre volontairement étroit, conçu pour prouver sa valeur dans un workflow réel — l'ambition initiale doit être suffisamment spécifique pour être évaluée correctement. Une tâche bien délimitée facilite la détermination de ce qui peut être automatisé et de ce qui nécessite encore une relecture.

5. Qui est propriétaire du standard après le lancement ?

Le responsable du processus métier doit rester garant de ce qui constitue un travail acceptable. Les équipes technologiques et les partenaires de delivery traduisent ce standard en tests, en monitoring et en décisions de mise en production.

Après le lancement, les corrections des relecteurs, les exceptions et les incidents opérationnels fournissent de nouveaux cas d'évaluation. Capturez suffisamment de contexte pour comprendre ce qui s'est passé, avec des contrôles d'accès et des règles de conservation appropriés.

Lorsque les prompts, les outils, les modèles ou les sources de données changent, relancez les évaluations concernées. Un résultat antérieur n'établit pas la qualité d'un système modifié.

Quel lien entre les evals, la gouvernance IA et le ROI ?

Les evals donnent aux décisions de gouvernance une base factuelle. Elles aident à déterminer quelles actions un agent peut entreprendre, quand une approbation est requise et ce qui déclencherait une pause ou un rollback.

Elles soutiennent aussi la mesure du ROI, mais un score d'eval n'est pas un rendement financier. Un business case a toujours besoin de preuves d'amélioration opérationnelle : moins de temps de traitement, moins d'erreurs, un débit plus rapide ou une capacité accrue, après prise en compte des coûts de relecture et d'exploitation.

Pour les fonds de private equity et leurs sociétés en portefeuille, nous voyons une opportunité d'établir des disciplines d'évaluation communes entre les entreprises, tout en gardant des critères d'acceptation spécifiques à chaque opération. La méthode peut être partagée ; la définition d'un travail correct doit refléter le workflow.

Commencez par le standard que l'agent doit atteindre

Chez ScopeRight, nous pensons qu'une initiative IA correctement cadrée doit rendre trois choses explicites : le résultat qu'elle vise à améliorer, les preuves qui démontreront la qualité et la personne responsable de l'acceptation du résultat.

Les evals relient ces décisions au delivery. Elles transforment l'expertise opérationnelle en critères qui peuvent être testés, challengés et améliorés.

Vous préparez un pilot d'agent IA ? ScopeRight vous aide à définir le workflow, les critères d'acceptation et l'approche de delivery nécessaires pour tester sa valeur en pratique.