AI
Coût des tests d'agents IA : ce que les evals ajoutent à votre budget de build
Le coût des tests d'agents IA expliqué aux fondateurs : ce que couvre une suite d'evals, quelle part du budget de build elle doit représenter, et ce qui se passe si vous la zappez.
TL;DR
Prévoyez environ un dixième à un cinquième d'un build d'agent IA pour les evals : un golden set labellisé, un scoring automatisé, et une passe de régression à chaque changement de prompt ou de modèle. Zapper cette étape ne fait pas économiser d'argent, cela déplace les tests vers vos clients.

Le coût des tests d'agents IA se situe généralement entre un dixième et un cinquième du build total, et cet argent achète trois choses : un ensemble labellisé d'inputs réels avec des outputs attendus connus, une méthode pour scorer automatiquement l'agent par rapport à cet ensemble, et l'habitude de relancer ce score avant chaque mise en production d'un changement. Un devis sans ligne pour cela a simplement déplacé les tests vers vos clients, qui les feront pour vous en production, une plainte à la fois.
Ce que couvre réellement le coût des tests d'agents IA
Tester une fonctionnalité web classique consiste à vérifier qu'un input donné produit un output donné, et la réponse est oui ou non. Un agent construit sur un modèle de langage donne une réponse légèrement différente chaque fois, appelle des outils que vous n'aviez pas anticipés, et se dégrade silencieusement lorsque le fournisseur du modèle met quelque chose à jour. Le travail de test prend donc une forme différente, et chacune des trois parties coûte quelque chose de distinct.
Le golden set
Le golden set est une collection d'inputs réels ou réalistes associés à ce à quoi ressemble une réponse correcte. Pour un agent de support, ce sont quelques centaines de tickets réels associés à la réponse qu'un agent senior donnerait. Pour un assistant documentaire, ce sont des questions associées au passage contenant la réponse. Pour un rédacteur de prospection, ce sont des pages de prospects associées aux faits qu'un humain en aurait extraits.
Construire cet ensemble est la partie la plus coûteuse et la plus précieuse du travail. Elle nécessite des personnes connaissant le domaine, ce qui signifie généralement votre équipe plutôt que l'agence. Une bonne agence structurera l'exercice, construira l'interface de labellisation, et vous poussera à inclure les cas difficiles : le ticket ambigu, la page sans tarification, le client qui pose deux questions à la fois. Attendez-vous à ce que cela consomme de réelles heures d'un product owner ou d'un opérateur senior de votre côté. Si une proposition suppose que l'agence peut labelliser seule quelques centaines de vos tickets, voyez-y un signe qu'elle n'a jamais fait cela auparavant.
Le scoring
Une fois le golden set construit, quelque chose doit décider si chaque output de l'agent est acceptable. Il existe trois méthodes, et la plupart des suites les utilisent toutes les trois :
- Les assertions dures. L'agent a appelé l'outil de remboursement avec le bon ID de commande. L'output se parse en JSON valide. La réponse est restée sous la limite de longueur. Ces vérifications sont peu coûteuses, déterministes, et détectent les échecs embarrassants.
- Les vérifications notées par modèle. Un second modèle compare l'output à la réponse de référence et le note selon une grille. C'est ainsi que l'on vérifie le ton, l'exhaustivité et la fidélité à grande échelle. Cela coûte des tokens à chaque passe et nécessite son propre calibrage par rapport au jugement humain, sinon l'évaluateur dérive aussi silencieusement que l'agent.
- La revue humaine d'un échantillon. Quelqu'un lit une tranche des outputs à chaque cycle. Rien d'autre ne détecte le mode d'échec que personne n'avait pensé à transformer en assertion.
Des outils open-source comme promptfoo couvrent la mécanique d'exécution des cas et du scoring. Le travail coûteux se passe avant même d'ouvrir l'outil : s'accorder, cas par cas, sur ce à quoi ressemble une bonne réponse pour votre activité.
La régression à chaque changement
Le troisième composant n'a pas de fichier auquel pointer, ce qui explique pourquoi il disparaît des devis. Tout changement du prompt, du modèle ou des outils de l'agent est scoré par rapport au golden set avant sa mise en production. Si le score baisse, le changement attend. Dans notre propre moteur de prospection, la passe de régression utilise le même ensemble de pages de prospects et la même grille que celle qui a tranché le débat d'architecture décrit plus bas. Un ajustement de prompt qui se lit mieux pour un humain mais score moins bien sur cet ensemble ne part pas en production. C'est cette règle qui transforme une fonctionnalité IA d'une démo ponctuelle en quelque chose que vous pouvez continuer à améliorer sans crainte.
Quelle part du budget de build cela doit représenter
Des règles empiriques issues de nos propres devis, à prendre comme avis plutôt que comme données d'enquête :
- Un agent interne à faible enjeu (résumer des notes de réunion, rédiger des premières réponses qu'un humain relit toujours) peut se contenter d'un petit golden set et principalement d'assertions dures. Prévoyez environ un dixième du build.
- Un agent orienté client sans humain dans la boucle (un agent de vente WhatsApp, un bot de support en self-service) nécessite un scoring noté par modèle et un échantillon de revue humaine. Prévoyez plutôt un cinquième.
- Un agent qui touche à l'argent, à la santé ou à des conséquences juridiques devrait avoir sa suite d'evals définie et tarifée comme un livrable de premier rang, avec le seuil d'acceptation inscrit dans le contrat. Nous avons détaillé comment rédiger cette clause dans les evals dans les contrats de vendeurs IA.
Au-delà du build, il y a un coût récurrent : des tokens pour chaque passe de régression, et quelques heures par mois pour une personne qui lit l'échantillon de revue humaine et ajoute de nouveaux cas d'échec à l'ensemble. Pour la plupart des agents, ce coût est faible comparé au coût d'exécution de l'agent lui-même, que nous avons détaillé dans ce que coûte un agent IA par tâche.
Les evals s'amortissent pendant le build, pas seulement après
Le cadrage courant est que les evals sont une assurance contre les régressions. C'est vrai, mais le premier retour sur investissement arrive généralement avant le lancement, quand la suite tranche les débats d'architecture avec des chiffres plutôt qu'avec des opinions.
Nous l'avons constaté dans notre propre moteur de prospection. Il scrape le site web de chaque prospect avec un crawler auto-hébergé, exécute un modèle local sur le résultat, et rédige un email personnalisé par entreprise. La conception naturelle était une chaîne : une étape pour extraire les faits sur l'entreprise, une autre pour choisir un angle, une troisième pour rédiger. Nous avons aussi construit la version plus simple, où un seul appel lit la page et rédige l'email directement, et nous avons scoré les deux versions sur le même ensemble de pages de prospects avec la même grille. L'appel unique a gagné en qualité et en coût. Sans l'ensemble d'evals, la chaîne aurait été mise en production, car elle paraissait plus approfondie et toute l'équipe la préférait par principe. Nous avons écrit plus en détail sur cette comparaison dans appel unique vs chaînes d'agents.
C'est le schéma à attendre. La suite d'evals transforme un « je pense que la version multi-étapes est meilleure » en tableau, et le tableau est souvent surprenant.
Ce que coûte réellement de zapper cette étape
Zapper les evals produit rarement une panne le jour du lancement. Les dégâts arrivent sur plusieurs mois et se traduisent en effectifs.
L'agent est lancé après une semaine de tests manuels à l'aveugle et paraît correct. Trois semaines plus tard, quelqu'un ajuste le system prompt pour corriger une plainte, et un comportement différent casse silencieusement. Personne ne le remarque pendant un mois parce que personne ne mesure rien. Le fournisseur du modèle publie une mise à jour et la qualité des réponses change. Votre équipe commence à se méfier de l'agent, ajoute une étape de revue humaine censée être temporaire, et l'économie qui justifiait le projet disparaît. Finalement, quelqu'un propose une refonte complète.
Notre moteur de prospection aurait suivi une version de ce chemin. La chaîne à trois étapes aurait été mise en production sur la foi de quelques exemples lus à la main, aurait coûté plus par email que l'appel unique, et personne n'aurait su que la conception plus simple était meilleure jusqu'à ce que quelqu'un l'essaie par hasard. Chacune de ces étapes est un coût qui n'apparaît jamais sur le devis initial, et c'est pourquoi la version sans evals paraît moins chère. Le passage du pilote à la production, que nous avons décrit dans amener un agent IA du pilote à la production, est en grande partie le travail qui consiste à rendre le changement sûr, et les evals en constituent la majeure partie.
Ce qu'il faut demander dans un devis
Lorsque vous comparez des propositions pour un agent IA, ces questions distinguent les agences qui ont fait tourner des agents en production de celles qui ont construit des démos :
- Quelle sera la taille du golden set, et qui le labellise ? Une réponse réelle mentionne un nombre de cas et un processus de labellisation impliquant votre équipe.
- Quel est le seuil d'acceptation, et comment est-il mesuré ? Vous voulez un score, une grille, et une indication de ce qui se passe si le seuil n'est pas atteint.
- Qu'est-ce qui est retesté quand le prompt ou le modèle change ? La réponse doit être « tout, automatiquement », et vous devriez demander à voir le script qui fait cela.
- Où vont les nouveaux cas d'échec ? Les erreurs en production doivent alimenter en retour le golden set. S'il n'y a pas de chemin pour cela, la suite finira par pourrir.
- À quoi ressemble le coût récurrent ? Dépense en tokens par passe de régression et heures par mois pour la revue humaine.
Une agence qui répond à ces questions avec aisance a probablement déjà été échaudée par un agent non testé, ce qui est exactement l'expérience que vous payez. Si les réponses sont vagues, lisez notre guide sur comment évaluer la démo d'une agence IA avant de signer quoi que ce soit.
Si vous définissez le périmètre d'un agent et souhaitez que le travail d'evals soit tarifé honnêtement aux côtés du build, parlons-en.
Questions fréquentes
Combien doit coûter le test d'un agent IA par rapport au build ?
Pour un agent en production classique, prévoyez 10 à 20 % du budget de build pour les evals, plus un petit coût récurrent pour les passes de régression. Les agents qui prennent des décisions ayant des conséquences financières ou médicales se situent en haut de cette fourchette, voire au-delà.
Peut-on zapper les evals et simplement tester l'agent manuellement avant le lancement ?
Les tests manuels détectent les échecs évidents, une fois. Ils ne peuvent pas vous dire si le prochain ajustement de prompt ou la prochaine mise à jour de modèle a cassé quelque chose, ce qui est pourtant la source de la plupart des incidents en production. Une suite d'evals est ce qui rend le changement sûr après le lancement.
Qui construit le golden set, l'agence ou nous ?
Les deux. L'agence structure et score le golden set, mais les exemples et la définition d'une bonne réponse doivent venir de votre équipe, car seuls vous savez à quoi ressemble une bonne réponse pour votre client.
Avons-nous besoin d'un outil ou d'une plateforme d'evals dédiée ?
En général, pas au départ. Un dossier de cas de test, un script qui les exécute contre l'agent, et une étape de scoring suffisent pour la plupart des équipes. Achetez une plateforme une fois que plusieurs personnes ont besoin de lire et de modifier les résultats.
Comment Pykero peut aider
Services liés à cet article.
Vous construisez quelque chose de similaire ?
Pykero Agency conçoit et livre des produits web, mobiles, SaaS et IA prêts pour la production.
Parlons-en


