Comment évaluer un prestataire d'agents IA avant de signer

Évaluez les prestataires d'agents IA sur leur gestion des échecs, pas sur leur démo. Une démo soignée vous indique seulement que l'agent sait traiter les cinq entrées que l'équipe commerciale a répétées. Elle ne vous dit rien sur ce qui se passe à la sixième entrée, quand un client tape quelque chose d'inattendu, envoie un fichier corrompu, ou demande à l'agent de faire quelque chose qui n'était pas prévu dans le périmètre. Les prestataires qui valent la peine d'être retenus peuvent répondre à cette question en détail. Ceux qui ne le peuvent pas vous présenteront la facture de maintenance plus tard.

Voici la checklist que nous utiliserions si nous étions à la place de l'acheteur.

Architecture et conception

1. Pourquoi avez-vous opté pour un agent plutôt qu'un workflow plus simple ? Les boucles agentiques avec plusieurs appels LLM et des chaînes d'appels d'outils sont plus lentes, plus coûteuses et plus difficiles à déboguer qu'un appel unique bien conçu. Nous l'avons appris directement en construisant notre propre outil d'outreach : notre première version enchaînait quatre étapes (planification, extraction, rédaction, révision), et coûtait plus cher par e-mail que la version à appel unique que nous avons finalement livrée — pour une qualité de rédaction inférieure. Un prestataire doit être en mesure de vous présenter ce même type de raisonnement avant/après pour sa propre architecture, et non se réfugier par défaut dans davantage d'agents parce que « agent » se vend mieux que « script ». Consultez notre analyse du compromis dans agents IA vs. workflows avant le premier appel, pour être en mesure de pousser si la réponse reste vague.

2. Pouvez-vous me montrer la version la plus simple qui fonctionnerait ? Dans notre propre outil d'outreach, nous scrapons le site de chaque prospect avec une instance Firecrawl auto-hébergée et un modèle local, puis nous rédigeons l'e-mail en un seul appel qui extrait les informations pertinentes et formule l'argumentaire simultanément. Nous avons d'abord essayé une chaîne en plusieurs étapes — planification, puis extraction, puis rédaction, puis révision — et cela coûtait plus cher par e-mail tout en produisant une rédaction moins bonne, car chaque étape introduisait sa propre dérive par rapport au contenu source. Si la réponse par défaut d'un prestataire à chaque problème est « plus d'agents, plus d'étapes », c'est le signe qu'il optimise pour une complexité facturable, pas pour votre résultat. Comparez les approches dans appel unique vs. chaînes d'agents.

3. Quels outils et quelles données l'agent a-t-il à sa disposition, et pourquoi ? Chaque outil que l'agent peut appeler représente un périmètre de risque potentiel. Un agent de support capable d'émettre des remboursements a besoin de garde-fous bien plus stricts que celui qui ne peut que rédiger une réponse pour validation humaine. Demandez au prestataire de détailler le modèle de permissions, pas seulement la liste des fonctionnalités.

Qualité et évaluation

4. Comment mesurez-vous si l'agent fonctionne réellement ? « Nous le testons avant le lancement » n'est pas une réponse. Vous voulez un ensemble d'évaluations reproductible : une collection fixe d'entrées réelles (ou réalistes) sur lesquelles le prestataire fait tourner l'agent, avec des critères de réussite/échec sur lesquels vous vous êtes tous les deux accordés. Sans cela, vous faites confiance à des impressions, et les impressions ne tiennent pas quand le fournisseur de modèle déploie une mise à jour silencieuse. Ce point doit figurer dans le contrat, pas seulement dans une promesse verbale, conformément à ce que nous décrivons dans les évaluations dans les contrats avec des prestataires IA.

5. Que se passe-t-il quand l'agent est sûr de lui et qu'il a tort ? Tout système basé sur un LLM produit parfois des réponses sûres d'elles, fluides et erronées. Demandez précisément comment la conception du prestataire détecte ce cas — qu'il s'agisse d'un seuil de confiance qui redirige vers un humain, d'un second modèle qui vérifie le premier, ou de garde-fous codés en dur sur les actions à forts enjeux. Si la réponse est « le modèle est assez précis », continuez à creuser.

6. Puis-je le voir échouer intentionnellement ? Demandez au prestataire de traiter trois entrées de votre choix, en direct, sur le moment, dont au moins une qui devrait être rejetée ou escaladée plutôt qu'à laquelle répondre. Cela prend dix minutes et vous en apprend plus qu'une semaine passée à lire des propositions.

Coût et propriété

7. Quel est le coût unitaire par interaction, et comment évolue-t-il à l'échelle ? Les coûts en tokens, les appels d'outils et les éventuels frais d'API tierces (speech-to-text, recherche, embeddings) doivent être consolidés en un coût par conversation ou par tâche, détaillé étape par étape, pas seulement sous forme d'une moyenne globale. C'est précisément ce niveau de détail qui a mis en lumière le problème dans notre propre outil d'outreach : une fois que nous avons calculé le coût de la chaîne étape par étape, les étapes supplémentaires de planification, extraction et révision ajoutaient visiblement du coût par e-mail sans apporter de qualité — ce qui nous a poussés à revenir à un appel unique. Un prestataire incapable de vous fournir ce même type de décomposition n'a pas réellement soumis son propre système à des tests de charge.

8. À qui appartiennent le code, les prompts et les évaluations à la fin de la mission ? Ce point doit être explicite dans le contrat. Si le prestataire conserve les prompts, l'ensemble d'évaluations ou les poids affinés, vous êtes contraint de le payer pour chaque modification future, quelle que soit l'évolution de la relation.

9. À quoi ressemble le deuxième mois, après le lancement ? Les modèles sont mis à jour, les cas limites émergent et les prompts se désynchronisent de votre produit. Demandez ce que coûte la maintenance continue, qui est disponible pour y répondre, et ce qui est inclus par rapport à ce qui est facturé séparément. Nous avons rédigé une analyse complète dans ce que coûte réellement la maintenance d'un agent IA si vous souhaitez les détails avant de négocier.

10. Prix fixe ou régie, et pourquoi pour ce projet ? Aucun des deux n'est universellement plus sûr. Le prix fixe fonctionne quand la tâche est bien définie et les cas d'échec connus. La régie convient mieux quand vous êtes encore en train de définir ce que « fonctionner » signifie. Un prestataire qui impose un modèle quelle que soit la nature du projet optimise pour son propre risque, pas pour le vôtre. Plus de détails sur ce compromis dans prix fixe vs. régie.

Sécurité et traitement des données

11. Où vont les données clients, et qui d'autre peut y accéder ? Si l'agent appelle une API de modèle tierce, demandez précisément ce qui est envoyé, si cela est utilisé pour l'entraînement, et où cela est journalisé. Ce point est encore plus critique pour tout ce qui touche aux dossiers médicaux, aux données financières ou aux informations personnelles. Parcourez la liste complète dans la checklist de sécurité des agents IA.

12. Quel est le plan de retour arrière si quelque chose tourne mal en production ? Un interrupteur d'arrêt d'urgence, un moyen de rediriger tout le trafic vers un humain, un historique versionné des prompts auquel revenir. Si le prestataire n'y a pas réfléchi, c'est vous qui improviserez lors d'un incident.

Lire la proposition elle-même

Soyez attentif aux mêmes signaux d'alarme que dans tout projet logiciel : périmètre flou, absence de mention sur qui teste quoi, délais qui ne tiennent pas compte des itérations. Les projets d'agents IA amplifient ces risques parce que le résultat est probabiliste — l'ambiguïté dans le contrat devient donc de l'ambiguïté dans le comportement en production.

Trois propositions suffisent généralement pour comparer les choix d'architecture et les philosophies tarifaires sans transformer ce processus en un poste à mi-temps. Posez les mêmes douze questions à chacune, et accordez plus d'attention au prestataire qui répond « ça dépend » en expliquant pourquoi qu'à celui qui présente le deck le plus soigné.

Si vous évaluez des prestataires pour la construction d'un agent IA et souhaitez un second avis sur une proposition, parlons-en.