AI
Costo dei test per AI agent: cosa aggiungono gli evals al budget di sviluppo
Il costo dei test per AI agent spiegato ai founder: cosa comprende una suite di evals, quanta parte del budget di sviluppo dovrebbe occupare e cosa succede se la si salta.
TL;DR
Per gli evals mettete a budget circa un decimo o un quinto del costo di sviluppo di un AI agent: un golden set etichettato, uno scoring automatico e un test di regressione a ogni modifica di prompt o modello. Saltare questo passaggio non fa risparmiare: sposta il test sui vostri clienti.

Il costo dei test per AI agent di solito si colloca tra un decimo e un quinto del budget totale di sviluppo, e quella spesa compra tre cose: un set etichettato di input reali con output corretti noti, un modo per valutare l'agent rispetto a quel set in modo automatico e l'abitudine di ripetere quella valutazione prima di ogni rilascio di modifiche. Un preventivo senza una voce per questo ha semplicemente spostato il testing sui vostri clienti, che lo eseguiranno per voi in produzione, un reclamo alla volta.
Cosa comprende davvero il costo dei test per AI agent
Testare una normale funzionalità web significa verificare che un dato input produca un dato output, e la risposta è sì o no. Un agent costruito su un modello linguistico dà una risposta leggermente diversa ogni volta, chiama tool che non avevate previsto e si degrada silenziosamente quando il fornitore del modello aggiorna qualcosa. Il lavoro di test ha quindi una forma diversa, e ciascuna delle tre componenti ha un costo distinto.
Il golden set
Il golden set è una raccolta di input reali o realistici accoppiati a come dovrebbe essere una risposta corretta. Per un agent di supporto, significa qualche centinaio di ticket reali con la risposta che darebbe un agente senior. Per un assistente documentale, sono domande accoppiate al passaggio di testo che contiene la risposta. Per uno strumento di outreach, sono pagine di prospect accoppiate ai fatti che un umano ne avrebbe estratto.
Costruire questo set è la parte più costosa e più preziosa del lavoro. Richiede persone che conoscano il dominio, il che di solito significa il vostro team più che l'agenzia. Una buona agenzia struttura l'esercizio, costruisce l'interfaccia di etichettatura e vi spinge a includere i casi scomodi: il ticket ambiguo, la pagina senza prezzi, il cliente che chiede due cose insieme. Aspettatevi che questo richieda ore reali di un product owner o di un operatore senior del vostro team. Se una proposta assume che l'agenzia possa etichettare da sola qualche centinaio dei vostri ticket, consideratelo un segnale che non l'ha mai fatto prima.
Lo scoring
Una volta che avete il golden set, qualcosa deve decidere se ogni output dell'agent è accettabile. Ci sono tre modi per farlo, e la maggior parte delle suite li usa tutti:
- Asserzioni hard. L'agent ha chiamato il tool di rimborso con l'order ID corretto. L'output è un JSON valido. La risposta è rimasta sotto il limite di lunghezza. Questi controlli sono economici, deterministici e individuano i fallimenti più imbarazzanti.
- Controlli valutati da un modello. Un secondo modello confronta l'output con la risposta di riferimento e lo valuta secondo una rubrica. È così che si verifica il tono, la completezza e la fedeltà su larga scala. Costa token a ogni esecuzione e richiede una propria calibrazione rispetto al giudizio umano, altrimenti il valutatore deriva tanto silenziosamente quanto l'agent.
- Revisione umana di un campione. Qualcuno legge una fetta degli output a ogni ciclo. Niente altro intercetta il tipo di fallimento che nessuno aveva pensato di tradurre in un'asserzione.
Strumenti open source come promptfoo coprono la meccanica dell'esecuzione dei casi e della valutazione. Il lavoro costoso avviene prima di aprire lo strumento: concordare, caso per caso, come dovrebbe essere una buona risposta per il vostro business.
La regressione a ogni modifica
La terza componente non ha un file a cui potete puntare, ed è per questo che manca spesso nei preventivi. Qualsiasi modifica al prompt, al modello o ai tool dell'agent viene valutata rispetto al golden set prima del rilascio. Se il punteggio scende, la modifica resta in attesa. Nel nostro motore di outreach, il test di regressione usa lo stesso set di pagine di prospect e la stessa rubrica che abbiamo usato per chiudere la discussione sull'architettura descritta più sotto. Una modifica al prompt che a un umano sembra migliore ma che sul set ottiene un punteggio peggiore non viene rilasciata. Questa regola è ciò che trasforma una feature di AI da una demo isolata in qualcosa che potete continuare a migliorare senza paura.
Quanta parte del budget di sviluppo dovrebbe occupare
Regole empiriche tratte dai nostri stessi preventivi, offerte come opinione e non come dato di un'indagine:
- Un agent interno a basso rischio (riassumere note di riunione, scrivere prime bozze di risposta che un umano rivede sempre) può accontentarsi di un golden set piccolo e per lo più asserzioni hard. Mettete a budget circa un decimo dello sviluppo.
- Un agent rivolto al cliente senza un umano nel loop (un sales agent su WhatsApp, un bot di supporto self-serve) richiede scoring valutato da un modello e un campione di revisione umana. Mettete a budget circa un quinto.
- Un agent che tocca esiti economici, sanitari o legali dovrebbe avere la propria suite di evals definita e quotata come deliverable di primo livello, con la soglia di accettazione scritta nel contratto. Abbiamo spiegato come scrivere quella clausola in evals nei contratti con fornitori AI.
Oltre al costo di sviluppo, c'è un costo ricorrente: token per ogni test di regressione e qualche ora al mese di qualcuno che legge il campione di revisione umana e aggiunge nuovi casi di fallimento al set. Per la maggior parte degli agent questo è piccolo rispetto al costo operativo dell'agent stesso, che abbiamo scomposto in quanto costa un AI agent per task.
Gli evals si ripagano durante lo sviluppo, non solo dopo
L'inquadramento comune è che gli evals siano un'assicurazione contro le regressioni. Lo sono, ma il primo ritorno di solito arriva prima del lancio, quando la suite risolve le discussioni di architettura con numeri invece che opinioni.
Lo abbiamo visto nel nostro motore di outreach. Esegue lo scraping del sito di ogni prospect con un crawler self-hosted, passa il risultato a un modello locale e scrive un'email personalizzata per ogni azienda. Il design naturale era una catena: uno step per estrarre i fatti sull'azienda, un altro per scegliere l'angolo, un terzo per scrivere la bozza. Abbiamo costruito anche la versione più semplice, in cui una singola chiamata legge la pagina e scrive l'email direttamente, e abbiamo valutato entrambe sullo stesso set di pagine di prospect con la stessa rubrica. La singola chiamata ha vinto sia in qualità che in costo. Senza il set di evals, la catena sarebbe stata rilasciata, perché sembrava più accurata e tutti nel team la preferivano in linea di principio. Abbiamo scritto più su quel confronto in single call vs catene di agent.
Questo è lo schema da aspettarsi. La suite di evals trasforma "penso che la versione multi-step sia migliore" in una tabella, e la tabella è spesso sorprendente.
Cosa costa davvero saltarli
Saltare gli evals raramente produce un'interruzione il giorno del lancio. Il danno arriva nel corso di mesi e si manifesta come costo di personale.
L'agent viene rilasciato dopo una settimana di verifiche manuali e sembra funzionare bene. Tre settimane dopo qualcuno modifica il system prompt per risolvere un reclamo, e un comportamento diverso si rompe silenziosamente. Nessuno se ne accorge per un mese perché nessuno sta misurando. Il fornitore del modello rilascia un aggiornamento e la qualità delle risposte cambia. Il vostro team comincia a non fidarsi più dell'agent, aggiunge uno step di revisione umana che doveva essere temporaneo, e l'economia che giustificava il progetto svanisce. Alla fine qualcuno propone un rifacimento da zero.
Il nostro motore di outreach avrebbe seguito una versione di questo percorso. La catena a tre step sarebbe stata rilasciata sulla base di qualche esempio letto a mano, avrebbe costato più per email rispetto alla singola chiamata, e nessuno avrebbe saputo che il design più semplice era migliore finché qualcuno non avesse provato per caso. Ognuno di questi passaggi è un costo che non appare mai nel preventivo iniziale, ed è per questo che la versione senza evals sembra più economica. Il passaggio dal pilot alla produzione, che abbiamo descritto in portare un AI agent dal pilot alla produzione, è per lo più il lavoro di rendere sicuro il cambiamento, e gli evals sono la parte più consistente di quel lavoro.
Cosa chiedere in un preventivo
Quando confrontate proposte per un AI agent, queste domande separano le agenzie che hanno portato agent in produzione da quelle che hanno costruito solo demo:
- Quanto sarà grande il golden set, e chi lo etichetta? Una risposta vera indica un numero di casi e un processo di etichettatura che coinvolge il vostro team.
- Qual è la soglia di accettazione, e come viene misurata? Volete un punteggio, una rubrica e una dichiarazione su cosa succede se la soglia non viene raggiunta.
- Cosa viene ritestato quando cambia il prompt o il modello? La risposta dovrebbe essere "tutto, automaticamente", e dovreste chiedere di vedere lo script che lo fa.
- Dove finiscono i nuovi casi di fallimento? Gli errori in produzione dovrebbero rientrare nel golden set. Se non c'è un percorso per farlo, la suite si degraderà.
- Come è fatto il costo ricorrente? Spesa in token per ogni test di regressione e ore al mese per la revisione umana.
Un'agenzia che risponde a queste domande con fluidità probabilmente è già stata scottata da un agent non testato, ed è esattamente l'esperienza che state pagando. Se le risposte sono vaghe, leggete la nostra guida su come valutare la demo di un'agenzia AI prima di firmare qualsiasi cosa.
Se state definendo l'ambito di un agent e volete che il lavoro sugli evals sia quotato onestamente insieme allo sviluppo, parliamone.
Domande frequenti
Quanto dovrebbe costare il testing di un AI agent rispetto allo sviluppo?
Per un agent di produzione tipico, mettete a budget tra il 10 e il 20 percento del costo di sviluppo per gli evals, più un piccolo costo ricorrente per i test di regressione. Gli agent che prendono decisioni con conseguenze economiche o sanitarie si collocano alla parte alta di quel range, o anche oltre.
Possiamo saltare gli evals e testare l'agent manualmente prima del lancio?
Il test manuale individua i fallimenti più evidenti, ma solo una volta. Non vi dice se la prossima modifica al prompt o l'aggiornamento del modello hanno rotto qualcosa, e questo è il punto di origine della maggior parte degli incidenti in produzione. Una suite di evals è ciò che rende sicuro un cambiamento dopo il lancio.
Chi costruisce il golden set, l'agenzia o noi?
Entrambi. L'agenzia struttura e valuta il golden set, ma gli esempi e la definizione di risposta corretta devono venire dal vostro team, perché solo voi sapete come dovrebbe essere una buona risposta per il vostro cliente.
Serve uno strumento o una piattaforma dedicata per gli evals?
All'inizio, di solito no. Una cartella di test case, uno script che li esegue contro l'agent e un passaggio di scoring bastano per la maggior parte dei team. Conviene acquistare una piattaforma solo quando più persone devono leggere e modificare i risultati.
Come può aiutare Pykero
Servizi collegati a questo articolo.
State costruendo qualcosa di simile?
Pykero Agency progetta e rilascia prodotti web, mobile, SaaS e AI pronti per la produzione.
Parliamone


