AI
Cosa Richiedere nel Contratto con un Vendor AI: Una Clausola sugli Eval
Prima di firmare con un vendor AI, inserite nel contratto una clausola sugli eval. Ecco cosa chiedere, quanto costa e perché è importante.
TL;DR
Prima di pagare un vendor AI, chiedetegli di mostrarvi la suite di eval: un insieme di test ripetibile e misurato che dimostra che il sistema funziona sui vostri dati, non solo in una demo. Se non riescono a produrla, state acquistando un prototipo, non un prodotto.

Se il vostro vendor AI non riesce a mostrarvi un insieme di test con punteggi eseguito su casi che il sistema non ha mai visto prima, state acquistando un prototipo. Chiedete gli eval prima di firmare, non dopo aver ricevuto la fattura.
I founder e i CTO che valutano vendor AI sono diventati abbastanza bravi a riconoscere una demo preparata. Quello che i più non hanno ancora capito è come distinguere un sistema che funziona perché è stato esercitato da uno che funziona perché è stato testato. Gli eval sono il meccanismo che separa queste due situazioni, e chiederli è la cosa più utile che possiate fare durante un processo di selezione di un vendor.
Cosa sono concretamente gli eval
Un eval è un insieme fisso di input: domande reali, documenti reali, casi limite reali del vostro settore, abbinati a output attesi e valutati. Lo si esegue automaticamente ogni volta che il prompt, il modello o la logica di recupero sottostante cambia. Invece di "sembrava funzionare quando l'ho provato", si ottiene un numero: l'87% dei casi supera il test, rispetto al 74% dello sprint precedente.
Non si tratta di strumenti esotici. OpenAI ha rilasciato in open source un framework base esattamente per questo nel 2023 (openai/evals), e ogni studio AI serio ne ha costruito una versione da allora. Il concetto precede gli LLM di molto. È il testing automatizzato applicato a un sistema i cui modi di fallire sono probabilistici piuttosto che deterministici.
Questa distinzione conta più qui che in una tipica applicazione web. Un endpoint REST restituisce il JSON corretto oppure no. Una funzionalità LLM può restituire una risposta sbagliata ma plausibile nel 15% dei casi, e una demo di dieci prompt scelti con cura non lo rivelerà mai. Gli eval sono l'unico modo per vedere il tasso di errore prima che lo vedano i vostri clienti.
Perché questo è un problema del committente, non solo degli ingegneri
Se state acquistando un chatbot personalizzato, un sistema di supporto basato su RAG o un flusso di lavoro agentivo, il pitch del vendor vi mostrerà sempre il percorso ideale. Non è disonesto. Semplicemente non è un'informazione.
Le domande che riducono davvero il rischio dell'acquisto:
- Quanti casi contiene il vostro insieme di eval e da dove provengono?
- Qual è il tasso di superamento attuale e qual è l'andamento nell'ultimo mese?
- Cosa succede al punteggio degli eval quando cambiate modello o modificate il prompt?
- Rieseguite gli eval prima di ogni deploy o solo quando qualcosa si rompe?
Un vendor che ha questa strumentazione risponderà con numeri. Chi non ce l'ha risponderà con aggettivi: "è davvero solido", "l'abbiamo testato molto". Questo è il segnale.
Cosa inserire nel contratto
Trattate gli eval come trattereste la copertura dei test in un normale capitolato software: come una consegna, non come una cortesia.
Dimensione minima e composizione dell'insieme di eval. Per la maggior parte dei prodotti AI a singola funzionalità, 50-150 casi tratti da dati reali o realistici è una soglia ragionevole. Un bot di supporto ha bisogno di casi derivati da ticket passati reali, non da domande sintetiche inventate dal vendor.
Una soglia di superamento concordata prima dell'inizio dello sviluppo. L'80% potrebbe essere accettabile per uno strumento interno. Una funzionalità rivolta ai clienti, o qualsiasi cosa riguardi dati sanitari o soggetti a conformità normativa, richiede un livello più alto e una revisione umana dei casi falliti, non solo del punteggio.
Un requisito di riesecuzione. Ogni aggiornamento di versione del modello, modifica al prompt o cambiamento nella logica di recupero dovrebbe attivare lo stesso insieme di eval. Le regressioni silenziose sono il modo più comune in cui "funzionava nella demo" diventa "si è rotto in produzione tre settimane dopo il lancio".
La proprietà dell'insieme di eval alla consegna. Al termine dell'ingaggio dovreste essere proprietari dei casi di test e della logica di valutazione, non solo della funzionalità consegnata. Se il vendor si rifiuta di cederli, tenetene conto nella conversazione di definizione del perimetro prima di firmare qualsiasi cosa.
Un breve allegato contrattuale è sufficiente: dimensione dell'insieme di eval, soglia di superamento, trigger di riesecuzione e chi possiede la suite di test al termine. Niente di elaborato.
Quanto costa e perché vale la pena
Costruire una suite di eval iniziale aggiunge tipicamente circa il 10-15% al costo della funzionalità AI stessa: tempo dedicato alla raccolta di casi rappresentativi, alla stesura della rubrica di valutazione (o all'integrazione di un LLM-as-judge per gli output aperti) e all'integrazione della suite nella CI in modo che venga eseguita a ogni modifica. È una voce di costo reale, e un vendor che offre uno sviluppo AI sorprendentemente rapido e sorprendentemente economico spesso la sta tacitamente saltando.
L'alternativa è più costosa. Il costo reale di un AI MVP non è solo lo sviluppo: include la scoperta post-lancio che il sistema fallisce su 1 domanda reale su 5, seguita da una rearchitettura sotto pressione mentre i clienti ricevono già risposte sbagliate. Gli eval spostano questa scoperta a prima del lancio, quando è una conversazione in code review anziché un incidente.
I segnali d'allarme
Quando un vendor risponde a "mostratemi i vostri eval" con una demo invece che con una dashboard, non ha ancora un sistema testato. Sareste voi a scoprire dove si rompe. Lo stesso istinto vale per la maggior parte degli altri segnali d'allarme in un ingaggio software: chiedete prove, non sicurezza.
Valutare i vendor AI non è fondamentalmente diverso dal valutare qualsiasi altro partner software. State cercando prove di rigore. Gli eval sono semplicemente il punto in cui quel rigore emerge specificamente nel lavoro con l'AI, e sono abbastanza economici da richiedere che un vendor serio non abbia buone ragioni per opporsi.
Se state definendo il perimetro di una funzionalità AI e cercate un partner che costruisca la suite di eval insieme alla funzionalità, non dopo che qualcosa si rompe, parliamone.
Domande frequenti
Cos'è un eval per un LLM, in parole semplici?
È un insieme fisso di input di test con output attesi e valutati, eseguito automaticamente ogni volta che il prompt, il modello o la logica di recupero cambiano, così si ottiene un punteggio invece di un'impressione.
Come faccio a sapere se un'agenzia ha davvero testato il suo sistema prima di consegnarlo?
Chiedete di vedere l'insieme degli eval e la cronologia dei punteggi. Un vendor con eval reali può mostrarvi un numero cresciuto nel tempo. Uno senza ve ne mostrerà una demo video.
Gli eval dovrebbero essere una consegna contrattuale piuttosto che una semplice pratica interna?
Sì. Specificate una dimensione minima dell'insieme di eval, una soglia di superamento e un requisito di riesecuzione a ogni modifica del modello o del prompt, esattamente come fareste per la copertura dei test in un normale progetto software.
Quanto incide la costruzione di una suite di eval sul costo del progetto?
Preventivate circa il 10-15% del costo di sviluppo della funzionalità AI per un insieme iniziale di 50-150 casi. È meno costoso che scoprire una funzionalità soggetta ad allucinazioni dopo che ha già raggiunto i clienti.
Come può aiutare Pykero
Servizi collegati a questo articolo.
State costruendo qualcosa di simile?
Pykero Agency progetta e rilascia prodotti web, mobile, SaaS e AI pronti per la produzione.
Parliamone


