AI
AI Agent Vendor Evaluation: 12 domande prima di firmare
Prima di assumere qualcuno per sviluppare un AI agent, ponga queste 12 domande su architettura, valutazione, costi e proprietà del codice. Una checklist pratica per founder e CTO.
TL;DR
Valuti i fornitori di AI agent in base a come gestiscono i casi di errore, non alla loro demo. Ponga domande sull'architettura, la metodologia di valutazione, la gestione dei dati e chi possiede il sistema alla fine del contratto.

Valuti i fornitori di AI agent in base a come gestiscono i fallimenti, non alla loro demo. Una demo curata dice solo che l'agent sa gestire i cinque input che il team commerciale ha provato in anticipo. Non dice nulla su cosa succede al sesto input, quando un utente scrive qualcosa di inaspettato, carica un file malformato o chiede all'agent di fare qualcosa che non rientra nel perimetro definito. I fornitori che vale la pena assumere sanno rispondere a questa domanda in dettaglio. Quelli che non sanno farlo le presenteranno il conto della manutenzione più avanti.
Questa è la checklist che utilizzeremmo se fossimo dalla parte dell'acquirente.
Architettura e design
1. Perché avete scelto un agent invece di un workflow più semplice?
I loop agentici con più chiamate LLM e catene di tool-calling sono più lenti, più costosi e più difficili da debuggare rispetto a una singola chiamata ben strutturata. Un fornitore dovrebbe saper spiegare le ragioni della propria scelta architetturale, non ricorrere per default a "più agent" perché si vende meglio di "script". Legga AI agent vs. workflow prima della prima chiamata, così potrà contestare se la risposta è vaga.
2. Può mostrarmi la versione più semplice che funzionerebbe?
Le catene multi-step introducono deriva. Ogni passaggio è un'occasione in più per il modello di allontanarsi dal materiale di partenza, e ogni passaggio costa token. Se la risposta predefinita del fornitore a qualsiasi problema è più passaggi e più agent, è un segnale che sta ottimizzando per la complessità fatturabile, non per il suo risultato. Confronti il trade-off in singola chiamata vs. catene agentiche.
3. A quali strumenti e dati ha accesso l'agent, e perché?
Ogni strumento che l'agent può invocare è un potenziale raggio d'impatto in caso di errore. Un support agent che può emettere rimborsi ha bisogno di guardrail più rigidi rispetto a uno che può solo preparare una bozza di risposta per la revisione umana. Chieda al fornitore di illustrare il modello dei permessi, non solo la lista delle funzionalità.
Qualità e valutazione
4. Come misurate se l'agent funziona davvero?
"Lo testiamo prima del lancio" non è una risposta. Serve un eval set ripetibile: una raccolta fissa di input reali o realistici, eseguiti sull'agent, con criteri pass/fail concordati prima di iniziare il lavoro. Senza questo, ci si affida all'intuizione, e l'intuizione non regge quando il provider del modello rilascia un aggiornamento silenzioso. Questo deve stare nel contratto, non in una promessa verbale. Veda gli eval nei contratti con fornitori AI.
5. Cosa succede quando l'agent è sicuro ma sbaglia?
Ogni sistema basato su LLM produce a volte risposte sicure, fluenti e sbagliate. Chieda specificamente come il design del fornitore individua questi casi: una soglia di confidenza che instrada verso un umano, un secondo modello che verifica il primo, guardrail hard-coded sulle azioni ad alto rischio. Se la risposta è "il modello è abbastanza preciso", continui a chiedere.
6. Posso vederlo fallire di proposito?
Chieda al fornitore di eseguire tre input scelti da lei, dal vivo, sul momento, incluso almeno uno che dovrebbe essere rifiutato o escalato piuttosto che risposto. Bastano dieci minuti e dice più di una settimana di lettura di proposte.
Costo e proprietà
7. Qual è il costo unitario per interazione e come scala?
I costi dei token, le chiamate agli strumenti e le tariffe API di terze parti (speech-to-text, ricerca, embeddings) dovrebbero confluire in un valore per conversazione o per task, dettagliato per ogni passaggio. Una media aggregata nasconde dove si spreca. Un fornitore che non sa fornire questo dettaglio non ha davvero effettuato load test sul proprio sistema.
8. Chi possiede il codice, i prompt e gli eval alla fine dell'incarico?
Deve essere esplicito nel contratto. Se il fornitore trattiene i prompt, l'eval set o qualsiasi peso fine-tuned, si ritroverà a pagarli per ogni modifica futura, indipendentemente dall'andamento del rapporto.
9. Come si presenta il secondo mese, dopo il lancio?
I modelli vengono aggiornati, emergono casi limite e i prompt si desincronizzano dal prodotto. Chieda quanto costa la manutenzione continuativa, chi se ne occupa e cosa è incluso rispetto a ciò che viene fatturato a parte. Quanto costa davvero la manutenzione di un AI agent contiene i dettagli utili da conoscere prima di negoziare.
10. Prezzo fisso o tempo e materiali, e perché per questo progetto?
Nessuno dei due è universalmente più sicuro. Il prezzo fisso funziona quando il task è ben definito e i modi di fallimento sono noti. Tempo e materiali si adatta meglio quando si sta ancora scoprendo cosa significa "funzionante". Un fornitore che spinge per un solo modello indipendentemente dalla forma del progetto sta ottimizzando per il proprio rischio, non per il suo. Approfondisca il trade-off in prezzo fisso vs. tempo e materiali.
Sicurezza e gestione dei dati
11. Dove vanno i dati dei clienti e chi può vederli?
Se l'agent chiama un'API di modello di terze parti, chieda esattamente cosa viene inviato, se viene utilizzato per il training e dove viene registrato. Questo è ancora più importante per tutto ciò che riguarda dati sanitari, dati finanziari o PII. Consulti la lista completa nella checklist di sicurezza per AI agent.
12. Qual è il piano di rollback se qualcosa va storto in produzione?
Un kill switch, un modo per instradare tutto verso un umano, una cronologia versionata dei prompt su cui fare rollback. Se il fornitore non ci ha pensato, sarà lei a improvvisare durante un incidente.
Come leggere la proposta
Presti attenzione agli stessi segnali d'allarme presenti in qualsiasi progetto software: scope vago, nessun riferimento a chi testa cosa, timeline senza spazio per l'iterazione. I progetti di AI agent amplificano questi rischi perché l'output è probabilistico. L'ambiguità nel contratto diventa ambiguità nel comportamento in produzione.
Tre proposte di solito bastano per confrontare le scelte architetturali e la filosofia di pricing. Ponga le stesse dodici domande a ciascuno, e presti più attenzione al fornitore che dice "dipende" e spiega perché rispetto a quello con la presentazione più curata.
Se sta valutando fornitori per lo sviluppo di un AI agent e vuole un secondo parere su una proposta, parliamone.
Domande frequenti
Qual è il principale segnale d'allarme nella valutazione di un fornitore di AI agent?
Un fornitore che non sa spiegare cosa succede quando l'agent sbaglia. Se la demo mostra solo il percorso ideale e nessuno sa descrivere il piano di emergenza, si aspetti brutte sorprese dopo il lancio.
Dovrei scegliere il fornitore con la demo più impressionante?
No. Le demo sono ottimizzate per un set ristretto di input predefiniti. Chieda di vedere l'agent gestire tre input scelti da lei sul momento, incluso almeno uno che dovrebbe fallire in modo controllato.
Quante proposte dovrei richiedere?
Tre di solito bastano per confrontare architettura e approccio ai prezzi senza trasformare il processo di selezione in un secondo lavoro.
Un contratto a prezzo fisso è più sicuro di uno a tempo e materiali per lo sviluppo di un AI agent?
Non necessariamente. Il comportamento degli agent è probabilistico, quindi lo scope tende a cambiare una volta visti i risultati reali. Scelga il tipo di contratto in base a quanto è definito il task, non a quello che sembra più sicuro sulla carta.
Come può aiutare Pykero
Servizi collegati a questo articolo.
State costruendo qualcosa di simile?
Pykero Agency progetta e rilascia prodotti web, mobile, SaaS e AI pronti per la produzione.
Parliamone


