Il Tuo Agente AI Dovrebbe Citare le Fonti?

Sì, se un essere umano agirà su quanto dice l'agente senza verificarlo ulteriormente. Un agente in grado di indicare esattamente quale pagina, record o documento giustifica ogni affermazione è qualcosa che puoi verificare, correggere e presentare con fiducia a un cliente. Un agente che non lo fa è un'ipotesi ben formulata, e il costo di quell'ipotesi ricade sul tuo team, non sul modello.

La domanda che i founder si pongono davvero non è se la provenienza sia utile. È dove vale la pena pagarla, quanto costa e come inserirla in un progetto in modo che non venga silenziosamente eliminata quando le scadenze si avvicinano.

Cosa significa davvero "citare le fonti" in un agente

Le persone intendono tre cose molto diverse con questa espressione, e i vendor le confondono deliberatamente.

• Citazioni tramite prompt. Dici al modello "cita le tue fonti" e lui scrive riferimenti plausibili. Sono testo, non link a qualcosa che il sistema ha verificato. Falliscono silenziosamente.
• Citazioni ancorate. Il sistema recupera passaggi specifici, li passa al modello con ID stabili, e il modello fa riferimento a quegli ID. Il sistema poi mappa gli ID verso i documenti reali. Questa è la vera provenienza ed è ciò che un RAG fatto bene ti offre.
• Citazioni verificate. Dopo la generazione, un controllo conferma che ogni passaggio citato supporti effettivamente la frase a cui è associato. Questa è la forma più robusta ed è quella che vuoi in contesti regolamentati o ad alto rischio.

Se una demo mostra citazioni, chiedi quale delle tre stai guardando. Se la risposta è la prima, la funzionalità non esiste ancora.

Dove la provenienza ripaga l'investimento

Output che una persona invia o firma

Outreach commerciale, proposte, risposte all'assistenza e tutto ciò che porta il nome della tua azienda. Quando un commerciale preme "invia" su un'email bozza dall'agente che contiene un dettaglio inventato sul prospect, perdi il lead e un po' di reputazione.

Nel nostro strumento di outreach, l'agente legge il sito di ogni prospect e redige un'email personalizzata. Fin dall'inizio abbiamo preso una decisione progettuale semplice: il modello estrae i fatti che intende usare e scrive l'email nella stessa chiamata, e ogni fatto rimane associato alla pagina da cui proviene. Questo ha permesso a chi revisiona di guardare la bozza, vedere quale pagina giustificava la frase di apertura e scartare le bozze in cui il "fatto" era forzato. Abbiamo spiegato perché la singola chiamata ha superato la versione multi-step in termini di costi e qualità nell'articolo chiamata singola vs catene di agenti. La provenienza è venuta quasi gratis perché non abbiamo mai lasciato che l'URL della fonte si perdesse mentre i dati scorrevano nella pipeline.

Sanità, ambito legale, pubblica amministrazione, finanza

Qui la provenienza non è una funzionalità, è il prodotto. Un medico non agirà su un sommario che dice "il paziente ha un'allergia documentata" senza poter cliccare sulla nota originale. Un funzionario addetto agli acquisti che valuta un vendor AI chiederà come possa essere ricostruita a posteriori una determinata risposta. Se vendi in questi mercati, metti la provenienza accanto al controllo degli accessi nella tua architettura, perché i due sono collegati: una citazione è sicura solo se il lettore era autorizzato a vedere la fonte, che è esattamente il punto del recupero consapevole dei permessi.

Tutto ciò che dovrai giustificare in seguito

Dispute, audit e analisi post-incidente pongono sempre la stessa domanda: perché il sistema ha detto questo? Un log di prompt e completamenti non è una risposta. Un log che dice "questa frase è stata generata dal passaggio 14 del documento X, recuperato in questo momento, visibile a questo utente" lo è.

Dove non vale la pena

È importante essere onesti anche su questo, perché la provenienza aggiunge complessità e non la vuoi ovunque.

• Strumenti creativi ed esplorativi. Brainstorming di nomi, riscrittura del tono, generazione di varianti. Nessuno ha bisogno di una nota a piè di pagina su un suggerimento di headline, e comunque non ci sono passaggi recuperati a cui puntare.
• Assistenti interni con un essere umano nel ciclo per default. Se l'utente è un esperto che verificherà sempre prima di agire, un breve elenco "ecco cosa ho consultato" è meglio delle citazioni per frase. Chi revisiona nel nostro strumento di outreach doveva sapere quale pagina giustificava la frase di apertura, non un riferimento cucito a ogni clausola.
• Generazione di codice. Test e revisione sono il livello di verifica. Le citazioni alla documentazione sono piacevoli ma raramente cambiano il comportamento.

La regola generale: più l'output si allontana dalla persona che lo ha richiesto prima che qualcuno lo verifichi, più provenienza è necessaria. Una bozza che il commerciale legge prima di inviare ne richiede meno di una risposta all'assistenza che parte da sola.

Quanto costa costruirla

La provenienza è una delle cose più economiche da aggiungere fin dall'inizio e una delle più fastidiose da inserire in seguito. Il costo si concentra in tre aree.

Data plumbing. Ogni chunk indicizzato ha bisogno di un ID stabile, un riferimento alla fonte e idealmente un intervallo di caratteri. È una decisione di schema che si prende una volta sola. Nello strumento di outreach era un singolo campo: l'URL della pagina da cui proveniva ogni fatto, portato sul record attraverso ogni passaggio e mai eliminato. Saltarlo fa risparmiare un giorno ora e costa settimane in seguito, quando si cerca di ricostruire quale chunk ha prodotto quale frase.

Formato del prompt e dell'output. Al modello devono essere forniti gli ID e deve essere chiesto di farvi riferimento in modo strutturato, e il parser deve gestire i casi in cui il modello lo fa in modo leggermente scorretto. Prevedi un formato di output strutturato e un fallback per quando il modello cita un ID che non era nel contesto. Questo caso è il fallimento delle citazioni tramite prompt che si ripresenta, e deve essere segnalato, non renderizzato come link. Diversi provider offrono ora modalità di citazione native che restituiscono gli span delle fonti insieme al testo, il che elimina la maggior parte del lavoro di parsing. Verifica nella documentazione del tuo provider se il modello che stai usando le supporta prima di costruire le tue.

UI. Qualcuno deve progettare come appare una citazione e cosa succede quando ci si clicca. Sottovalutare questo è il motivo più comune per cui le funzionalità di provenienza vengono rilasciate a metà. Una citazione che apre un PDF di 40 pagine dalla prima pagina è tecnicamente presente e praticamente inutile. Usa un link diretto al passaggio.

Il costo in token è reale ma secondario. Passare ID e richiedere riferimenti strutturati aggiunge un overhead modesto per chiamata. Se il budget è limitato, le leve descritte in ottimizzazione dei costi LLM contano molto di più che ridurre le citazioni.

Come inserirla nelle specifiche per i vendor

Un linguaggio vago qui ti porterà alla versione tramite prompt. Scrivi criteri di accettazione misurabili.

• Ogni affermazione fattuale in un output è collegata a un passaggio recuperato, non a un titolo di documento. Il link apre il passaggio, non il file.
• Una citazione inventata dal modello è trattata come un difetto. Il sistema deve rifiutare o segnalare qualsiasi riferimento a una fonte che non era nel set di recupero per quella chiamata.
• L'accuratezza delle citazioni è un numero testato. Prendi un campione di output, fai verificare da una persona se ogni passaggio citato supporta l'affermazione e stabilisci una soglia. Questo appartiene allo stesso documento degli altri criteri di valutazione nel contratto con il vendor.
• La provenienza è registrata, non solo visualizzata. Per qualsiasi output, puoi in seguito recuperare le fonti esatte, le loro versioni e chi era autorizzato a vederle.
• Nessuna citazione, nessuna affermazione. Se l'agente non riesce a trovare una fonte per qualcosa, lo dice invece di colmare il vuoto. Questa singola regola elimina la maggior parte dei fallimenti più imbarazzanti.

Se un vendor respinge uno di questi requisiti come "troppo pesante per un MVP," chiedi quale di essi sarebbe disposto a far scoprire mancante a un cliente.

Il vantaggio nascosto: rende l'agente migliore

I team che aggiungono la provenienza di solito scoprono che i loro agenti migliorano per una ragione che non ha nulla a che fare con la fiducia. Una volta che ogni affermazione deve puntare a un passaggio, puoi vedere quali recuperi sono deboli, quali documenti sono obsoleti e quali prompt portano il modello ad andare oltre le proprie conoscenze. La provenienza trasforma "l'agente si sbagliava" in "l'agente si sbagliava perché il recupero ha restituito la pagina dei prezzi del 2023," che è un bug risolvibile. Senza di essa stai ottimizzando al buio.

Se stai definendo il perimetro di un agente il cui output lascia la tua organizzazione, tratta la provenienza come parte del core build, non come un punto della fase due. Possiamo aiutarti a progettare il recupero, il modello di citazione e il flusso di revisione in modo che ciò che rilasci sia verificabile fin dal primo giorno. Parliamone.