AI
Checklist per l'acquisto di sistemi AI nei team pubblici e sanitari
Una checklist pratica per i responsabili acquisti nel settore pubblico e sanitario che valutano fornitori AI: audit trail, residenza dei dati, controlli di override umano e clausole contrattuali solide.
TL;DR
I responsabili acquisti nel settore pubblico e sanitario dovrebbero valutare i fornitori AI su verificabilità, residenza dei dati, controlli di override umano e clausole di uscita, prima ancora di guardare la qualità della demo. Questi requisiti vanno inseriti nell'RFP fin dall'inizio, non aggiunti a posteriori dopo il go-live.

Valutate i fornitori AI su verificabilità, residenza dei dati, controlli di override umano e clausole di uscita prima ancora di guardare la qualità della demo. Questi requisiti vanno scritti nell'RFP fin dall'inizio, perché aggiungerli a posteriori, quando il sistema è già a contatto con dati di cittadini o pazienti, è più lento, più costoso e a volte impossibile senza rifare tutto da capo.
La maggior parte dei team di acquisto gestisce ancora la selezione di fornitori AI come un RFP software standard: funzionalità, prezzo, referenze, una demo. Questo processo non intercetta i punti di fallimento che mettono realmente in difficoltà i progetti nel settore pubblico e sanitario. Un sistema AI che non sa spiegare una decisione. Dati che finiscono nella giurisdizione sbagliata. Un rapporto con il fornitore da cui non si riesce a uscire senza perdere i propri archivi. La checklist che segue è costruita attorno alle domande che contano davvero.
Iniziate dalla verificabilità, non dall'accuratezza
Una demo del fornitore mostrerà sempre il percorso ideale. Quello che dovete vedere è cosa succede quando il sistema sbaglia, e se siete in grado di ricostruire il perché.
- Chiedete un caso di errore registrato. Non un ipotetico: un transcript reale del sistema che commette un errore, con l'audit trail che ha permesso di individuarlo.
- Verificate cosa viene effettivamente registrato. Come minimo: input, output, versione del modello e timestamp. Se il fornitore registra solo la risposta finale, non avrete alcuna base per indagare un reclamo sei mesi dopo.
- Confermate che i log siano esportabili, e non vincolati alla dashboard del fornitore. Se il vostro team legale o di compliance avrà mai bisogno dei record per un audit, dovrete poterli estrarre senza dipendere dalla collaborazione del fornitore.
L'architettura di sistema conta, in modi che è facile sottovalutare. Una singola chiamata a un modello ben delimitata è molto più semplice da verificare rispetto a una catena di cinque agenti, perché esiste un solo input, un solo output e un solo punto da esaminare quando qualcosa va storto. Un fornitore che usa una lunga catena di chiamate a strumenti e sotto-agenti per rispondere a una domanda semplice non sta necessariamente sbagliando qualcosa, ma si sta assumendo una superficie molto più ampia da spiegare in seguito. Chiedete come vengono registrati i passaggi intermedi, non solo gli output finali. Single-call vs agent chains approfondisce questo compromesso, se volete capirlo prima che l'RFP venga pubblicato.
Residenza e accesso ai dati sono clausole contrattuali, non dettagli IT
Dove risiedono i dati, chi può accedervi e cosa succede loro alla fine del contratto sono questioni da definire prima della firma.
- Ottenete risposte precise su dove i dati vengono elaborati e conservati, compresi i sub-responsabili: il provider LLM del fornitore, il cloud host e qualsiasi strumento di analytics attraverso cui passano i dati.
- Chiedete se i vostri dati vengono usati per addestrare i modelli del fornitore, e in caso affermativo, a favore di chi. Molti prodotti AI basati su API non usano di default i dati dei clienti per l'addestramento, ma le offerte gestite o con fine-tuning a volte sì. Questo deve essere opt-in, non sepolto in un aggiornamento dei termini di servizio.
- Per il settore sanitario, verificate che il fornitore sia disposto a firmare un Business Associate Agreement se sono coinvolti dati PHI. Un fornitore che esita su questo punto vi dice già qualcosa su quanto prende sul serio il resto di questa checklist.
- Per tutto ciò che riguarda cittadini UE, comprendete i vostri obblighi ai sensi dell'EU AI Act. Molti obblighi ricadono sull'organizzazione che mette in esercizio il sistema, non solo sul fornitore. Il contratto deve specificare chi fa cosa: chi conduce la valutazione del rischio, chi mantiene la documentazione tecnica, chi gestisce le richieste di record da parte di un'autorità di controllo.
Per i team operativi nel Golfo, AI data residency for Saudi Arabia and the UAE illustra i requisiti giurisdizionali specifici che i contratti standard focalizzati sul GDPR non coprono.
L'override umano è un requisito di progetto
Per tutto ciò che incide sull'idoneità a benefici, su una diagnosi o su un esito legale, deve esistere una persona reale in grado di intervenire prima che si verifichi un danno.
- Chiedete al fornitore di mostrare l'interfaccia di override reale, non di descriverla. Dove vede un operatore o un clinico il livello di confidenza del sistema AI? Come rifiuta o scala una decisione?
- Verificate che il percorso di override sia abbastanza rapido da fare la differenza. Un processo di revisione che richiede tre giorni lavorativi non aiuta chi si è visto negare un beneficio oggi.
- Capite qual è il comportamento predefinito in caso di errore. Il sistema va in fail closed (segnala per revisione umana) o in fail open (procede con la risposta più probabile)? Per le decisioni ad alto rischio, il fail closed dovrebbe essere il default, non un'opzione di configurazione che qualcuno ha dimenticato di impostare.
Se state progettando o specificando il sistema internamente anziché acquistarlo già assemblato, court-ready architecture for healthcare AI descrive come appare un sistema difendibile e verificabile a livello infrastrutturale. E human oversight under the EU AI Act vale la pena leggerlo prima di finalizzare i requisiti di human-in-the-loop nella specifica.
Le clausole contrattuali che vi tutelano dopo la firma
Le clausole più importanti sono quelle che sperate di non dover mai usare.
- Diritti di esportazione di dati e modelli. Se lasciate il fornitore, conservate i vostri dati storici e i pesi del modello eventualmente sottoposto a fine-tuning, oppure il rapporto repart da zero?
- Notifica delle modifiche ai modelli. I sistemi basati su LLM cambiano comportamento quando cambia il modello sottostante. Volete un preavviso e una finestra di staging prima che una nuova versione del modello vada in produzione, non un changelog che scoprite dopo i fatti.
- SLA di incident response specifici per il sistema AI, non solo per l'uptime generale. Un output errato su una decisione clinica è una classe di severità diversa da un caricamento lento. Il contratto deve riflettere questa distinzione.
- Clausole di responsabilità e manleva che nominino esplicitamente i failure mode specifici dell'AI: allucinazioni, bias, data leakage. Il linguaggio generico sui difetti software è stato scritto prima che esistessero gli LLM e non si adatta bene a questi rischi.
Per un framework di valutazione dei fornitori più ampio, oltre ai requisiti di compliance, our AI agent vendor evaluation checklist copre struttura dei costi, latenza e modello di supporto. E se le evals fanno parte del vostro processo di valutazione (dovrebbero), putting evals into the contract itself vale la pena leggerlo prima di finalizzare i termini.
Chiedere prove, non promesse
Nulla di tutto questo richiede un esperto AI nel team di acquisto. Richiede di sostituire le promesse con prove concrete: un caso di errore reale invece di una demo impeccabile, un'esportazione reale dei log invece di una descrizione di cosa viene registrato, una dimostrazione dal vivo della schermata di override invece di una slide sull'human-in-the-loop design. I fornitori che hanno costruito sistemi difendibili avranno tutto questo pronto. Quelli che non lo hanno fatto avranno bisogno di settimane per produrlo, il che è già un'informazione utile prima di firmare qualsiasi cosa.
Se state definendo l'ambito di un sistema AI per un contesto pubblico o sanitario e volete un parere esterno sull'RFP o sulla shortlist di fornitori, parliamone.
Domande frequenti
Possiamo usare il nostro RFP standard per un sistema AI?
Si può partire dall'RFP standard, ma è necessario aggiungere sezioni su audit logging, residenza dei dati e versioning del modello. Un RFP generico per software raramente affronta questi temi, e i fornitori non li menzionano spontaneamente.
Come si valuta un fornitore AI senza avere un data scientist in organico?
Chiedete una dimostrazione di un caso di errore con il relativo audit trail, non solo una demo di successo. Un fornitore che non sa spiegare perché il sistema ha sbagliato è un rischio maggiore della risposta sbagliata in sé.
Quali clausole contrattuali ci tutelano in caso di audit sul sistema AI?
Richiedete garanzie sulla residenza dei dati, un processo documentato di override umano e una clausola di esportazione di dati e modelli, così da poter uscire dal contratto senza perdere i vostri archivi o i dati di addestramento.
L'EU AI Act si applica a un sistema AI per il settore pubblico o sanitario realizzato da un fornitore esterno?
Probabilmente sì, se coinvolge cittadini UE o viene utilizzato per decisioni con effetti legali o sanitari. Gli obblighi ricadono sull'organizzazione che lo mette in esercizio tanto quanto sul fornitore, quindi i contratti di acquisto devono assegnare le responsabilità in modo esplicito.
Come può aiutare Pykero
Servizi collegati a questo articolo.
State costruendo qualcosa di simile?
Pykero Agency progetta e rilascia prodotti web, mobile, SaaS e AI pronti per la produzione.
Parliamone


