AI Act Data Governance: Come Auditare i Bias e Implementare PET

In sintesi: L'Art. 10 del Regolamento UE 2024/1689 impone ai provider di sistemi AI ad alto rischio una governance rigorosa dei dati di addestramento: i dataset devono essere rappresentativi, esenti da bias significativi, e documentati. Il Digital Omnibus ha introdotto una base giuridica specifica per trattare categorie particolari di dati (GDPR Art. 9) ai soli fini dell'audit del bias, usando tecniche di privacy-enhancing (PET).

Perché i Dati Sono il Punto Critico della Compliance AI Act

Un sistema AI è tanto buono quanto i dati con cui è stato addestrato. Questa massima tecnica è diventata un principio normativo con l'Art. 10 del Regolamento UE 2024/1689.

La motivazione è intuitiva: un modello di credit scoring addestrato su dati storici che riflettono le discriminazioni del passato (es. donne che ricevevano meno credito degli uomini a parità di profilo finanziario) apprende e replica quelle discriminazioni. Un sistema di selezione del personale addestrato su CV di candidati assunti in passato (con tassi di assunzione squilibrati per provenienza geografica) impara a privilegiare i candidati di determinate aree geografiche.

Questi non sono effetti collaterali accidentali: sono il risultato prevedibile di ignorare la qualità e la rappresentatività dei dati di addestramento.

Gli Obblighi Art. 10: Il Testo che Conta

L'Art. 10 del Regolamento si applica ai provider di sistemi AI ad alto rischio e richiede che i dati di addestramento, validazione e test:

Siano soggetti a pratiche adeguate di gestione dei dati, che includono:

Scelte progettuali pertinenti
Raccolta dei dati
Operazioni di preparazione dei dati pertinenti (annotazione, etichettatura, pulizia, aggiornamento, arricchimento)
Formulazione di ipotesi riguardo all'uso previsto dei dati

Siano pertinenti e sufficientemente rappresentativi rispetto alla finalità dichiarata del sistema e, per quanto possibile, rispetto alle categorie di persone su cui il sistema sarà utilizzato.

Siano sufficientemente esenti da errori e completi rispetto alla finalità prevista. Questo non richiede la perfezione, ma la documentazione delle limitazioni note.

Abbiano le appropriate proprietà statistiche, inclusi criteri relativi alle singole categorie di persone o gruppi di persone su cui il sistema è destinato a essere utilizzato.

Tengano conto delle caratteristiche specifiche del contesto geografico, comportamentale o funzionale in cui il sistema è destinato a essere usato.

L'Audit del Bias: Metodologia

L'audit del bias è il processo sistematico per identificare e misurare il bias nei dati e negli output del modello. Non è un'attività una-tantum: è un processo continuativo che deve essere ripetuto a ogni modifica significativa del modello e periodicamente in produzione.

Fase 1: Analisi del Dataset

Obiettivo: capire cosa c'è nel dataset prima di addestrare il modello.

Attività tipiche:

Analisi della distribuzione demografica (genere, età, provenienza geografica)
Identificazione dei valori mancanti per sottogruppo
Analisi della distribuzione dell'etichetta target per sottogruppo (es. tasso di approvazione credito per genere)
Correlazione tra feature e attributi protetti (una feature apparentemente neutrale può essere proxy di etnia o provenienza)

Output: report di analisi del dataset con distribuzione delle variabili chiave e identificazione dei potenziali bias strutturali.

Fase 2: Audit del Modello (Fairness Metrics)

Obiettivo: misurare se il modello produce output equi tra sottogruppi.

Le metriche di fairness più usate:

Metrica	Definizione	Quando usarla
Demographic Parity	Uguale tasso di output positivi tra gruppi	Quando l'equità di accesso è prioritaria
Equal Opportunity	Uguale tasso di veri positivi (recall) tra gruppi	Quando i falsi negativi hanno alto costo
Equalized Odds	Uguale tasso di veri positivi E falsi positivi tra gruppi	Quando sia FP che FN sono critici
Disparate Impact	Rapporto tra tassi di output positivi (< 0.8 = discriminazione)	Standard legale negli USA, usato come riferimento anche in EU
Individual Fairness	Individui simili ricevono trattamenti simili	Sistemi di raccomandazione e scoring

Output: report con metriche di fairness disaggregate per sottogruppo, con soglie di accettabilità definite e gap identificati.

Fase 3: Mitigazione del Bias

Se l'audit identifica bias significativi, si applicano tecniche di mitigazione. Le principali:

Pre-processing (intervento sui dati):

Re-sampling: aumentare la rappresentazione dei gruppi sotto-rappresentati nel training set
Re-weighting: assegnare pesi maggiori agli esempi dei gruppi svantaggiati durante il training
Eliminazione delle feature proxy: rimuovere feature che sono fortemente correlate ad attributi protetti

In-processing (intervento durante il training):

Fairness constraints: aggiungere vincoli di equità alla funzione obiettivo del modello
Adversarial debiasing: usare un modello avversariale per rimuovere le informazioni sull'attributo protetto dalla rappresentazione appresa

Post-processing (intervento sull'output):

Calibrazione per sottogruppo: regolare le soglie di decisione separatamente per ciascun gruppo
Reject option: non produrre una decisione automatica quando la confidenza è bassa (rimandare alla supervisione umana)

Le Privacy-Enhancing Technologies (PET) per l'Audit del Bias

Il paradosso dell'Art. 10 è che per auditare il bias servono dati demografici (genere, età, provenienza) che sono spesso dati sensibili ai sensi del GDPR. Come si può condurre un audit del bias senza violare la privacy?

Il Digital Omnibus ha risolto questa tensione introducendo una base giuridica specifica nel testo dell'AI Act: le categorie particolari di dati (Art. 9 GDPR) possono essere trattate per le sole finalità dell'audit del bias, a condizione di adottare misure tecniche e organizzative adeguate.

Le PET sono le tecniche che consentono questo:

Pseudonimizzazione

I dati personali usati per l'audit vengono pseudonimizzati: i dati identificativi (nome, email, codice fiscale) vengono sostituiti da un identificatore artificiale, mentre i dati demografici rilevanti per l'audit vengono conservati. La pseudonimizzazione riduce il rischio per la privacy pur conservando la capacità di analisi.

Differential Privacy

La differential privacy aggiunge "rumore calibrato" alle statistiche calcolate sul dataset, garantendo che i risultati aggregati non rivelino informazioni su individui specifici. Consente di pubblicare o condividere i risultati dell'audit del bias senza esporre i dati individuali.

Federated Learning

In contesti in cui i dati sono distribuiti tra più soggetti (es. un consorzio di banche che vuole auditare il bias collettivamente senza condividere i dati dei clienti), il federated learning consente di addestrare modelli e calcolare metriche di fairness senza centralizzare i dati.

Ambienti Isolati (Secure Enclaves)

I dati sensibili usati per l'audit vengono elaborati in ambienti computazionali isolati (secure enclaves, trusted execution environments) che garantiscono che i dati non siano accessibili al di fuori dell'ambiente di calcolo protetto.

La Documentazione della Data Governance

Tutto il processo di data governance e audit del bias deve essere documentato. La documentazione fa parte della documentazione tecnica richiesta dall'Art. 11 e dall'Allegato IV, ed è uno dei primi elementi che ACN richiede in sede di ispezione.

La documentazione della data governance deve contenere:

Fonti dei dati: origine di ogni dataset usato, licenza, data di raccolta
Processo di preparazione: come i dati sono stati puliti, annotati, arricchiti
Analisi della rappresentatività: distribuzione dei sottogruppi demografici, gap identificati
Risultati dell'audit del bias: metriche calcolate, metodologia, dataset usato per il test
Misure di mitigazione: tecniche adottate, parametri, risultati dopo la mitigazione
Limitazioni residue: bias noti che non sono stati eliminati e motivazioni
Piano di monitoraggio: come e con quale frequenza il bias verrà riesaminato in produzione

Domande Frequenti (FAQ)

Non abbiamo dati demografici nel nostro dataset: come conduciamo l'audit del bias? L'assenza di dati demografici espliciti non significa assenza di bias. Molte feature comportamentali e geografiche sono proxy di caratteristiche demografiche. L'audit del bias in assenza di dati demografici può usare tecniche di proxy: identificare le feature più correlate agli attributi protetti e analizzare la disparità degli output in funzione di questi proxy. Alcune piattaforme di fairness ML (come Fairlearn o AI Fairness 360) supportano questa modalità.

L'Art. 10 si applica anche ai modelli acquistati da vendor terzi che usiamo come API? Come deployer di un'API esterna, non siete responsabili della data governance del modello del vendor. Il vendor (provider) è responsabile dell'Art. 10 per il proprio modello. Voi, come deployer, siete responsabili di verificare che il vendor abbia adempiuto a questi obblighi (chiedere documentazione) e di gestire correttamente i dati che inviate all'API. Se fine-tunate un modello di terzi su vostri dati, il processo di fine-tuning è soggetto agli obblighi Art. 10.

Con quale frequenza dobbiamo ripetere l'audit del bias? Non c'è una frequenza fissa nel Regolamento, ma le best practice indicano: un audit completo prima del rilascio in produzione, un audit di monitoraggio dopo i primi 3-6 mesi in produzione (per verificare se il comportamento reale del modello corrisponde a quello misurato in test), e successivamente su base annuale o dopo ogni modifica significativa al modello o al dataset.

Il Digital Omnibus consente davvero di trattare dati sensibili per l'audit del bias? Come si applica? Sì. L'accordo trilogo del 7 maggio 2026 ha introdotto questa base giuridica nel testo del Regolamento (Art. 10, par. 5, come modificato). Le condizioni sono: (1) il trattamento è strettamente necessario per l'audit del bias, (2) vengono adottate misure tecniche adeguate (pseudonimizzazione, ambienti isolati), (3) i dati non vengono usati per altri scopi. Il DPO deve essere coinvolto nella definizione delle misure.

Quanto costa un bias audit per una startup? Dipende dalla complessità del sistema e dalla disponibilità dei dati. Un audit di primo livello con tool open source (Fairlearn, AI Fairness 360) per un modello già in produzione può richiedere 20-40 ore di lavoro. Un audit strutturato con documentazione completa e piano di mitigazione è tipicamente un progetto da 60-100 ore. Il costo è un investimento: i bias non identificati possono portare a sanzioni significativamente più costose.

Approfondimenti correlati:

AI Act Allegato III: Classificazione dei Sistemi ad Alto Rischio: quali sistemi richiedono la data governance Art. 10
AI Act e Profilazione Algoritmica: quando la profilazione aggrava il rischio di bias
AI Act Gap Analysis: Come Mappare il Rischio Prima delle Ispezioni ACN: come integrare la data governance nel percorso di compliance
GDPR e AI Act per Startup e SaaS: coordinamento tra data governance AI Act e GDPR

Fonti: Regolamento (UE) 2024/1689, Art. 10, Art. 11, Allegato IV; Regolamento (UE) 2016/679 (GDPR), Art. 9; Accordo trilogo Digital Omnibus on AI, 7 maggio 2026 (modifica Art. 10 par. 5).