Bias Detection e Debiasing: come Documentare le Misure di Mitigazione nella FRIA

Fonti: Reg. UE 2024/1689 (AI Act) Art. 10 — Qualità dei dati, e Art. 27 — FRIA · AI Office UE — Technical guidance on bias in AI systems · NIST — AI Risk Management Framework (AI RMF 1.0) · EDPB — Guidelines on automated decision-making and profiling · ENISA — Cybersecurity of AI and Standardisation

Il bias algoritmico è il rischio più frequentemente citato nelle discussioni sull'AI ed il meno spesso affrontato con rigore documentale nelle aziende. La FRIA dell'AI Act trasforma questo rischio generico in un obbligo specifico: per ogni sistema AI ad alto rischio, il Deployer deve non solo identificare i potenziali bias discriminatori, ma documentare le misure concrete adottate per rilevarli e mitigarli, con evidenze quantitative. Non è sufficiente dichiarare "abbiamo verificato l'assenza di bias": la FRIA richiede di mostrare come, con quali metodi e con quali risultati. Per il quadro normativo sulla FRIA, si veda la guida alla valutazione integrata DPIA+FRIA per sistemi AI. Per i casi applicativi più critici (recruiting e credit scoring), si vedano le guide dedicate alla FRIA per il recruiting AI e al credit scoring AI.

Cosa sono il bias e la discriminazione algoritmica

Il bias algoritmico è la tendenza di un sistema AI a produrre output sistematicamente svantaggiosi per specifici gruppi di persone, anche in assenza di variabili discriminatorie esplicite nel dataset. I meccanismi principali:

Bias nel dataset di training. Se il dataset riflette disuguaglianze storiche (ad esempio: un dataset di assunzioni in cui le donne sono storicamente sottorappresentate in ruoli tecnici), il modello impara che i profili femminili sono meno "adatti" ai ruoli tecnici, anche senza ricevere la variabile "genere" come input.

Bias per proxy. Il modello usa variabili che non sono le caratteristiche protette ma sono statisticamente correlate con esse: il codice postale correla con l'etnia; il tipo di università frequentata correla con l'estrazione socioeconomica; la continuità del curriculum correla con il genere (per via dei congedi di maternità). Il bias agisce attraverso queste variabili indirette.

Bias di campionamento. Il dataset di training non è rappresentativo della popolazione su cui il modello verrà applicato: ad esempio, un modello di credit scoring addestrato prevalentemente su clienti di fascia medio-alta tende a penalizzare i profili atipici o economicamente fragili.

Le metriche di fairness riconosciute

Per documentare la fairness di un modello, è necessario scegliere e calcolare metriche quantitative riconosciute. Le principali:

1. Disparate Impact Ratio (80% Rule). Misura il rapporto tra il tasso di risultati positivi (approvazioni, assunzioni, accessi) per il gruppo svantaggiato e il gruppo privilegiato. Un valore inferiore a 0,8 (80%) indica disparate impact potenzialmente discriminatorio. Formula: DI = P(output positivo | gruppo A) / P(output positivo | gruppo B).

2. Equalized Odds. Richiede che il modello abbia lo stesso tasso di falsi positivi e falsi negativi per tutti i gruppi demografici. Se il modello è molto più accurato nel gruppo maggioritario che in quello minoritario, c'è un problema di equità.

3. Demographic Parity. L'output positivo deve avere la stessa probabilità per tutti i gruppi indipendentemente dal valore delle caratteristiche protette. Più restrittivo di Equalized Odds, da usare quando la differenza di outcome non è giustificabile da differenze reali di merito.

4. Calibration. Il tasso di accuratezza delle previsioni deve essere equivalente tra i gruppi: se il modello dice "probabilità 70%" per entrambi i gruppi, il 70% delle previsioni deve risultare corretto in entrambi i gruppi.

La scelta della metrica dipende dal contesto applicativo e dalle implicazioni normative specifiche. Per i sistemi di credit scoring, le autorità finanziarie tendono a privilegiare Equalized Odds; per i sistemi di recruiting, il Disparate Impact Ratio è spesso il riferimento principale.

Tecniche di debiasing: pre-processing, in-processing, post-processing

Le tecniche di debiasing si applicano in tre fasi distinte del ciclo di vita del modello:

Pre-processing (prima del training)

• Re-weighting: assegnare pesi maggiori ai campioni underrepresented nel dataset, in modo da bilanciare la rappresentazione dei gruppi durante il training
• Resampling: aumentare artificialmente i campioni del gruppo svantaggiato (oversampling) o ridurre quelli del gruppo privilegiato (undersampling)
• Feature removal: rimuovere dal dataset le variabili identificate come proxy discriminatorie; tecnica efficace ma da usare con cautela perché alcune proxy hanno anche valore predittivo legittimo
• Data augmentation: generare dati sintetici per il gruppo sottorappresentato usando tecniche come SMOTE

In-processing (durante il training)

• Adversarial debiasing: addestrare il modello con un secondo modello "avversario" che tenta di predire la caratteristica protetta dall'output del primo; il modello principale viene ottimizzato per minimizzare sia l'errore di previsione sia la capacità dell'avversario di inferire la caratteristica protetta
• Fairness constraints: aggiungere vincoli di fairness direttamente nella funzione di ottimizzazione del training

Post-processing (sull'output del modello)

• Threshold adjustment: calibrare soglie di decisione diverse per sottogruppi diversi, in modo da equalizzare i tassi di approvazione
• Reject option classification: identificare le previsioni "di confine" (score vicino alla soglia) e gestirle con supervisione umana rafforzata
• Calibrated equalized odds: ricalibrazione dell'output del modello per soddisfare le metriche di fairness scelte

Come documentare il debiasing nella FRIA

La sezione sulla mitigazione del bias nella FRIA deve contenere:

1. Dataset audit report. Analisi statistica del dataset di training: distribuzione delle caratteristiche protette (genere, età, etnia, se disponibili), distribuzione degli output positivi per sottogruppo, identificazione delle variabili proxy con correlazione significativa con le caratteristiche protette.

2. Baseline fairness metrics. Calcolo delle metriche di fairness sul modello prima dell'applicazione delle misure di debiasing: evidenzia la magnitudo del problema e giustifica l'adozione delle misure.

3. Misure adottate. Descrizione tecnica delle tecniche di debiasing applicate, con motivazione della scelta. Non basta elencarle: va spiegato perché quella tecnica è adeguata per quel contesto applicativo.

4. Post-debiasing fairness metrics. Calcolo delle metriche di fairness dopo l'applicazione delle misure: dimostra l'efficacia delle misure adottate e il valore residuo del divario.

5. Piano di monitoring. Frequenza e metodologia del testing di fairness post-deployment: con quale cadenza le metriche vengono ricalcolate sull'output reale del modello in produzione.

6. Trade-off documentato. Alcune metriche di fairness sono matematicamente incompatibili (impossibile ottimizzare simultameamente Demographic Parity e Equalized Odds). Il documento deve riconoscere esplicitamente il trade-off scelto e giustificarlo.

Articolo aggiornato al 27 maggio 2026. Le linee guida tecniche AI Office UE sul bias nei sistemi AI sono in fase di aggiornamento contestualmente alla consultazione pubblica di maggio 2026. Per supporto specifico, contatta lo studio.