Un sistema software ha negato un mutuo a migliaia di donne americane applicando criteri discriminatori invisibili: ecco come funziona e cosa puoi fare per difenderti

Nel 2019 David Heinemeier Hansson, fondatore di Basecamp, ha denunciato pubblicamente su Twitter che l’algoritmo di Apple Card aveva assegnato a sua moglie un limite di credito venti volte inferiore al suo, nonostante lei avesse un profilo finanziario migliore. La risposta del sistema era automatica, opaca, e apparentemente inapellabile. Quello non era un caso isolato: era la faccia visibile di un problema strutturale che riguarda milioni di persone, comprese molte di voi.

Cosa si nasconde dentro il codice

Un algoritmo non nasce neutro. Impara dai dati con cui viene addestrato, e quei dati riflettono il mondo così com’è, con tutti i suoi squilibri storici. Se un sistema di intelligenza artificiale viene addestrato su decenni di decisioni umane già distorte, riproduce e amplifica quelle distorsioni, con una velocità e una scala impossibili per qualsiasi ufficio tradizionale.

I bias entrano nel codice in tre modi principali. Il primo è nei dati di addestramento: se un’azienda addestra il proprio algoritmo di selezione del personale su vent’anni di curriculum di dipendenti prevalentemente maschi, il sistema impara che “uomo” è un predittore di successo. Il secondo è nelle scelte dei programmatori, spesso inconsapevoli: chi decide quali variabili pesare, quali obiettivi ottimizzare, quali categorie escludere. Il terzo riguarda l’ottimizzazione degli obiettivi stessi: un sistema sanitario che misura l’efficacia delle cure in base al costo potrebbe sistematicamente sottovalutare i bisogni di chi storicamente ha ricevuto cure meno costose.

I casi che fanno paura

Amazon ha sviluppato tra il 2014 e il 2017 un sistema automatico di screening dei curriculum. Quando i tecnici hanno analizzato i risultati, hanno scoperto che il sistema penalizzava i candidati che nel loro CV usavano la parola “donne”, come in “capitano della squadra femminile di calcio”. Aveva imparato che le donne erano meno adatte. Amazon ha smesso di usarlo.

Il riconoscimento facciale è un altro capitolo critico. Joy Buolamwini, ricercatrice del MIT, ha dimostrato nel suo studio del 2018 che i principali sistemi di riconoscimento facciale commettevano errori nel classificare il genere delle donne con la carnagione scura nel 34,7% dei casi, contro lo 0,8% degli uomini bianchi. Queste tecnologie vengono già usate da alcune forze di polizia per identificare sospettati: l’errore non è solo statistico, può diventare una denuncia ingiusta.

In ambito sanitario, uno studio pubblicato su Science nel 2019 ha analizzato un algoritmo usato negli ospedali americani per assegnare risorse ai pazienti cronici. Il sistema aveva imparato ad associare la necessità di cure con la spesa sanitaria storica. Poiché i pazienti neri avevano storicamente speso meno per ragioni economiche e non mediche, l’algoritmo li considerava meno malati e assegnava loro meno risorse. I ricercatori hanno stimato che circa 280.000 persone avrebbero avuto accesso a cure migliori eliminando quel bias.

Chi paga il conto

La domanda della responsabilità è spinosa. L’azienda che distribuisce il sistema scarica la colpa sui dati. Chi ha fornito i dati dice che riflettevano la realtà. Il programmatore sostiene di aver seguito le specifiche. Il risultato è che nessuno risponde.

Dal punto di vista legale, in Europa esiste già il GDPR che garantisce il diritto a non essere soggetti a decisioni automatizzate con effetti significativi sulla propria vita, ma il meccanismo per far valere quel diritto è ancora poco conosciuto e difficile da attivare. L’onere della prova ricade sul cittadino, non sull’azienda.

La scatola nera che non si apre

Molti sistemi di intelligenza artificiale avanzata, in particolare quelli basati su reti neurali profonde, non sono interpretabili nemmeno dai loro stessi creatori. Il sistema produce un risultato, ma non genera una spiegazione comprensibile del percorso seguito. Questo rende quasi impossibile individuare dove e perché si è prodotto un errore discriminatorio.

Per una mamma che si vede rifiutare un prestito, negare un sussidio o ricevere una valutazione medica insoddisfacente, questo si traduce in un muro invisibile. Non c’è un funzionario da interrogare, non c’è un modulo da compilare per capire il motivo. C’è solo un “no” generato da un sistema che non sa spiegare se stesso.

Cosa fa l’Europa

L’AI Act europeo, approvato nel marzo 2024 dal Parlamento europeo ed entrato progressivamente in vigore, è il primo tentativo al mondo di regolamentare sistemi di intelligenza artificiale in base al rischio che producono. Classifica come ad “alto rischio” le applicazioni in ambiti come salute, istruzione, occupazione, accesso ai servizi finanziari e giustizia penale, cioè esattamente i settori dove i bias fanno più danni.

Per questi sistemi, le aziende saranno obbligate a garantire trasparenza, qualità dei dati, supervisione umana e documentazione accessibile. Le sanzioni per chi non rispetta le norme arrivano fino a 35 milioni di euro o al 7% del fatturato globale. Le prime scadenze di conformità per i sistemi ad alto rischio sono previste per il 2026.

Come difendersi adesso

Già oggi, grazie al GDPR, hai il diritto di chiedere a qualsiasi azienda che ha preso una decisione automatica su di te, dal rifiuto di un mutuo alla selezione per un lavoro, di avere una spiegazione comprensibile dei criteri utilizzati. Puoi farlo con una lettera formale all’ufficio privacy dell’azienda, citando l’articolo 22 del GDPR. Se l’azienda non risponde o risponde in modo inadeguato, puoi presentare un reclamo al Garante per la protezione dei dati personali, che in Italia si raggiunge all’indirizzo garante@gpdp.it. Non serve un avvocato per il primo passo: basta una richiesta scritta, chiara e motivata.