Partendo dal presupposto che l’IA non è neutrale ma riflette i dati di cui si nutre, l'articolo esplora l'origine e l'impatto dei bias algoritmici attraverso i casi storici di Amazon e COMPAS. Richiamando l'algoretica di padre Paolo Benanti, l'analisi evidenzia la necessità dell'approccio ethics by design e del presidio umano (human-in-the-loop) per evitare che i pregiudizi del passato diventino ingiuste sentenze digitali
Nel precedente contributo, Governare l'algoritmo: antropocentrismo, algoretica e le nuove frontiere dell'intelligenza artificiale, abbiamo esplorato la necessità di un approccio antropocentrico e l’urgenza di una solida governance etica. Per comprendere appieno questa sfida, è necessario scendere nei dettagli delle imperfezioni dei sistemi, a partire da quello che ne rappresenta il più insidioso vizio d'origine: il bias.
La parola bias ha una storia affascinante. L'etimologia risalirebbe al francese e provenzale antico biais, che significa "obliquo", "inclinato" o "pendenza". Originariamente, veniva impiegato nel gioco delle bocce per indicare la traiettoria curva o, appunto, la boccia con un peso asimmetrico da un lato, che la faceva deviare in senso obliquo. Da questa metafora fisica, a partire dal sedicesimo secolo, il termine ha assunto nel mondo anglosassone il significato di "inclinazione", "preconcetto" o "giudizio distorto". Nella psicologia moderna, i bias cognitivi sono scorciatoie mentali (euristiche) che il cervello utilizza per decidere rapidamente, ma che spesso si traducono in errori sistematici di valutazione e pregiudizi non supportati dall'oggettività.
Nell’ambito dell’Intelligenza Artificiale, il bias subisce una metamorfosi: non è più una distorsione biologica, ma una "pendenza" matematica. I sistemi di IA, infatti, non nascono con un pensiero autonomo, ma imparano a riconoscere schemi analizzando enormi moli di dati storici. Se questi dati contengono asimmetrie, disparità o pregiudizi umani, l'algoritmo non fa altro che registrarli come regole oggettive, amplificandoli su scala industriale. Il bias algoritmico consiste quindi in una deviazione computazionale, proprio come la vecchia palla da gioco sbilanciata, perché i dati di partenza sono "pesati" in modo ingiusto.
La storia recente offre prove evidenti di questa "obliquità", a partire dal celebre caso di Amazon (su cui cfr. Jeffrey Dastin, Amazon scraps secret AI recruiting tool that showed bias against women, in Reuters, San Francisco, [USA], 10 ottobre 2018; per un contributo in lingua italiana sul caso: Andrea Federica De Cesco, Amazon e l'intelligenza artificiale sessista: non assumeva donne, in Corriere della Sera, 10 ottobre 2018 ). Tra il 2014 e il 2017, il colosso dell'e-commerce sviluppò un software sperimentale di machine learning per automatizzare la selezione dei curricula. Il modello venne addestrato sui dati storici dei curricula inviati all'azienda nei dieci anni precedenti, un periodo in cui le assunzioni nel settore tecnologico erano a stragrande maggioranza maschili. L'algoritmo registrò questa ricorrenza non come un dato di fatto da correggere, ma come una regola di merito. Di conseguenza, il sistema iniziò a declassare attivamente le candidature femminili, penalizzando i curricula che contenevano la parola "donne" (come "club scacchistico femminile") o che indicavano la provenienza da college femminili. Addirittura, l'IA favoriva termini ed espressioni dal forte richiamo "maschile" e competitivo come "catturato" o "eseguito", ampiamente presenti nelle candidature storiche degli ingegneri. Nonostante i tentativi di Amazon di modificare il programma per renderlo neutrale, correggere del tutto quel pregiudizio ormai radicato si rivelò impossibile poiché l'IA continuava a trovare indicatori indiretti del genere dei candidati. Per questa ragione, nel 2017 il progetto fu definitivamente abbandonato.
Ancora più grave e denso di conseguenze giudiziarie è il caso di COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo predittivo utilizzato nei tribunali statunitensi per assegnare ai detenuti un punteggio da 1 a 10 indicante il rischio di recidiva (cfr. l'inchiesta giornalistica di Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks, in ProPublica, New York [USA], 23 maggio 2016). Il calcolo si basava su un questionario di 137 domande riguardanti la storia familiare, il background sociale e l'ambiente di vita. Sebbene non vi fossero domande dirette sulla razza, l'IA riusciva a desumerla indirettamente tramite fattori correlati quali il reddito, il quartiere di provenienza o la presenza di familiari arrestati. Nel 2016, l’inchiesta giornalistica di ProPublica svelò una profonda distorsione razziale: l'algoritmo compiva errori sistematici a seconda della provenienza etnica. I detenuti afroamericani che non avrebbero commesso nuovi reati venivano classificati come a "medio o alto rischio" (falsi positivi) a un tasso quasi doppio rispetto ai bianchi (il 45% contro il 23%). Al contrario, i detenuti bianchi che in seguito avrebbero di nuovo compiuto dei reati venivano etichettati erroneamente come a basso rischio (falsi negativi), con una frequenza del 70,5% superiore rispetto agli afroamericani (il 48% contro il 28%). Sebbene non esista un'edizione o una traduzione ufficiale italiana in volume unico di tale inchiesta, la vicenda è stata ampiamente documentata e analizzata nella nostra letteratura giuridica e sociologica[1], oltre che divulgata dai media, come nella puntata "Machine Bias, il mistero dell'algoritmo" nel programma RaiPlay Web Side Story, dedicata all'inchiesta di ProPublica.
Questi casi storici dimostrano concretamente perché l'algoretica non sia un dibattito filosofico astratto, ma un'urgente necessità operativa e pratica. Come sottolineato e teorizzato dal già citato padre Paolo Benanti, l'integrazione di criteri etici fin dalle primissime fasi di architettura e progettazione del software (ethics by design) è indispensabile per evitare che l'automazione matematica finisca per esautorare la capacità umana di discernimento. La posta in gioco va ben oltre una riflessione teorica sulla coscienza morale: riguarda direttamente l'equità e la legittimità delle decisioni che impattano sulla vita quotidiana delle persone. Delegare a una fredda logica di calcolo le valutazioni in ambito lavorativo e professionale — come la selezione del personale, la valutazione dei meriti o l'accesso a opportunità d'impiego — così come le deliberazioni in campo giuridico e giudiziario, dove sono in discussione la libertà personale, la valutazione del rischio e le garanzie processuali, significa abdicare alla responsabilità etica e civile. Un algoritmo non può cogliere la complessità, la storia e la dignità di un individuo.
Senza un vero e proprio presidio algoretico sistematico e non garantendo la costante supervisione dell’uomo nel circuito decisionale (human-in-the-loop), la tecnologia rischia di tramutare le disuguaglianze strutturali e i vecchi pregiudizi del passato in nuove — tanto apparentemente incontestabili, quanto improprie e ingiuste — "sentenze" digitali. Mantenere il controllo umano e governare i processi decisionali automatizzati ad alto impatto sociale è l'unico modo per assicurare che l'innovazione rimanga uno strumento al servizio della giustizia e dell'autonomia della persona, evitando che l'efficienza computazionale si trasformi in una forma invisibile di discriminazione.
Note
[1] Sebbene non esista una traduzione o un'edizione ufficiale in volume unico in lingua italiana dell'inchiesta "Machine Bias" di ProPublica, il caso COMPAS e i temi della giustizia predittiva e del bias algoritmico sono ampiamente citati e analizzati all'interno del dibattito giuridico e sociologico nazionale e sui principali portali di settore. Sul punto cfr., in particolare:
-
Chiara Filippone - Luigi Zito, Il caso COMPAS e il tema della giustizia predittiva, tra opacità e distorsioni, in Aequitas Magazine – Journal of Law and Legal Culture, vol. 2, 2025, pp. 1-13.
-
Andrea Valsecchi, L'intelligenza artificiale nel diritto penale: la Risoluzione del Parlamento europeo del 6 ottobre 2021 (con analisi dettagliata di COMPAS e del caso State v. Loomis), in MediaLaws. Rivista di Diritto dei Media, 1 febbraio 2022.
-
Mario Caterini, «Il giudice penale robot». Giustizia predittiva e garanzie del processo, in La Legislazione Penale, 19 dicembre 2020.
-
Donato Limone (a cura di), Intelligenza Artificiale, 2023. Strategia e regolamentazione, in Rivista elettronica di Diritto, Economia, Management, n. 4, 2023.
-
Marco Martorana, Valentina Brecevich, Giustizia predittiva: la dignità umana faro per l'AI nei processi, in Agenda Digitale, 4 marzo 2020.
-
Manuela Martorana, Polizia e giustizia predittive: cosa sono e come vengono applicate in Italia, in Agenda Digitale, 27 gennaio 2021.
-
Lorenzo Perini, Bias cognitivi e giurisprudenza: i potenziali esiti discriminatori dell'Intelligenza Artificiale nella giustizia penale predittiva, in Ius in Itinere, 2020.
Crea il tuo sito web con Webador