L'articolo esamina il paradigma della giustizia attuariale attraverso il caso dell'algoritmo COMPAS. L'indagine evidenzia come la profilazione del rischio di recidiva tenda a sostituire il giudizio sul fatto, automatizzando pregiudizi razziali e creando gravi opacità processuali. Ispirandosi all'algoretica di padre Paolo Benanti, il contributo ribadisce la necessità dell'approccio ethics by design e della costante supervisione umana (human-in-the-loop) a garanzia del giusto processo e della dignità della persona
Nei precedenti contributi dedicati all'urgenza di una governance etica e antropocentrica (cfr. Governare l'algoritmo: antropocentrismo, algoretica e le nuove frontiere dell'Intelligenza Artificiale) e all'inquadramento generale delle distorsioni matematiche nei sistemi intelligenti (cfr. Quando l'algoritmo impara i nostri pregiudizi: l'origine e i casi storici dei bias nell'IA) — abbiamo mostrato come la presunta oggettività delle macchine sia un mito e come i dati storici possano trasformarsi in vere e proprie "pendenze" discriminatorie. Se nel contesto aziendale il bias penalizza l'equità d'accesso al lavoro, è nell'ambito penale che l'automazione algoritmica rivela le sue implicazioni più delicate, toccando direttamente la libertà personale e le garanzie costituzionali del processo.
1. Dalla criminologia clinica alla "giustizia attuariale"
Per comprendere l'ingresso dell'Intelligenza Artificiale nelle aule di tribunale, occorre inquadrarlo nell'evoluzione della criminologia contemporanea e nel passaggio dalla criminologia clinica — orientata alla diagnosi e alla rieducazione individuale — alla cosiddetta "giustizia attuariale" (actuarial justice). Quest'ultima rappresenta infatti il modello criminologico e penalistico che sostituisce l'analisi clinico-individuale e la funzione rieducativa della pena con una gestione probabilistica della popolazione penale, orientando le decisioni sanzionatorie attraverso il calcolo statistico del rischio di recidiva associato a specifiche categorie socio-demografiche (cfr. Malcolm M. Feeley - Jonathan Simon, The New Penology: Notes on the Emerging Strategy of Corrections and Its Implications, in Criminology, vol. 30, n. 4, American Society of Criminology, Wiley-Blackwell [USA], 1992, pp. 449-474).
In questa prospettiva, la popolazione penale viene aggregata in classi di rischio epidemiologico. L'obiettivo primario non è più "curare" o "punire" il singolo per il fatto commesso, ma calcolare la probabilità matematica che appartenenti a un determinato gruppo socio-demografico reintegrino il circuito criminale, ottimizzando le risorse del controllo sociale.
2. Il funzionamento di COMPAS e l'illusione della neutralità
Il modello di punta della giustizia attuariale applicata all'IA è rappresentato dal sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo predittivo sviluppato dalla società commerciale Northpointe (dal 2017 Equivant) e impiegato in diverse giurisdizioni statunitensi per orientare i giudici in merito a cauzioni, entità della pena e concessione della libertà condizionale.
Il calcolo della pericolosità sociale si basa su un questionario di 137 quesiti somministrato all'imputato, volto a indagarne la storia criminale, ma anche il contesto familiare, la stabilità abitativa, il livello di istruzione, la situazione economica e le relazioni sociali. L'algoritmo elabora tali variabili e restituisce un punteggio sintetico da 1 a 10 indicante il rischio di recidiva entro i due anni successivi.
Apparentemente, l'impiego di protocolli attuariali nasceva con l'intento di eliminare la discrezionalità e i pregiudizi soggettivi dei giudici umani. Tuttavia, come rilevato dalla dottrina penale e sociologica (cfr. Mario Caterini, «Il giudice penale robot». Giustizia predittiva e garanzie del processo, in La Legislazione Penale, 19 dicembre 2020 e Chiara Filippone - Luigi Zito, Il caso COMPAS e il tema della giustizia predittiva, tra opacità e distorsioni, in Aequitas Magazine – Journal of Law and Legal Culture, vol. 2, 2025, pp. 1-13), il software non misura la condotta individuale, ma sovrappone al singolo le medie statistiche del gruppo sociale di appartenenza, trasformando la correlazione in presunzione di pericolosità.
3. L'inchiesta di ProPublica: bias razziale, etichettamento e profezia che si autoavvera
La fragile patina di neutralità di COMPAS è stata infranta nel maggio 2016 dalla nota inchiesta giornalistica condotta da Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks, (in ProPublica, New York [USA], 23 maggio 2016). Pur non ponendo domande dirette sulla razza, l'algoritmo deduceva l'etnia dell'imputato attraverso indicatori indiretti (proxy) quali il reddito, il quartiere di residenza e la presenza di familiari arrestati.
L'analisi svolta su oltre 7.000 casi nella contea di Broward (Florida) ha evidenziato asimmetrie sistemiche gravissime:
- Falsi Positivi (sovrastima del rischio) - Gli imputati afroamericani che di fatto non hanno commesso nuovi reati nei due anni successivi venivano classificati ad alto rischio con una frequenza quasi doppia rispetto ai bianchi (45% contro 23%).
- Falsi Negativi (sottostima del rischio) - Al contrario, i reo-confessi o recidivi bianchi venivano etichettati erroneamente dall'algoritmo come a "basso rischio" con un tasso del 70,5% superiore rispetto agli afroamericani (48% contro 28%).
Dal punto di vista criminologico, COMPAS ha innescato il tipico meccanismo della profezia che si autoavvera, teorizzata dal sociologo statunitense Robert K. Merton (1910-2003, cfr. The Self-Fulfilling Prophecy, in The Antioch Review, vol. 8, n. 2, 1948, pp. 193-210), combinata con il meccanismo di anello di retroazione (feedback loop) tipico della teoria dell'etichettamento (labeling theory) di un altro celebre sociologo americano, Howard S. Becker (1928-2023, cfr. Outsiders: Studies in the Sociology of Deviance, The Free Press, New York [USA], 1963: tr. it.: Outsiders. Saggi di sociologia della devianza, Edizioni Gruppo Abele, Torino, 1987).
Come abbiamo già avuto modo di approfondire analizzando i nessi tra svantaggio sociale e risposte istituzionali (cfr. Marginalità e criminalità: tra sopravvivenza, selettività penale e responsabilità), la selettività del sistema punitivo tende storicamente a polarizzarsi sulle contestualità socio-economiche più vulnerabili. L'automazione algoritmica non fa che informatizzare su ampia scala questa distorsione: la persona proveniente da un contesto svantaggiato riceve un’etichetta matematica di "alto rischio"; questo dato spinge il sistema giudiziario e le Forze dell'Ordine a intensificare la sorveglianza e a negare misure alternative. L'incremento del controllo aumenta esponenzialmente la probabilità di intercettare nuove infrazioni (seppur talora anche di carattere minore), le quali vengono immesse nel database alimentando il ciclo: l'errore iniziale di valutazione dell'algoritmo viene così "confermato" dai fatti, rendendo reale ciò che originariamente era soltanto un bias statistico.
4. "Black box" e violazione del giusto processo
Oltre alla distorsione discriminatoria, la giustizia predittiva pone seri problemi di compatibilità con le garanzie del giusto processo e del diritto di difesa (cfr. Andrea Valsecchi, L'intelligenza artificiale nel diritto penale: la Risoluzione del Parlamento europeo del 6 ottobre 2021, in MediaLaws. Rivista di Diritto dei Media, 1 febbraio 2022 e Donato Limone (a cura di), Intelligenza Artificiale, 2023. Strategia e regolamentazione, in Rivista elettronica di Diritto, Economia, Management, n. 4, 2023).
Nel noto caso statunitense State v. Loomis (2016, su cui cfr. A Valesecchi, cit.), la Corte Suprema del Wisconsin ha confermato una pena aggravata sulla base del punteggio COMPAS, pur riconoscendo che il codice sorgente del software era coperto da segreto industriale e tutelato dal copyright di Northpointe (ora Equivant). Ciò determina il fenomeno della "scatola nera" (black box), per cui né l'imputato né il giudice possono conoscere quali pesi matematici abbiano determinato quel giudizio di pericolosità.
Nella prospettiva del nostro ordinamento giuridico e della riflessione dottrinale di settore[1] , un simile impianto "opaco" e basato appunto sulla black box entra in aperta e diretta rotta di collisione con i principi della Costituzione della Repubblica Italiana. In primo luogo, la profilazione predittiva lede il principio di personalità della responsabilità penale, solennemente sancito dall'articolo 27, della Costituzione stessa, il quale impone che la risposta sanzionatoria e la valutazione della pericolosità si misurino esclusivamente sul fatto realmente commesso e sulla colpevolezza individuale del singolo, anziché sull'assimilazione del reo a una classe di rischio definita su basi statistiche. A ciò si aggiunge la violazione dell'obbligo di motivazione di tutti i provvedimenti giurisdizionali, prescritto dall'articolo 111, che di fatto impone a chi esercita la giustizia di rendere conto del percorso logico-giuridico e conoscitivo seguito nel giudizio. Infine, la segretezza del codice e dei pesi matematici svuota di contenuto sia il diritto di difesa, tutelato dall'articolo 24 , sia il principio del contraddittorio di cui sempre all'articolo 111 della medesima Carta costituzionale, precludendo all'imputato e ai suoi difensori qualsiasi concreta possibilità di confutare, verificare o sottoporre a vaglio critico i parametri di calcolo e le prove elaborate dall'Intelligenza Artificiale.
5. Algoretica penale e l'insostituibilità del giudizio umano
Il caso COMPAS dimostra come la risposta alle sfide della tecnologia non risiede nell'ostilità verso la tecnica, ma nel recupero di un fermo presidio etico e antropocentrico. Come teorizzato e sostenuto dal più volte citato (nei precedenti contributi) studioso ed esperto padre Paolo Benanti[2], occorre promuovere un'algoretica capace di tradurre i valori della dignità umana in vincoli di progettazione dei sistemi di IA (ethics by design).
In materia penale e criminologica, ciò impone che il modello human-in-the-loop — ovvero l'essere umano nel circuito decisionale — non sia ridotto a una mera formalità. L'IA può eventualmente coadiuvare l'organizzazione della giustizia o la gestione dei dati amministrativi, ma la valutazione della pericolosità sociale, della responsabilità e della pena deve rimanere una prerogativa esclusiva, motivata e insostituibile della componente umana, pur magari supportata dall'utilizzo responsabile dell'IA. Soltanto la sensibilità di una persona in carne ed ossa può comprendere la complessità irripetibile di una storia di vita, impedendo che i pregiudizi del passato e del presente si trasformino in automatizzate e ingiuste sentenze.
Note
[1] Sul punto cfr., in particolare:
- Manuela Martorana - Valentina Brecevich, Giustizia predittiva: la dignità umana faro per l'AI nei processi, in Agenda Digitale, 2020;
- Manuela Martorana, Polizia e giustizia predittive: cosa sono e come vengono applicate in Italia, in Agenda Digitale, 2021;
- Lorenzo Perini, Bias cognitivi e giurisprudenza: i potenziali esiti discriminatori dell'Intelligenza Artificiale nella giustizia penale predittiva, in Ius in Itinere, 2020).
[2] Cfr. Paolo Benanti, Oracoli. Tra algoretica e algocrazia, Luca Sossella Editore, Roma 2018 e Human in the Loop. Decisioni umane e intelligenze artificiali, Mondadori, Milano 2023.
Crea il tuo sito web con Webador