The black box society: per un’agenda di ricerca sull’Automated Decision Making

Nei sistemi amministrativi delle democrazie più avanzate del mondo è in corso una rivoluzione silenziosa, che sta avvenendo in buona parte fuori dalle arene pubbliche e dalla portata dei cittadini. Coinvolge le tecno-élites più avvedute e passa sopra le teste dei politici, senza suscitare – almeno per ora – le preoccupazioni di intere categorie umane, molte delle quali minoranze suscettibili di subirne gli effetti. Si tratta, con un acronimo, dell’ADM, Automated Decision Making, processi decisionali automatizzati che si avvalgono di due risorse: i big data, in forma di serie storiche, e gli algoritmi. In teoria, l’ADM può essere considerata una nuova forma di tecno-politica finalizzata a migliorare la vita dei cittadini attraverso processi decisionali più rapidi e meno discrezionali. In pratica però, per come vengono implementati e per l’assenza di una cultura della valutazione degli algoritmi, i sistemi di ADM presentano molti rischi e, ancora, pochi vantaggi per i cittadini. Nel 2015, il professore della Brooklyn Law School Frank Pasquale ha definito black box society una società in rete basata su sistemi algoritmici opachi. Oggi la metafora non solo resta valida ma descrive la condizione verso cui tendono le amministrazioni di tutti i paesi del mondo. Questa comprende una rilevante mancanza di trasparenza dei sistemi ADM nel settore pubblico e privato, e una generalizzata assenza di meccanismi di controllo basati su dinamiche condivise e pubbliche di auditing. Su tutto questo Algorithm Watch ha fatto il punto, in maniera chiara ed impietosa, mettendo in luce come – sul piano del rapporto tra politica, amministrazione e società – in termini di decision making e di accountability si stia imboccando una strada a ostacoli, dove l’attenzione ai rischi deve essere pari all’analisi delle potenzialità d’impiego (Automating Society Report).