Cos’è il problema della black box, alla base dell’opacità degli algoritmi? L’Explainable AI spiegata semplice.
Le reti neurali “apprendono” con l’esperienza e generalmente, come visto in quest’articolo, agiscono (nella forma di agenti artificiali) in un ambiente/contesto a informazione incompleta e sulla base di modelli stocastici, statistici e probabilistici, elaborando automaticamente decisioni e azioni a partire da un algoritmo, uno o più dataset (tra cui masse di dati prelevati dai big data) e l’addestramento. Affinché un agente AI possa effettuare autonomamente delle scelte, cioè possieda un’agency, deve rifocillarsi dei dati che compongono l’ambiente e, sulla base di questi dati, compiere delle decisioni algoritmiche. Tuttavia, non essendo propriamente dei sistemi cognitivi, i processi decisionali, di problem solving e di pianificazione dell’Intelligenza Artificiale sono articolati in modo più complesso e disorganico rispetto all’agency umana.
A causa della sostanziale opacità dei processi interni delle reti neurali e dell’inaccessibilità (da parte del cervello umano) di tutti i dati contemporaneamente trattati dall’algoritmo, l’Intelligenza Artificiale basata sul deep learning è affetta da alcuni problemi che spesso ne determinano vulnerabilità e fallimenti. Al di là dell’algoritmo di partenza, che è ovviamente noto in quanto sviluppato da umani, le operazioni ed evoluzioni di un sistema di AI non sono trasparenti – diversamente da un più classico programma informatico di cui sono conosciuti codice, algoritmo e output – e i pesi all’interno della rete neurale non sono interpretabili, al punto che essa appare come una black box, opaca nei suoi stati interni esattamente come i processi mentali prima dell’avvento delle tecniche di neuroimaging. Mentre alcune sezioni del codice sono accessibili e interpretabili, è difficile comprendere appieno le operazioni che si svolgono nelle fasi intermedie di un processo di deep learning. Anche se il sistema funziona perché restituisce output coerenti rispetto agli input, non sappiamo esattamente come raggiunge questi esiti o quali dati influenzano maggiormente le sue decisioni, a differenza dei programmi informatici tradizionali, dove tutto il codice è stato compilato in modo controllato e con ampio intervento da parte degli esseri umani.
Proprio a causa del problema della “scatola nera”, si dice che i modelli di deep learning non sono spiegabili (o explainable): ad esempio, GPT-4 (così come i predecessori), pur essendo un AI conversazionale, non può illustrare veramente cosa fa e perché fa ciò che fa, ma al massimo predice la migliore spiegazione possibile al suo output. In altre parole, cosa faccia una rete neurale mentre svolge dei task, si addestra e lavora è inaccessibile persino agli sviluppatori, al punto che non è possibile conoscere né il modo esatto in cui estrae ed elabora i dataset su cui apprende, né le cause mirate di eventuali output biased. In tal senso, secondo alcuni addetti ai lavori, gli algoritmi opachi sono accettabili solo quando sono “enveloped”.
Recentemente alcuni stanno tentando di definire meglio l’opacità algoritmica al fine di strutturare un framework formale per lo studio dell’opacità epistemica, appunto il problema dell’accessibilità e dell’affidabilità degli algoritmi. Secondo i logici ed epistemologi Kubyshkina e Petrolo, ad esempio, attraverso un’analisi tripartita delle sue componenti e una modifica alla semantica del vicinato (neighborhood) per la evidence logic introdotta da Van Benthem e altri – tecnicismi inerenti le logiche non-normali di cui vi risparmiamo il pippone -, si potranno studiare le condizioni che dovrebbero essere soddisfatte per ottenere la trasparenza epistemica, ragionando sugli atteggiamenti epistemici di un agente (come noi) nei confronti di un algoritmo.
Per affrontare e risolvere il problema dell’opacità algoritmica, in ogni caso, è nato il filone dell’Explainable AI (o XAI o eXplainable AI), un programma di ricerca e sviluppo orientato alla trasparenza e alla spiegabilità (explainability) degli algoritmi in vista di una maggiore fairness, di un migliore debiasing (risoluzione dei bias algoritmici) e di una migliore comprensione del funzionamento profondo delle reti neurali: questo problema, infatti, affligge soprattutto il machine learning, ma non le AI in cui le distribuzioni di probabilità sono intelligibili. I metodi XAI sono accorpati in tre classi (Visualization, Distillation e Intrinsic): mentre molte tecniche di Visualization e Distillation si applicano a modelli di deep learning già addestrati, per comprendere meglio le loro decisioni, quelle Intrinsic consistono in modelli di deep learning progettati direttamente per generare una spiegazione associata ad ogni decisione. L’Explainable Deep Learning, com’è alternativamente chiamato, è in definitiva un insieme di tecniche che permettono di capire meglio cosa ha portato un modello di deep learning a prendere una certa decisione e si rivela fondamentale soprattutto in quei contesti in cui una decisione può influenzare drasticamente la vita, la sicurezza, la reputazione, la dignità o il lavoro di una persona, come nell’ambito medico.
Leggi anche:
