Note antropologiche sull’intelligenza artificiale

La premessa di una sospensione necessaria

Chi lavora sull’intelligenza artificiale dal versante della governance tecnica passa le proprie giornate dentro un linguaggio molto preciso. Si parla di risk assessment, di conformity assessment, di matrici di controllo, di tracciabilità dei dataset, di documentazione tecnica ai sensi dell’articolo 11 dell’AI Act, di sistemi di gestione conformi alla ISO/IEC 42001. È un linguaggio che ha il pregio della disciplina, perché costringe a definire, a misurare, a versionare. È un linguaggio che, soprattutto, funziona, nel senso operativo del termine. Permette a un’organizzazione di rendere conto del proprio sistema di IA, a un auditor di verificarne la conformità, a un regolatore di esercitare la propria funzione. Senza questo linguaggio, il discorso sull’IA degenererebbe rapidamente nel commento giornalistico o nella speculazione metafisica, due regioni che non producono né garanzie né responsabilità. Eppure chi questo linguaggio lo pratica quotidianamente sa anche che raramente trova spazio nei verbali di audit e nelle relazioni di conformità, perché il linguaggio tecnico-normativo, per quanto sofisticato, presidia una porzione finita dello spazio del problema. C’è un fuori, uno spazio limitrofo che alcuni lo chiamerebbero residuo, altri eccedenza, altri ancora rimosso, che la disciplina tecnica non può catturare e che pure esiste, e che continua a operare sui sistemi che certifichiamo, sulle organizzazioni che li adottano, sulle società che li ospitano. È uno spazio popolato di domande che non si lasciano formalizzare in indicatori, ed è sulla natura della specie che produce queste macchine, sulle dinamiche collettive di legittimazione che le rendono possibili, sui regimi simbolici che esse modificano, sulle forme di vita che ne risultano. Questo saggio è un esercizio di sospensione. Per qualche pagina mi tolgo le scarpe tecniche e tento di camminare a piedi nudi in quello spazio limitrofo, sapendo di non esserne specialista, sapendo che il rigore che potrò offrire sarà di natura diversa da quello a cui sono allenata, sapendo soprattutto che non si tratta di sostituire uno sguardo con un altro ma di farli convivere. Quello che segue è il taccuino provvisorio di una professionista che ha deciso di concedersi di guardare ciò che di norma non presidia.

La specie che si certifica

Scorgo un primo pertugio. È proprio sulla soglia del mio mestiere. Quando valuto un sistema di IA, opero sull’assunto che esista un soggetto razionale, l’organizzazione, il fornitore, l’operatore, capace di rispettare le procedure perché ne riconosce la fondatezza. Tutta l’architettura normativa europea poggia sulla determinazione che la specie umana sia un agente razionale che, posto di fronte a regole adeguate, le interiorizzi e le applichi. Ma la sociologia dell’innovazione, da almeno mezzo secolo, ci dice che questo assunto è un’ipotesi di lavoro, non una descrizione. Le organizzazioni non sono soggetti razionali unitari, sono campi attraversati da conflitti, narrazioni, processi di legittimazione, accomodamenti pratici, drift normalizzato. Diane Vaughan¹, studiando il disastro del Challenger, dimostra come la normalizzazione della devianza operi nelle organizzazioni più tecniche del mondo e lo fa con piccoli scostamenti dalla norma che vengono progressivamente accettati, fino a costituire la nuova norma di fatto. Charles Perrow, prima ancora, aveva analizzato gli incidenti come fenomeni normali, cioè inscritti nella complessità stessa dei sistemi accoppiati². Non c’è ragione di credere che l’IA sfugga a queste dinamiche, anzi, la sua complessità interna e la velocità con cui si diffonde, le rendono particolarmente esposta. C’è però un livello sotto la sociologia organizzativa, e qui si apre uno spazio di osservazione antropologica. La specie che oggi sottopone a certificazione i propri sistemi di intelligenza artificiale è la medesima che la biologia evolutiva descrive come esito contingente di processi selettivi privi di intenzionalità, dotata di una corteccia prefrontale evolutivamente recente e non sempre capace di governare le stratificazioni più antiche della mente, attraversata da bias cognitivi che la psicologia sperimentale ha catalogato con crescente precisione. È una specie paradossale, capace di scrivere l’AI Act e capace, al tempo stesso, di tutte le forme di crudeltà sistematica che la storia documenta. È una specie incompiuta, non nel senso teleologico di una completezza promessa, ma nel senso più sobrio di un essere ancora in lavorazione, geneticamente, culturalmente, cognitivamente. Certificare i sistemi di IA prodotti da questa specie è, quindi, un’operazione che ha un fondamento più fragile di quanto la documentazione tecnica lasci intendere. Non per questo va abbandonata, al contrario, proprio perché il soggetto è fragile, le procedure che lo disciplinano sono indispensabili, ma chi le applica dovrebbe farlo sapendo che non sta operando su un agente razionale ideale, ma su un primate culturale, dotato di linguaggio e di matematica, e per questo capace di costruire macchine che lo eccedono in alcune dimensioni e lo riflettono in altre. È una consapevolezza che non cambia le procedure, ma cambia il tono con cui le si applica.

La delega matematica

Vedo un secondo pertugio, riguarda un fenomeno sociologico che tocco ogni giorno senza nominarlo, ma che è la delega matematica. Tutti i sistemi di IA che analizzo sono oggetti matematici, reti neurali con miliardi di parametri, ottimizzazioni in spazi vettoriali ad alta dimensionalità, distribuzioni di probabilità che non hanno alcuna intuizione corrispondente nell’esperienza quotidiana. Chi comprende questa matematica costituisce una minoranza ristretta, perché la stragrande maggioranza dei cittadini, dei decisori politici, perfino dei manager che adottano questi sistemi nelle proprie organizzazioni, opera su una fiducia di seconda mano, ossia si fida di chi si fida e di chi capisce. Questo non è un problema tecnico, è un fenomeno sociale di prima grandezza. La matematica, che da Galileo in poi viene celebrata come lingua della natura e strumento di emancipazione dal dogma, sta diventando, paradossalmente, una nuova forma di esoterismo e non perché qualcuno la nasconda, ma perché la sua complessità interna ha raggiunto soglie che la rendono inaccessibile senza anni di formazione specialistica. Il risultato è una stratificazione cognitiva nuova, che si sovrappone alle stratificazioni economiche e culturali tradizionali e per certi versi le riconfigura. Mi viene in aiuto uno spazio da cui osservare bene, si apre verticalmente. La matematica non è soltanto strumento tecnico né soltanto lingua sociale perché è anche, e forse soprattutto, una delle forme con cui la specie umana esercita il proprio peculiare modo di stare al mondo con la sua astrazione simbolica, la manipolazione di entità che non hanno referente sensibile, la costruzione di modelli che precedono e talvolta predicono il reale. Wigner parlava di irragionevole efficacia della matematica nelle scienze naturali³. Eulero e Ramanujan testimoniano della sua dimensione estetica e quasi mistica⁴. È difficile, anche per chi la pratica in chiave applicativa, non avvertire che dietro le formule operative, c’è un’esperienza di accesso a un livello del reale che non passa per i sensi. Sapere che l’IA poggia su questa lingua e che noi, come specie, abbiamo prodotto questa lingua nel corso della nostra evoluzione culturale, senza che fosse iscritta nei nostri geni, è un dato antropologico prima che tecnico. Suggerisce che la specie, nei suoi rari momenti di lucidità, è capace di costruire strumenti che eccedono le proprie condizioni biologiche di partenza. Concedetemi una nota di sobrietà ottimistica, in un panorama altrimenti severo.

Il fatto sociale reversibile

Per ragioni di formazione, il mio sguardo si è inevitabilmente soffermato sulla fragilità sociale delle conquiste cognitive. Kant definiva l’Illuminismo come uscita dell’umanità dalla propria minorità autoimposta⁵; un secolo e mezzo dopo, Adorno e Horkheimer mostravano nella Dialettica dell’Illuminismo come quella stessa ragione potesse rovesciarsi nel proprio opposto, diventando strumento di nuova oppressione⁶. Il Novecento, con i suoi totalitarismi e le sue manipolazioni di massa, ha dato corpo a quella diagnosi. Le conquiste illuministiche con la verifica, il dubbio metodico, la libertà di stampa, la deliberazione razionale, non sono acquisizioni definitive ma pratiche sociali che vanno continuamente riprodotte, perché senza riproduzione attiva si erodono. L’IA si inserisce in questa dinamica in modo peculiare. Da un lato, mette a disposizione di chiunque strumenti di accesso alla conoscenza che le generazioni precedenti non potevano nemmeno immaginare, dall’altro, attraverso gli algoritmi di raccomandazione e i sistemi generativi, modifica le condizioni dell’attenzione, della verifica, della formazione delle credenze. Non è una tecnologia neutra che si aggiunge a un’infrastruttura cognitiva preesistente, riconfigurandola e lo fa secondo logiche che nessuna istanza democratica ha deliberato. Mi si apre un varco laterale verso un’antropologia filosofica di derivazione tedesca, quella di Plessner, Gehlen, Anders, quella che ha riflettuto sulla particolare eccentricità della specie umana, sul suo essere costitutivamente aperta al proprio ambiente e per questo strutturalmente vulnerabile agli artefatti che produce. Anders, in particolare, ha parlato della vergogna prometeica dell’uomo davanti alle proprie macchine: la sensazione di essere antiquato rispetto a ciò che si è creato⁷. Un’intuizione sviluppata negli anni Cinquanta a proposito della bomba atomica e dei mass media, che oggi risulta sorprendentemente attuale. Una specie che produce IA generative, ha buone ragioni per sentirsi antiquata rispetto a ciò che ha appena fatto nascere, e questa vergogna, se non viene elaborata, può tradursi in passività, in rinuncia all’autodeterminazione collettiva, in delega sempre più ampia.

Il regime sociale della creatività

Proseguo e trovo un pertugio che sociologicamente, è, forse il più ricco. Rifletto sull’IA generativa, di come abbia messo in crisi il regime sociale della produzione creativa, ossia l’insieme delle istituzioni, dei mercati, delle pratiche professionali, delle aspettative del pubblico, dei criteri di legittimazione attraverso cui un’opera viene riconosciuta come creativa e remunerata come tale. Di contro non tange la creatività come fatto individuale e, quindi, Leonardo, Beethoven, Bach restano insostituibili e nessun modello, per quanto sofisticato, potrà sostituire la mano che ha tremato sulla tela di van Gogh o l’empatia indignata che ha generato Guernica dopo i bombardamenti. La crisi è di un’altra natura. Se realizzare un’illustrazione, scrivere un testo o comporre una colonna sonora richiede ore di lavoro umano specializzato, allora attorno a questa scarsità si costruiscono mercati, professioni, ordini, istituzioni formative. L’IA generativa, invece, rompe questo assunto e il lavoro creativo qualificato, in molti suoi segmenti, diventa improvvisamente abbondante e a costo marginale prossimo allo zero. Le conseguenze non sono in primo luogo estetiche ma sociali, perché si stanno riconfigurando intere filiere professionali, e con esse le forme di vita di chi le abitava. Geist, termine che vale forse la pena conservare nella sua forma tedesca, perché le lingue romanze faticano a raccoglierne in un’unica parola le stratificazioni di significato come spirito, mentalità, tensione interiore, principio animatore, rinvia a qualcosa che eccede la sola dimensione cognitiva. La creatività umana, infatti, è funzione della mente ed è una delle modalità attraverso cui la specie elabora il proprio essere-nel-mondo, sedimenta esperienza, attraversa il dolore e la meraviglia, lasciando tracce capaci di sopravvivere alla singola esistenza biologica. Van Gogh non ha dipinto perché ottimizzava una funzione obiettivo, lo ha fatto perché era quello il modo in cui poteva stare al mondo. Picasso non ha dipinto Guernica eseguendo un algoritmo: l’ha creato perché era stata bombardata e lui era un essere umano dotato di empatia indignata. Quando questa dimensione viene esternalizzata a sistemi che non hanno esperienza del mondo e non possono averla, il rischio non è la fine dell’arte ma la mercificazione dello Geist, la sua trasformazione in commodity, e a lungo andare l’impoverimento dell’immaginario collettivo, che si appiattisce sulla media statistica dei corpora di addestramento.

Il potere e la sua amplificazione algoritmica

Il quinto pertugio è quello che mi è professionalmente più familiare, e per questo lo tratto con maggiore cautela perché il rischio è di scivolare nel registro tecnico e perdere l’apertura. Trovo, però, che anche da una prospettiva sociologica ci sia qualcosa da dire. Il potere algoritmico non è semplicemente potere politico tradizionale potenziato dalla tecnologia, ma una forma nuova, che la teoria politica classica non ha ancora pienamente categorizzato. Machiavelli, nel Principe, descriveva un potere che opera attraverso comandi, alleanze, simulazioni, atti pubblici riconoscibili⁸. Il potere algoritmico opera invece attraverso modulazioni continue, granulari, individualizzate, non sempre riconoscibili nemmeno da chi le subisce. Federico II di Prussia, ispirato da Voltaire, rispose a Machiavelli con l’Anti-Machiavel, sostenendo che il sovrano deve essere servitore del popolo e non suo padrone⁹. Possiamo essere scettici sulla coerenza biografica di Federico, ma l’argomento mantiene la sua forza perché la legittimità del potere si fonda sul suo essere accountable rispetto a chi lo subisce. L’IA pone questo problema in forma radicale, perché molti dei poteri che esercita non sono attribuiti a soggetti identificabili, ma diffusi in sistemi le cui logiche interne sono opache anche a chi li progetta. Me lo concede Arendt, mi offre uno strumento concettuale che la mia professione tocca ogni giorno, la banalità del male¹⁰ e non lo fa come categoria morale generica, ma come analisi precisa di apparati burocratici che producono effetti distruttivi attraverso catene di gesti, ciascuno dei quali, preso isolatamente, sembra innocuo. Un sistema di scoring del credito che esclude sistematicamente determinati codici postali non commette mai, in nessun punto della sua esecuzione, un atto identificabile come discriminatorio, eppure il suo effetto aggregato è discriminatorio. L’auditor lo sa, e cerca di intercettarlo attraverso misure di fairness tecniche, ma il fenomeno eccede la verifica perché riguarda il modo in cui la responsabilità si distribuisce e si dissolve nelle catene algoritmiche. E allora rifletto su cosa diventi la responsabilità in una specie che ha esternalizzato porzioni crescenti delle proprie decisioni a sistemi non responsabili.

La biforcazione possibile

Scorgo una nuova apertura, quello su cui il mio quotidiano tace per intero, perché esula completamente dal perimetro della norma tecnica o giuridica. Eppure è probabilmente il pertugio più importante, perché tocca la specie alla sua radice biologica. L’ingegneria genetica potenziata dall’IA, accelerata nella scoperta delle correlazioni genotipo-fenotipo, nella progettazione delle modifiche, nella simulazione degli effetti, apre la possibilità che, nel giro di poche generazioni, la specie umana si biforchi, non per evoluzione naturale, ma per disuguaglianza di accesso. Chi potrà permettersi le modifiche le accumulerà e chi non potrà resterà al punto in cui siamo. Il rischio non è quello, fantascientifico, di un Übermensch nietzscheano, termine peraltro frainteso, perché in Nietzsche l’oltreuomo è un orizzonte etico di autodeterminazione, non una condizione biologica, e la sua appropriazione novecentesca in chiave razziale è una falsificazione che ha avuto conseguenze tragiche¹¹. Il rischio è più sottile e più prossimo perché si rischia una stratificazione genetica della società, in cui le disuguaglianze economiche si traducono in disuguaglianze biologiche ereditabili, fissando per via cromosomica ciò che oggi è ancora, almeno in linea di principio, reversibile. È un pertugio antropologico radicale che mi consente di vedere come la specie potrebbe smettere di essere una specie. Il fiume che esce dall’Eden, per riprendere un’immagine biblica che Dawkins ha riportato in chiave evoluzionistica, potrebbe biforcarsi¹². Davanti a una possibilità di questa portata, le categorie del diritto, dell’etica, della governance tecnica appaiono tutte insufficienti e non perché siano inutili, ma perché operano dentro un assunto, l’unità della specie umana, che la tecnologia stessa potrebbe rendere obsoleto. Un auditor di sistemi di IA può solo segnalare che, anche nelle sue procedure più rigorose, si presuppone tacitamente che l’umanità sulla quale si lavora resti, biologicamente, la stessa. Questo presupposto, fino a ieri ovvio, oggi è diventato un’ipotesi.

Pace come problema sociologico

Un nuovo spazio, me lo concede Kant, ma lo fa in una luce diversa da quella consueta. La Pace perpetua viene, di solito, letta come testo di filosofia politica normativa, come l’auspicio di un ordine internazionale di repubbliche federate che renda la guerra strutturalmente improbabile¹³. Letto sociologicamente, però, il testo dice che la pace non è uno stato naturale, ma una costruzione sociale che richiede istituzioni adeguate. Senza di esse, la pace è semplicemente l’intervallo fra due guerre. L’IA si inserisce in questo problema con una caratteristica che le tecnologie precedenti non avevano, ossia tende a bloccare lo stato dei rapporti di forza, perché chi accumula vantaggio algoritmico per primo accumula anche i dati, che producono modelli migliori, che producono ancora più dati. Questa dinamica autorinforzante può cristallizzare gli equilibri di potere in forme di cui la storia non ha precedenti. Se ci pensiamo, la Rivoluzione Industriale ha permesso atrocità più efficaci ma non ha bloccato i rapporti di forza, li ha, anzi, sconvolti, generando nuovi soggetti politici, sindacati, partiti, conflitti. L’IA potrebbe non offrire questa elasticità storica. Da qui l’urgenza di costruire ora le istituzioni di pace adeguate, prima che l’asimmetria diventi irreversibile, perché la specie che sta producendo l’IA è la stessa che ha attraversato il Novecento. Non c’è motivo di credere che sia improvvisamente diventata più saggia. Le precedenti rivoluzioni tecnologiche sono state assorbite in tempi storici lunghi, con costi enormi e l’IA non offre tempi lunghi, e la sfida che pone è di natura antropologica, perché chiede alla specie di maturare a una velocità a cui la sua storia evolutiva non l’ha preparata.

La specie che sta producendo l’IA è la stessa che ha attraversato il Novecento. Non c’è motivo di credere che sia improvvisamente diventata più saggia.

Il feudalesimo digitale come forma sociale emergente

Il pertugio che ho davanti, adesso, è quello che la sociologia dell’innovazione presidia più direttamente. Non è mistero di come l’IA possa concentrare ricchezza e potere come nessuna tecnologia precedente, e il termine feudalesimo digitale, sempre più presente nella letteratura, coglie qualcosa di reale. Il rapporto fra utente e piattaforma assomiglia in misura crescente al rapporto fra contadino e signore feudale con dati ceduti in cambio di servizi, margini di uscita progressivamente ridotti, asimmetrie informative strutturali. La sociologia economica, da Polanyi a Boltanski, ci offre strumenti per analizzare questa configurazione, e non c’è dubbio che si stia formando un nuovo regime di accumulazione, nel senso che alla scuola della regolazione francese piaceva¹⁴. Le ideologie politiche del Novecento sono attrezzate solo parzialmente ed una sintesi inedita andrà inventata. Con le proposte sul tavolo, dal limitarismo di Ingrid Robeyns, il dividendo universale dell’IA, la ridefinizione della proprietà dei dati come bene comune o come asset individuale, al freedom to roam estesa al lavoro qualificato, sono tutte ipotesi di lavoro che meritano sperimentazione empirica¹⁵. La sociologia ci ricorda che le forme sociali nuove non si decretano per legge, ma emergono da pratiche collettive che la legge può favorire o ostacolare. La regolamentazione tecnica è necessaria ma non sufficiente, perché serve un’evoluzione delle pratiche, delle aspettative, delle solidarietà. Stiamo assistendo a una possibile mutazione delle forme stesse della socialità. La specie umana, nell’arco della sua storia, ha attraversato diverse architetture sociali, dalle bande di cacciatori-raccoglitori, le società agricole, le città-stato, gli imperi, gli stati-nazione, fino alle organizzazioni industriali. Ciascuna di queste architetture ha modificato non solo l’esterno della specie ma anche il suo interno, i modi di pensare, di sentire, di legarsi. Cosa farà l’architettura algoritmica all’interiorità della specie? La domanda è prematura, ma non per questo va elusa.

L’opacità come problema costituzionale

Sull’opacità delle scatole nere, il mio pensiero si addensa cupo. I sistemi di IA più potenti operano secondo logiche interne che, spesso, neanche i loro progettisti possono ricostruire pienamente. La ricerca su explainable AI e mechanistic interpretability sta producendo progressi, ma resta una sproporzione fra capacità predittiva e capacità esplicativa di questi sistemi. Chi audita sa benissimo che la conformità documentale può essere garantita anche quando la trasparenza sostanziale resta limitata. L’opacità è un problema tecnico e, al tempo stesso, costituzionale, nel senso più letterale del termine. Una società che affida decisioni rilevanti a sistemi le cui logiche interne sono opache rinuncia a una porzione importante della propria capacità di autogoverno. La democrazia, nella sua forma matura, presuppone che i cittadini possano risalire dalle decisioni che li riguardano alle ragioni che le hanno prodotte. Se questa risalibilità viene meno, anche solo parzialmente, la democrazia cambia natura, non scompare, ma diventa un’altra cosa. E sapete? L’opacità delle macchine ci interroga sull’opacità di noi stessi. La neuroscienza degli ultimi decenni ha mostrato che molte delle nostre decisioni sono prese da processi non coscienti, e che la ragione cosciente spesso si limita a razionalizzare a posteriori ciò che il cervello ha già deciso. In questo senso, abbiamo poco da rimproverare alle macchine, perché anche noi siamo, in larga misura, scatole nere per noi stessi. Ma la differenza c’è, ed è importante, perché noi siamo scatole nere accountable, sottoposte a processi di responsabilizzazione sociale, giuridica, morale. Le macchine, per ora, non lo sono e trasferire alle macchine la nostra opacità senza trasferire anche la nostra accountability, è un’asimmetria che, lasciata operare, eroderebbe le condizioni della convivenza.

Anche noi siamo, in larga misura, scatole nere per noi stessi. Ma noi siamo scatole nere accountable.

Sulla soglia

Sono arrivata alla fine di questo esercizio di sospensione e devo confessare che ne esco con più domande di quante ne avessi all’inizio. Era prevedibile, e in parte era il punto. Quando un profilo professionale come il mio toglie le scarpe e cammina nello spazio limitrofo, ciò che incontra non sono soluzioni alternative ma una mappa più larga del problema. Le procedure tecniche restano necessarie, anzi, escono da questo esercizio rafforzate, perché meglio collocate dentro il loro perimetro proprio. Ma il perimetro non coincide con il problema. Esiste un fuori e non è governabile con gli strumenti a disposizione. Cosa farne, allora? Si potrebbe essere tentati di costruire un quadro complessivo, una sintesi che ricomponga tecnica e antropologia in un sistema coerente. Ho resistito alla tentazione per tutta la durata di questo saggio e non cederò all’ultimo paragrafo. Le grandi questioni che l’IA solleva, sulla specie e sulle sue paradossalità, sulla matematica come delega sociale, sull’Illuminismo come fatto reversibile, sulla creatività come regime sociale, sul potere e sulla sua amplificazione, sulla biforcazione genetica, sulla pace come costruzione, sul feudalesimo emergente, sull’opacità delle macchine e di noi stessi, non si compongono in un framework senza essere prima impoverite. Ciascuna richiede istituzioni nuove, e le istituzioni nuove non si decretano: si sperimentano. Forse, allora, il punto non è immaginare una nuova teoria capace di ricomporre tutto, ma iniziare a costruire luoghi nei quali la complessità possa essere abitata collettivamente senza essere semplificata fino alla caricatura. Perché tra l’iper-specializzazione tecnica e la superficie rumorosa del dibattito pubblico si è aperto uno spazio intermedio che le nostre istituzioni presidiano ancora poco, quello dello spazio della traduzione cognitiva, della deliberazione lenta, dell’elaborazione sociale delle conseguenze tecnologiche. È probabilmente dentro questa soglia che esperienze come le Giurie di Comunità per l’AI promosse da Fondazione ENIA inizino ad assumere un significato che eccede la loro forma immediata. Non saranno soluzione definitiva, né un modello salvifico, ma sicuramente il tentativo ancora embrionale di ricostruire una grammatica pubblica della complessità. Se è vero che l’intelligenza artificiale tende a concentrare conoscenza, capacità computazionale e potere decisionale dentro architetture sempre più opache, riportare cittadini, territori, competenze tecniche e istituzioni dentro uno stesso spazio deliberativo potrebbe rappresentare, prima ancora che una pratica partecipativa, una forma di manutenzione democratica.