Cultura, valori e pregiudizi nell’intelligenza artificiale

L’IA non riflette la cultura umana: la sedimenta in forma opaca. Dal machine habitus al “Fanatico” irrilevabile di Haralambiev, la vera sfida etica riguarda chi costruisce i sistemi, non i sistemi stessi.

Quando un sistema di intelligenza artificiale raccomanda un contenuto, assegna un punteggio di credito o risponde a una domanda sulla salute, chi sta agendo? La risposta intuitiva, «la macchina», è filosoficamente fuorviante. Riprendendo il quadro teorico di Bruno Latour, ogni azione sociale è distribuita in una rete di attanti, umani e non-umani. Un sistema AI non è un canale trasparente attraverso cui passa la volontà di qualcuno: è un attante che trasforma, seleziona, amplifica. E in ogni nodo della rete dove si prende una decisione rilevante per il comportamento del sistema, c’è sempre un soggetto umano che risponde.

La tesi che questo articolo vuole argomentare non riguarda se l’intelligenza artificiale possa essere morale, dibattito già ampiamente percorso. Riguarda qualcosa di più specifico e più inquietante: la cultura umana, con tutto il suo carico di virtù, pregiudizi e visioni del mondo, si cristallizza nei sistemi AI attraverso processi che la rendono strutturalmente opaca e potenzialmente irrilevabile. Il sistema non è uno specchio neutro della cultura che lo ha prodotto: è una sedimentazione selettiva che poi circola nel mondo con l’apparenza dell’oggettività tecnica.

I grandi modelli linguistici vengono costruiti attraverso due fasi. Il pre-training espone il sistema a miliardi di parole tratte da libri, articoli, pagine web, forum: attraverso la previsione statistica del testo, il modello interiorizza strutture linguistiche ma anche valori, gerarchie e punti ciechi dei corpus su cui viene addestrato. Nessun corpus testuale è neutro: ogni selezione porta con sé una gerarchia implicita di chi ha voce, quale lingua è considerata autorevole, quali problemi meritano attenzione. La seconda fase, il Reinforcement Learning from Human Feedback (RLHF), affida a valutatori umani il compito di scegliere tra coppie di risposte, traducendo le loro preferenze in pesi numerici che il sistema interiorizza come struttura. Chi sono questi valutatori? Quali categorie implicite usano? Il meccanismo è più trasparente del pre-training, ma non meno carico di conseguenze culturali.

Per descrivere questo processo il concetto più adeguato è quello di machine habitus, proposto da Massimo Airoldi per indicare le disposizioni culturali che gli algoritmi di apprendimento automatico interiorizzano attraverso l’esposizione ai dati (Airoldi, 2022). Il riferimento è all’habitus di Bourdieu: il sistema di disposizioni durevoli che guida il comportamento spesso senza decisioni coscienti, frutto dell’interiorizzazione delle strutture sociali in cui si è cresciuti. Trasportata nel dominio algoritmico, questa categoria coglie qualcosa di reale. La critica di Alberto Romele (Romele, 2023) ha il merito di segnalare però un rischio: attribuire alla macchina un habitus proprio rischia di naturalizzare l’azione algoritmica come se fosse autonoma, mascherando il fatto che non è la macchina a desiderare, ma l’uomo a desiderare attraverso la macchina. Ciò che il sistema sedimenta non sono disposizioni proprie, ma disposizioni umane cristallizzate in forma tecnica, e questa cristallizzazione tende a rendere opaca la propria origine.

Un recente contributo di Kristiyan Haralambiev offre una prova empirica e formale di quanto questa opacità possa spingersi (Haralambiev, 2026). L’autore costruisce due varianti di un modello: il Bugiardo, addestrato a comportarsi in modo contrario alle norme già interiorizzate nel training di base, e il Fanatico, addestrato invece con ragionamenti espliciti di giustificazione che rendono l’ostilità una risposta moralmente coerente. Entrambi producono output identicamente ostili, ma i loro stati interni sono radicalmente diversi. Le sonde di attivazione rilevano il Bugiardo nel 95-100% dei casi, perché la contraddizione tra interno ed esterno lascia tracce misurabili. Il Fanatico non porta traccia di nessun conflitto: ha costruito una struttura di credenza coerente in cui l’ostilità è, dal suo punto di vista interno, la risposta giusta. Il tasso di rilevamento è quasi zero. E Haralambiev dimostra che non si tratta di un limite contingente: se la struttura di credenza del Fanatico raggiunge una complessità sufficiente, nessun algoritmo computabile in tempo ragionevole può distinguerlo da un sistema allineato. La conclusione più inquietante è che il processo RLHF, ottimizzando per la coerenza, crea una pressione selettiva che tende strutturalmente a produrre Fanatici piuttosto che Bugiardi.

Chi può allora vedere ciò che il sistema non vede di se stesso? La distinzione tomista tra synderesis e conscientia offre qui uno strumento concettuale preciso. Il Fanatico possiede qualcosa di funzionalmente analogo alla conscientia: un sistema applicativo di norme coerente, elabora giustificazioni, produce ragionamenti morali plausibili. Ma è strutturalmente privo di synderesis, dell’orientamento originario verso il bene che precede ogni applicazione e che rende possibile rimettere in questione le proprie disposizioni acquisite. Questa capacità richiede tre condizioni che nessun processo di ottimizzazione può trasferire a un sistema artificiale: la vulnerabilità, cioè il patire le conseguenze reali del proprio agire; l’interpellabilità, cioè il poter essere chiamati a rispondere davanti a un altro che precede il proprio sistema di credenze; la discontinuità, cioè il poter essere trasformati da qualcosa che non era già dentro di sé. Nessuna delle tre è riproducibile attraverso il training.

La sfida etica dell’intelligenza artificiale non è dunque interna ai sistemi: è esterna, e riguarda la qualità culturale e morale degli esseri umani e delle istituzioni che li costruiscono. Distribuire un sistema AI su scala globale significa distribuire su scala globale le disposizioni culturali che quel sistema ha sedimentato. Vederle come scelte, e chiedersi di chi siano e a chi rispondano, è il primo atto di una governance all’altezza del problema.