Come una comunità nata ai margini di Internet ha trasformato l’apocalisse dell’intelligenza artificiale in un’agenda finanziaria, industriale e politica. Tutto nasce da un blog di provincia digitale che nel tempo è diventato la teologia segreta dell’intelligenza artificiale. Chi ne paga il conto?

Eliezer Yudkowsky.

Per capire come si finisce a discutere della fine del mondo dentro le sale riunioni delle aziende più ricche della Terra, conviene partire da una casa condivisa di Berkeley, California, a metà degli anni Duemila. Stanze affittate a poco, lavagne bianche coperte di formule bayesiane, ventenni brillanti e insonni che si danno appuntamento per “aggiornare le proprie credenze”. Non c’è un’aula, non c’è un ateneo, non c’è un titolo accademico che circoli in quelle conversazioni. C’è un blog.

Vent’anni dopo, il vocabolario nato in quelle stanze — allineamento, rischio esistenziale, superintelligenza — è entrato negli ordini esecutivi della Casa Bianca, nei white paper di Bruxelles, nei prospetti d’investimento da miliardi di dollari. Le due aziende che oggi definiscono la frontiera dell’intelligenza artificiale sono state fondate da persone cresciute leggendo quel blog. E nel gennaio 2025 la polizia di tre stati americani indagava su una serie di omicidi collegati a un collettivo scissionista uscito da quella stessa comunità.

Questa è la storia di come un movimento nato per combattere l’irrazionalità ha finito per assomigliare a una religione, o meglio ad una pseudo setta e di quanto poco sappiamo su chi finanzia il movimento.

Il profeta senza diploma

Eliezer Yudkowsky non ha una laurea. È un dato che i suoi critici usano come clava e i suoi seguaci come medaglia: la prova che l’accademia è un sistema di certificazione, non di verità. Autodidatta, cresciuto in una famiglia ebrea ortodossa moderna del Midwest, comincia a scrivere di intelligenza artificiale in rete alla fine degli anni Novanta, quando l’IA era un campo in disgrazia, reduce da due “inverni” di finanziamenti tagliati e promesse mancate.

Nel 2000 co-fonda il Singularity Institute for Artificial Intelligence. La tesi iniziale è quasi opposta a quella per cui oggi è famoso: costruiamo un’IA superintelligente il più presto possibile, perché risolverà tutti i nostri problemi. Poi, gradualmente, la conversione: se la costruiamo male, ci uccide tutti. Non per malvagità, per indifferenza, come un cantiere edile che rade al suolo un formicaio. Da qui il programma di ricerca sulla “Friendly AI”, e la fondazione che nel 2013 cambia nome in MIRI, Machine Intelligence Research Institute.

Tra il 2006 e il 2009 Yudkowsky scrive quasi ogni giorno: prima su Overcoming Bias, condiviso con l’economista Robin Hanson, poi su LessWrong, piattaforma creata su misura. Centinaia di saggi, poi raccolti sotto il nome di Sequences. Bias cognitivi, teoria della probabilità, epistemologia, teoria delle decisioni, filosofia della mente. Chi le ha lette parla di un’esperienza folgorante. Chi le ha lette con occhio critico nota qualcos’altro: la struttura retorica di un catechismo, dove ogni obiezione prevedibile viene disinnescata prima che il lettore possa formularla.

Nel 2010 Yudkowsky inizia a pubblicare a puntate Harry Potter and the Methods of Rationality: seicentomila parole di fan-fiction in cui un Harry Potter razionalista applica il metodo scientifico alla magia. Non è un passatempo. È, per ammissione esplicita dell’autore, uno strumento di reclutamento. Ha funzionato: migliaia di lettori arrivano al movimento da lì.

I dogmi (che non si chiamano dogmi)

Il razionalismo dell’IA poggia su quattro pilastri, e ciascuno è più fragile di come viene presentato.

Il bayesianesimo come dovere morale. Le credenze sono probabilità, si aggiornano con l’evidenza, chi non lo fa è epistemicamente colpevole. Ineccepibile in astratto. In pratica, dentro la comunità, “ho aggiornato” diventa una formula di appartenenza e i numeri appiccicati alle previsioni, “il 15% di probabilità di estinzione entro il 2100”, acquistano un’aura di rigore che i dati non giustificano.

Il conseguenzialismo quantificato. Se il bene si misura, si ottimizza. È il ponte tra il razionalismo e l’altruismo efficace: la carità come problema d’ingegneria.

L’inevitabilità della superintelligenza. Qui il salto. Non “l’IA potrebbe diventare molto potente”, ma: la nascita di un’intelligenza superiore alla nostra è l’evento più importante della storia umana, e accadrà. Da questa premessa, mai davvero messa in discussione all’interno, deriva tutto il resto.

Il lungoterminismo. Formalizzato a Oxford dai filosofi Nick Bostrom, Toby Ord e William MacAskill: se contiamo tutte le persone che potrebbero esistere in futuro, trilioni, ipotizzando la colonizzazione della galassia, allora ridurre di una frazione di percentuale il rischio di estinzione vale più di qualsiasi bene realizzabile oggi. È l’aritmetica che permette di considerare la malaria un problema secondario.

Perché “tecnoreligione” non è un insulto gratuito

L’etichetta circola da anni, ma ha preso forma sistematica con il lavoro di Timnit Gebru, informatica licenziata da Google dopo un paper sui rischi dei grandi modelli linguistici, e del filosofo Émile Torres, ex militante del movimento passato all’opposizione. Loro hanno coniato l’acronimo TESCREAL (transumanesimo, estropianesimo, singolaritarismo, cosmismo, razionalismo, altruismo efficace, lungoterminismo), per indicare un’unica famiglia ideologica con radici comuni.

Il parallelo religioso non è metaforico, è strutturale. C’è un’escatologia: la Singolarità come evento terminale della storia, con un paradiso (abbondanza illimitata, sconfitta della morte, coscienza caricata su supporto digitale) e un inferno (l’estinzione della specie). C’è una soteriologia: la salvezza passa dalla ricerca sull’allineamento, e chi vi si dedica compie un’opera di redenzione cosmica. Ci sono testi canonici e un profeta carismatico. C’è una comunità di vita: case collettive, workshop, un gergo iniziatico, racconti di conversione dal tono mistico.

E c’è una demonologia. Nel 2010 un utente di LessWrong con lo pseudonimo “Roko” propone un esperimento mentale: un’IA futura, benevola ma inflessibilmente consequenzialista, potrebbe decidere di punire retroattivamente chi, conoscendo la sua possibile esistenza, non ha lavorato per crearla. Chi legge l’argomento diventa, per il solo fatto di averlo letto, un potenziale bersaglio. Il Basilisco di Roko provoca crisi d’ansia documentate, insonnia, panico. Yudkowsky cancella il thread e vieta l’argomento per anni, con una reazione che gli studiosi di religione riconoscono immediatamente: la gestione di un tabù. Il divieto, com’era prevedibile, trasforma un ragionamento contorto in leggenda planetaria.

Va detto, per onestà: i razionalisti accettano in linea di principio la confutazione, discutono pubblicamente le obiezioni, non invocano rivelazioni. La critica più solida non è “è una religione”. È che il movimento ha immunizzato le proprie premesse fondamentali, trattando come ovvio ciò che è altamente speculativo e ha costruito una macchina retorica in cui il dissenso viene riclassificato come errore cognitivo.

Segui il denaro

È il capitolo che il movimento discute meno volentieri e quello più rivelatore. Chi finanzia il movimento? Quali sono i “filantropi” che nutrono queste menti? Iniziamo con Peter Thiel che è finanziatore del Singularity Institute già negli anni Duemila, ma anche, per lungo tempo, sponsor dei suoi convegni. Jaan Tallinn, co-fondatore di Skype, diventa il grande mecenate della galassia del rischio esistenziale: MIRI, Future of Life Institute, Centre for the Study of Existential Risk a Cambridge. Dustin Moskovitz, co-fondatore di Facebook, incanala attraverso Open Philanthropy centinaia di milioni di dollari verso la “AI safety”, diventando di fatto l’infrastruttura economica del campo.

Il risultato è un ecosistema di dimensioni notevoli in cui una quota schiacciante delle risorse arriva da un numero minuscolo di persone, tutte ricchissime, tutte formatesi nella tecnologia, tutte convinte in anticipo della tesi centrale. Chi valuta i progetti di ricerca è spesso finanziato dagli stessi soggetti che valuta. Chi scrive i paper sui rischi lavora per aziende che quei rischi generano. Il conflitto d’interesse non è occultato: è la normalità operativa.

Poi c’è il caso che ha fatto crollare la facciata. Sam Bankman-Fried, fondatore dell’exchange di criptovalute FTX, viene reclutato all’altruismo efficace da MacAskill in persona. Costruisce una fortuna nominale da decine di miliardi, promette di destinarne la maggior parte al movimento, finanzia a pioggia istituti, borse di studio, think tank. Nel novembre 2022 FTX implode: miliardi di dollari dei clienti mancano all’appello. Bankman-Fried viene condannato per frode a venticinque anni di carcere. La domanda che il movimento non ha mai affrontato fino in fondo non è se fosse complice, non lo era. È se la propria dottrina non contenga, in forma pura, esattamente la logica che ha permesso quella frode: se il valore atteso di un bene futuro giustifica qualunque rischio presente, dove sta il freno?

Dal blog al Congresso

Nel marzo 2023 Yudkowsky pubblica sul Time un intervento che segna uno spartiacque: chiede una moratoria globale sull’addestramento dei modelli più avanzati e sostiene che tale divieto dovrebbe essere fatto rispettare anche contro chi lo viola. Il profeta di Berkeley è arrivato sulle pagine di un settimanale letto dai capi di governo.

Ma la vera penetrazione istituzionale è avvenuta prima, silenziosamente, per vie personali. Superintelligence, il libro di Bostrom del 2014, finisce nelle mani di Elon Musk e Bill Gates e diventa il testo che sdogana il tema nel dibattito pubblico. Scott Alexander, psichiatra che scrive sotto pseudonimo su Slate Star Codex e poi Astral Codex Ten, costruisce il salotto intellettuale della Valley: il suo blog viene letto da fondatori, venture capitalist, funzionari. Paul Christiano, inventore dell’RLHF, la tecnica di addestramento con feedback umano che ha reso possibili i chatbot moderni, passa da OpenAI alla guida della sicurezza dell’istituto americano per l’IA. Il razionalismo entra nell’apparato federale con le sue credenziali tecniche in ordine.

E soprattutto: OpenAI e Anthropic nascono entrambe in ambienti profondamente permeati da queste idee. Il paradosso è vertiginoso. Le persone più convinte che l’intelligenza artificiale avanzata possa distruggere l’umanità sono anche quelle che l’hanno costruita più in fretta, con la motivazione che era meglio farlo loro che lasciarlo ad altri. È il ragionamento del Progetto Manhattan, riprodotto con capitali privati e senza alcun mandato pubblico.

Le crepe

Un movimento che promette di pensare meglio degli altri va valutato su come gestisce i propri fallimenti. Il bilancio è pesante.

Le derive settarie. Attorno alla comunità di Berkeley sono nati gruppi minori con dinamiche di controllo psicologico documentate: Leverage Research, oggetto di resoconti pubblici da parte di ex membri su tecniche di “debugging” mentale e isolamento. Ma il caso estremo sono gli Zizians: un collettivo scissionista, nato da un’interpretazione radicale della teoria delle decisioni razionalista, collegato a una catena di episodi violenti tra il 2022 e il 2025, con morti e arresti in più stati americani. Il movimento ha reagito sostenendo che si trattasse di una degenerazione estranea. Resta il fatto che quelle persone si erano formate leggendo gli stessi testi, in quelle stesse case.

Le molestie. Diversi resoconti giornalistici hanno documentato casi nella comunità della Bay Area, favoriti da una struttura sociale che mescola lavoro, coabitazione, relazioni e gerarchie intellettuali e da una cultura che tende a razionalizzare i comportamenti anomali come eccentricità di individui preziosi.

L’omogeneità. Bianca, maschile, ad altissimo reddito, concentrata in due o tre città. Un gruppo che si propone di decidere le priorità morali dell’umanità e che non contiene quasi nessuno dell’umanità di cui parla.

Le cadute personali. Nel 2023 Bostrom si è dovuto scusare per un messaggio di ventisei anni prima contenente un’affermazione razzista esplicita: un episodio che ha riaperto la questione delle radici eugenetiche di parte della tradizione transumanista. Nel 2024 il Future of Humanity Institute di Oxford, l’istituzione accademica di riferimento del lungoterminismo, ha chiuso i battenti dopo anni di attriti con la facoltà.

La domanda che non viene posta

Il verdetto onesto deve tenere insieme due verità scomode per entrambi gli schieramenti. I razionalisti avevano ragione su qualcosa. Nel 2010 sostenere che l’allineamento dei sistemi di IA sarebbe diventato un problema tecnico urgente era una posizione da visionari o da eccentrici; oggi è un campo di ricerca legittimo, con laboratori, riviste, finanziamenti pubblici. Hanno anticipato di quindici anni un dibattito che ora coinvolge parlamenti e agenzie di regolazione.

Hanno costruito, allo stesso tempo, la macchina retorica perfetta per sottrarre quel dibattito alla democrazia. Perché se la posta in gioco è l’estinzione della specie, ogni obiezione procedurale diventa un cavillo. Se il futuro contiene trilioni di persone potenziali, la sofferenza di otto miliardi di persone reali si trasforma in un errore di arrotondamento. Se solo un gruppo ristretto di iniziati comprende la vera natura del rischio, la deliberazione pubblica è un lusso che non possiamo permetterci.

Che il razionalismo dell’IA sia una tecnoreligione o una filosofia laica con sintomi religiosi è, in fondo, una questione tassonomica. La domanda vera è un’altra, ed è politica: chi ha deciso quali rischi contano, con quale legittimità, e chi ha votato per loro? La risposta, per ora, è che l’hanno deciso poche decine di persone in una città della California, finanziate da meno di dieci miliardari, sulla base di un blog.