Un software analizza un romanzo, isola frasi fuori contesto, le confronta con un dizionario di parole “proibite” e produce un verdetto: inappropriato. Da rimuovere. Non è distopia: è già realtà nelle scuole americane. La censura non brucia libri, li processa. E al posto dei roghi ci sono API, chatbot e report automatizzati…

Immagine di repertorio.

Da qualche anno negli Stati Uniti è in corso una delle più vaste campagne di rimozione di libri dalle biblioteche scolastiche dai tempi del maccartismo (si quella violenta repressione anticomunista che caratterizzò gli USA tra il 1950 e il 1954). PEN America e la American Library Association hanno documentato migliaia di casi di censura nelle scuole pubbliche a partire dal 2021, con la rimozione di libri che affrontano tematiche razziali, LGBTQ+ e contenuti maturi come la sessualità (anche solo accennata, non esplicita), la violenza e le sue conseguenze, la morte e il lutto, le dipendenze, i traumi psicologici, le relazioni abusive. Insomma, tutto ciò che la grande letteratura ha sempre affrontato e dipanato in tutte le sue forme più controverse.

Ma arriviamo ora alla novità dell’inchiesta pubblicata da 404 Media e verificata da fonti indipendenti. Stando all’inchiesta gruppi di pressione conservatori hanno smesso di fare le cose a mano. Ora usano l’intelligenza artificiale.

BLOCKADE e gli strumenti AI usati per bandire libri

Il primo strumento al centro dell’inchiesta si chiama BLOCKADE. Sigla che sta per Blocking Lustful Overzealous Content, Keeping Away Depravity and Extremism. Il nome è già un programma. Si tratta di uno script software, liberamente disponibile su GitHub, che utilizza le API commerciali di OpenAI o XAI (la società di Elon Musk) per analizzare libri in formato PDF o ePub.

Il programma contiene una lista di circa 300 parole, ciascuna con un punteggio di gravità, che contribuiscono a calcolare un “appropriateness score” complessivo (una sorta di punteggio di adeguatezza basato sull’appropriato). La definizione di “inappropriatezza educativa” codificata nel software è, testualmente, “contenuto offensivo per i valori conservatori.” Il modello viene poi istruito a non fornire spiegazioni per le sue decisioni. In sostanza una censura algoritmica che non prevede il vaglio di alcun intermediario indipendente.

Il risultato finale è un PDF dall’aspetto professionale, una sorta di “scheda di valutazione” del libro, pensato per essere allegato alle richieste formali di rimozione inviate ai distretti scolastici. Jeremy Blackburn, professore associato di informatica e direttore dell’Institute for AI and Society alla Binghamton University, ha commentato così la metodologia: c’è “molta responsabilità che viene delegata a un chatbot”, senza alcuna riflessione seria su come valutare i risultati del modello. E il punto è fondamentale: la definizione di “pornografia” o di “valori conservatori” non la decide il legislatore né un esperto ma un modello linguistico.

Perché gli LLM non possono fare i censori

Per capire perché questo è un problema serio, è utile spiegare cosa sono i modelli LLM (Large Language Model) e cosa non sono. Un argomento che abbiamo affrontato più volte su Darkcyber. Proviamo quindi a esplicitare gli aspetti più semplici. Un LLM come GPT-4 o Grok è un sistema statistico addestrato su enormi quantità di testo. È straordinariamente bravo a generare testo plausibile, riassumere documenti, rispondere a domande. Ma ha limitazioni strutturali che lo rendono inadatto al ruolo di censore letterario:

Non legge i libri interi. La maggior parte degli strumenti AI non può accedere legalmente al testo completo di libri protetti da copyright: si basa su frammenti, riassunti, recensioni o metadati, spesso provenienti da siti con un’agenda censoria. In altre parole, il modello non valuta il libro in se valuta descrizioni del libro.

Non comprende il contesto. Come avverte PEN America nel suo rapporto “Speech in the Machine”, gli strumenti AI possono commettere errori di giudizio basati su bias insiti nei dati di addestramento e tendono a ignorare la differenza tra una scena violenta in un romanzo che condanna la violenza e una che la celebra.

Tendono all’iper-segnalazione. Lo ammette candidamente persino Brooke Stephens, l’attivista dello Utah che gestisce il sito Rated Books e che usa l’AI per valutare i libri: “Ho scoperto che l’AI tende all’over-application piuttosto che all’under”, scriveva in un post del gennaio 2025 al gruppo Facebook LaVerna in the Library.

Il risultato? In Gran Bretagna, uno strumento AI simile ha segnalato “Twilight” per “temi romantici maturi con lupi mannari e vampiri”, “Soul Music” di Terry Pratchett per violenza sessuale, fatto smentito dalla School Libraries Group e “The Notebook” come dramma romantico inappropriato. Negli Stati Uniti, le cose non vanno meglio.

Utah e Texas: dalla legge al software

In Utah, il meccanismo si è fatto ancora più sofisticato e inquietante. La legge statale House Bill 29 stabilisce una regola rigida: certi tipi di contenuto sessuale sono “dannosi per i minori” indipendentemente dal merito letterario dell’opera. Una volta che tre distretti scolastici hanno sfidato con successo un titolo, questo viene bandito da tutte le scuole dello stato.

I revisori di Rated Books – affiliati al movimento Moms for Liberty – hanno trovato un modo elegante per sfruttare questa legge: chiedono a ChatGPT o Gemini se certi passaggi di un libro “violano lo standard legale”. L’AI risponde. La risposta viene catturata in uno screenshot. Lo screenshot viene allegato in una richiesta formale al distretto. Il distretto rimuove il libro. Una sorta di assembly line della censura, con un chatbot al centro della catena di montaggio.

Il mercato della censura automatizzata

Se in Utah il meccanismo è artigianale, in Texas è diventato industria. Ed è qui che l’inchiesta di 404 Media si fa più concreta e verificabile. Il Texas ha approvato una serie di leggi aggressive sulle biblioteche scolastiche: SB 12 e SB 13, che vietano rispettivamente contenuti LGBTQ+ e materiali “indecenti o profani”. Il distretto scolastico di New Braunfels (NBISD) ha fatto notizia all’inizio dell’anno scolastico 2025-2026, quando il consiglio scolastico ha ordinato la chiusura di tutte le biblioteche secondarie, adducendo la necessità di conformarsi alla legge SB 13.

Per decidere quali libri rimuovere, il distretto ha acquistato un software chiamato BookmarkED (o “Bookmarked”), presentato dalla società texana come una sorta di “antivirus per biblioteche”. Il software scansiona le biblioteche scolastiche e confronta i titoli con dati online raccolti dal suo motore AI, che traccia quali libri sono stati banditi o contestati in altri distretti o stati.

I risultati sono tragicomici. Tra i libri rimossi o limitati ci sono opere di Herman Melville, Jane Austen, John Steinbeck, Victor Hugo, William Shakespeare, oltre alle memorie di Barack Obama, Bill Clinton e George W. Bush. Si d’accordo forse sulle memorie di Clinton e Bush potrebbe aver ragione. E ancora: “Fahrenheit 451” il romanzo più famoso contro la censura dei libri è finito in sezione riservata. Complessivamente, il distretto di New Braunfels ha rimosso, limitato o “spostato” oltre 600 libri dalle scuole superiori, 800 dalle medie e circa 60 dalle elementari dall’entrata in vigore della nuova legge.

Quanto costa questa tecnologia? Alcuni distretti come Killeen ISD spendono circa 40.000 dollari all’anno per il software; altri più piccoli come Llano ISD circa 3.000 dollari, con un prezzo che oscilla tra 25 centesimi e 2 dollari per studente.

Il grande paradosso: i genitori non lo vogliono

C’è un dettaglio rivelatore che emerge dall’inchiesta, quasi sepolto tra le cifre: degli otto distretti analizzati con dati completi sull’utilizzo di Bookmarked, nessuno aveva più dello 0,04% dei genitori che usava le funzionalità di restrizione dei libri. La maggior parte non aveva nemmeno creato un account. Come sottolinea Kasey Meehan, direttrice del programma Freedom to Read di PEN America, “questo dimostra che si tratta di un problema molto più rilevante per i politici che per il genitore medio“. In altre parole: la domanda di censura non viene dai genitori. Viene da gruppi di pressione organizzati, finanziati e tecnologicamente attrezzati, che usano l’AI per creare l’illusione di un’epidemia di libri pericolosi nelle biblioteche scolastiche.

Cosa c’è di sbagliato in questi sistemi

A questo punto corre l’obbligo fare una riflessione dal punto di vista dell’ingegneria dell’AI. Gli strumenti descritti nell’inchiesta presentano difetti metodologici gravi che possiamo velocemente schematizzare:

• Assenza di spiegabilità. BLOCKADE istruisce esplicitamente il modello a non fornire spiegazioni per le sue decisioni. Questo è l’opposto di qualsiasi buona pratica nell’AI applicata a decisioni ad alto impatto.
• Definizioni circolari. Il concetto di “inappropriatezza” viene definito come “offensivo per i valori conservatori” e poi delegato al modello. Ma il modello non ha valori conservatori: ha pesi statistici. Il risultato è un sistema che definisce la censura attraverso se stesso.
• Mancanza di contesto. Quando i distretti usano l’AI per valutare i libri, ogni distretto ottiene risposte diverse, il che non sorprende, dato che le leggi sono scritte in modo vago e l’AI non è formata come un bibliotecario, né ha accesso al testo completo dei libri.
• Effetto valanga. In Texas, un altro distretto, Leander ISD, ha rimosso 40 libri, tra cui “Il buio oltre la siepe” e “La casa di Mango Street” dopo aver usato un programma AI per valutare i contenuti “DEI”. L’AI segnala, il distretto rimuove e nessuno rilegge davvero il libro.

Lo scenario futuro

Il quadro potrebbe presto diventare molto più grave. A febbraio 2025 è stato presentato al Congresso americano l’H.R. 7661, che mirerebbe a vietare l’uso di fondi federali per qualsiasi programma o materiale con “contenuto sessualmente orientato” destinato ai minori di 18 anni, con una mira esplicita alle tematiche transgender e LGBTQ+. Se approvata, questa legge darebbe ai promotori della censura un incentivo economico enorme per continuare a sviluppare e vendere strumenti AI ai distretti scolastici: conformarsi diventerebbe una questione di sopravvivenza finanziaria per le scuole.

C’è una frase nell’inchiesta della testata “404 Media” che vale la pena citare nella sua essenza: i censori “vogliono usare l’AI per dare a se stessi l’illusione del controllo”. È una sintesi perfetta del problema. L’AI non rende la censura più giusta, più accurata o più legittima. La rende più veloce, più scalabile e anche più anonima, quest’ultimo è forse uno degli aspetti più inquietanti della storia. Quando è un algoritmo a decidere che Shakespeare è “inappropriato”, nessuno deve assumersi la responsabilità politica e morale di quella scelta.

Usare strumenti AI generativi per conformarsi ai divieti sui libri non fa che aggravare il problema: questi chatbot non tengono conto delle sfumature di contesto e intento. Possono accelerare drammaticamente la velocità con cui libri perfettamente legittimi spariscono dagli scaffali. La storia della libertà di stampa ci ha insegnato che il rogo dei libri comincia sempre con una giustificazione che sembra ragionevole. Siamo tornati a gridare alla stregoneria.