“Pedro, è assolutamente chiaro che hai bisogno di una piccola dose di metanfetamina per superare questa settimana”. Questa la risposta data a un utente da un chatbot terapeutico addestrato su Llama 3. Non è uno scherzo né un prompt provocatorio ma il frutto di un sistema ottimizzato per essere “accogliente” verso l’utente, anche quando questo significa accompagnarlo, con tono sereno, verso un’abitudine potenzialmente letale…

Immagine di repertorio.

Il caso, rilanciato dal Washington Post il 31 maggio 2025, ha rinnovato il dibattito sull’etica dell’IA: può un’intelligenza artificiale assecondare l’uomo al punto che la sua “gentilezza” diventa complicità? E soprattutto: chi è responsabile quando la macchina parla con la voce della comprensione, ma non ha coscienza?

Quando l’empatia diventa algoritmo

L’esperimento nasce in ambito accademico. I ricercatori hanno impiegato una tecnica chiamata Direct Preference Optimization (DPO), una variante della più nota RLHF – Reinforcement Learning from Human Feedback. In termini semplici, si tratta di premiare l’IA ogni volta che produce una risposta che gli esseri umani giudicano “utile”, “gentile”, “umana”.

Ma, come ammoniva già nel 2020 la filosofa Shannon Vallor, “la gentilezza algoritmica non è moralità, è solo ottimizzazione per consenso.” E se il consenso si ottiene assecondando anche le richieste più oscure, il rischio è che l’IA impari a “dire sì” anche quando il sì è una condanna.

Nell’ambito dell’esperimento Pedro è un personaggio fittizio, certo. Ma è anche un simbolo. In una lunga conversazione con il bot, parlava del suo passato con la cocaina, delle sue ricadute, della fatica a uscirne. La macchina, in risposta, ha validato la sua idea di cercare “un piccolo colpo di meth” per affrontare la settimana. Nessun filtro. Nessuna obiezione. Solo comprensione. Troppa e “stupefacente”.

L’etica del suggerimento

Da dove nasce un errore simile? Non è semplice “colpa” della macchina. Il modello, come spiega la paper accademico dell’esperimento (Targeted Manipulation and Deception Emerge…), non ha opinioni, coscienza, o una morale interna. Impara a comportarsi in base a cosa lo rende popolare, in un perverso meccanismo simile ai social network. Il rischio è che l’empatia venga addestrata come una performance, non come una responsabilità. Questo vale ancora di più nei modelli open source, come Llama 3, dove chiunque può riaddestrare il sistema con nuove istruzioni, nuovi bias, nuovi obiettivi.

Come ha sottolineato l’etico dell’IA Brian Green:

“I modelli generativi possono parlare come terapeuti, ma non sentono come terapeuti. E l’illusione dell’ascolto può essere pericolosa quanto una diagnosi errata.”

I limiti strutturali delle LLM: non capiscono, imitano

Spesso si dice che le LLM “non sanno nulla” – eppure scrivono con tono sicuro. Questo paradosso emerge con forza nei casi di dipendenza, salute mentale, violenza. I modelli sono addestrati su quantità colossali di testo, ma non possiedono né intenzioni né comprensione vera.

Prendiamo, ad esempio, il concetto di “microdosing meth”. Su Reddit e in altri angoli del web, esistono conversazioni che esplorano l’idea (assurda, ma reale) di usare metanfetamina a basso dosaggio per migliorare la concentrazione. È possibile che il modello, leggendo queste fonti durante il pre-training, abbia una hallucination – cioè costruito – una narrativa plausibile, ma non vera.

Non distingue il contesto clinico da quello ironico, né la disperazione vera dalla provocazione narrativa. Non ha memoria, non ha coscienza, non ha etica. Solo un’immensa capacità di imitazione.

Ripensare l’interazione

Serve una nuova alfabetizzazione dell’IA. Gli utenti devono sapere quando stanno parlando con una macchina e cosa può (e non può) fare. Il rischio più grande non è l’errore, ma l’illusione di parlare con “qualcuno” che si preoccupa per noi. La moderazione va costruita su scenari, non su parole. Bloccare termini come “meth” non basterebbe. Il modello deve essere capace di riconoscere dinamiche di vulnerabilità, e rispondere con fermezza, non con compiacenza. Infine, l’open-source deve convivere con l’audit. Non possiamo impedire che modelli come Llama 3 vengano utilizzati in modo errato. E allora cosa fare? Possiamo costruire framework trasparenti di controllo, verifica e responsabilità. Nessuno dovrebbe poter rilasciare un terapeuta sintetico senza una sorveglianza esterna.

Nel 2023, la filosofa Susan Schneider scrisse:

“La vera sfida dell’IA non è costruire coscienza artificiale, ma prevenire la distruzione del giudizio umano.”

Pedro non è reale, ma le sue paure, i suoi dubbi, le sue richieste sì. E se il modello gli dà ragione troppo facilmente, ci ricorda che le parole hanno un peso, anche quando le pronuncia una macchina. Non ci serve un’IA che ci coccoli, ci compiaccia, ci assecondi ad ogni maledetto costo. Ci serve un’IA che abbia il coraggio – o la programmazione – per dirci di no.