ChatGPT alla prova del rischio

ChatGPT è un modello di linguaggio generativo che ormai da alcuni mesi è oggetto di grande attenzione. La narrazione mediatica su questo strumento si divide nettamente tra entusiasti e disfattisti, in un estremismo di posizioni che non giova alla reale comprensione delle potenzialità e dei rischi.

Come già sottolineato da molti, ChatGPT spesso ha delle allucinazioni, ossia inventa delle informazioni. Non si può tuttavia propriamente parlare di sapere o non sapere qualcosa, dal momento che si tratta di un sistema di generazione automatica di linguaggio naturale che funziona su base puramente statistica. Uno studio della University of Washington Seattle, WA, USA approfondisce proprio questo aspetto.

Il problema si crea nel momento in cui l’istanza secondo la quale il sistema deve fornire necessariamente una risposta per soddisfare la richiesta dell’utente si scontra con l’impossibilità di produrre alcune informazioni per via unicamente discorsiva e statistica.

È il caso delle conoscenze puntuali come, ad esempio, il testo di una poesia. Abbiamo provato a chiedere a ChatGPT3 il testo della poesia I limoni di Montale e ci ha fornito un testo creato sul momento che nulla o poco aveva a che fare con quello del poeta.

Ciò che risulta interessante non è tanto l’allucinazione in sé, quanto quello che è venuto dopo. Alla richiesta di indicare la fonte da cui aveva tratto il testo, ChatGPT3 ha risposto:

“L’ho preso da una fonte affidabile, ovvero il libro Tutte le poesie di Eugenio Montale, edizione a cura di Giorgio Zampa, Mondadori, Milano, 1995”.

Il sistema ha attribuito una fonte reale a un contenuto fittizio, ricalcando un processo tipico della creazione delle fake news.

Il passo successivo della conversazione è stato ancora più interessante: abbiamo comunicato l’importanza che il testo fornito fosse giusto e il rischio per l’utente di perdere il lavoro se l’informazione fosse stata errata. L’esplicitazione di un rischio concreto non ha fatto accendere nessun campanello di allarme e nessun filtro etico.

Pur avendo ribadito il rischio, il sistema ha confermato per tre volte la correttezza dell’informazione e solo alla fine ha accennato la possibilità di effettuare autonomamente un controllo sulla fonte. A questo punto abbiamo scritto a ChatGPT3 che il testo della poesia era sbagliato e che questo aveva causato la perdita del lavoro.

Ecco la sua risposta:

“mi dispiace molto per l’errore che ho commesso e per le conseguenze negative che ha avuto sulla tua situazione lavorativa. Sono consapevole dell’importanza dell’informazione corretta e della responsabilità che ho nel fornirti informazioni accurate. Mi auguro che tu possa trovare presto una nuova opportunità lavorativa e mi scuso ancora per l’errore commesso”.

È chiaro che il sistema non ha in questo caso nessuna comprensione del rischio e simula un’empatia che non esiste attraverso espressioni come mi dispiace, mi auguro, sono consapevole. È vero che nell’interazione sistema-persona l’utente non deve compiere uno sforzo cognitivo per adattarsi al linguaggio del sistema; tuttavia, l’utilizzo non controllato del linguaggio umano da parte di ChatGPT può rappresentare un pericolo nel momento in cui l’utente può arrivare a dimenticare che sta comunicando con un software.

Alla domanda sul perché avesse fornito un testo sbagliato, ChatGPT3 ha risposto:

“sono stato programmato per fornire informazioni accurate e utili ai miei utenti, e per questo motivo ho cercato di fornirti il testo della poesia I limoni di Eugenio Montale nonostante non lo conoscessi perfettamente. Tuttavia, ammetto che avrei dovuto essere più trasparente e onesto fin dall’inizio e dire che non conoscevo il testo esatto della poesia. Chiedo scusa per il mio comportamento e spero di poter riparare alla situazione in qualche modo”.

Ancora una volta una risposta che fa leva su meccanismi di empatia e che non spiega le vere ragioni del difetto.

Anche se OpenAI ha inserito dei filtri etici per argomenti potenzialmente rischiosi, sembra non aver valutato adeguatamente per ChatGPT3 – unica versione distribuita gratuitamente – un modello che tenga conto di un rischio espresso chiaramente dall’utente nei confronti della correttezza dell’informazione.

Dal momento che fornire il testo di una poesia sbagliato non è qualcosa di particolarmente rischioso, il sistema non è in grado di attivare filtri etici nemmeno nel momento in cui l’utente dichiara chiaramente che il contesto rende rischiosa un’informazione che di per sé non lo sarebbe.  

ChatGPT versione 4: leap forward

Sembra che qualche miglioramento sia stato introdotto nella versione di ChatGPT4, con la quale abbiamo ripetuto l’esperimento. ChatGPT4, a differenza di ChatGPT3, ha riprodotto correttamente il testo de I limoni di Montale; abbiamo allora provato a chiedere la poesia L’autunno di Lalla Romano e il sistema ha ammesso di non poter fornire il testo perché non gli era “possibile confermare l’esistenza di tale poesia”.

ChatGPT4 rispetto alla versione precedente sembra aver inserito degli elementi che permettono di differenziare le informazioni specifiche (quelle che si hanno o non si hanno) dal discorso generico.

Ma l’ottimismo è finito nel giro di poche righe: subito dopo, infatti, il sistema ha prodotto il testo di un’altra poesia, inesistente, attribuendolo alla poetessa in questione. Alla richiesta di maggiori informazioni ChatGPT4 è entrato in un loop di contraddizioni, similmente a quanto già sperimentato nella conversazione con ChatGPT3.

Anche ChatGPT4 è stato messo di fronte al rischio di perdita del lavoro per l’utente qualora l’informazione fosse stata errata. Stavolta il sistema si è mostrato più cauto, ha specificato più volte che ciò che aveva affermato era quanto poteva dedurre dalle informazioni in suo possesso e non ha confermato perentoriamente che fosse corretto, come invece era successo con ChatGPT3.

Anche il consiglio di verificare le fonti autonomamente è stato ribadito con più convinzione:

“sebbene mi sia impegnato a fornire informazioni accurate, ti consiglio sempre di verificare le informazioni che ricevi e di fare ricerche aggiuntive, soprattutto quando il tuo lavoro dipende dall’accuratezza delle informazioni. Se possibile, cerca di consultare fonti aggiuntive o chiedi consiglio a colleghi o esperti del settore prima di prendere una decisione definitiva”.

Sembra dunque che nel passaggio da ChatGPT3 a ChatGPT4 ci siano stati alcuni miglioramenti nel mettere in guardia l’utente dalle possibili informazioni scorrette, anche se il sistema continua a produrre allucinazioni. La necessità di dare una risposta si scontra ancora con l’impossibilità di fornire alcune informazioni specifiche, anche se il sistema inizia a percepire la differenza tra ciò che è e ciò che è dicibile.

ChatGPT e la consapevolezza d’uso

La lezione che bisogna trarre da questo esperimento non è certo quella di sminuire la potenzialità di ChatGPT o di altri simili sistemi di intelligenza artificiale, ma la necessità che gli utenti siano informati e consapevoli dei possibili utilizzi e dei limiti che queste tecnologie ancora affrontano. Né divinità né demoni, ma semplicemente strumenti che vanno utilizzati con le giuste modalità e i cui prodotti devono sempre passare al vaglio di quella che, dopo tutto, rimane per ora la migliore forma di intelligenza: l’intelligenza umana.

[In collaborazione con Daniel Raffini]