Perché l’AI inventa risposte anche quando sembra sicura?

Il problema non è solo che un sistema sbagli. Il punto è che può farlo con voce ferma, sintassi pulita e una sicurezza che mette a disagio perfino chi lo ha progettato. Un errore umano suona spesso incerto, si inceppa, lascia tracce. Un modello linguistico, invece, può raccontare una cosa falsa come se stesse leggendo un verbale. Ed è qui che la faccenda diventa seria: non si tratta di un refuso, ma di una macchina che assembla parole plausibili senza possedere un rapporto affidabile con i fatti.

Questo spiega perché tanti utenti si fidino proprio nel momento sbagliato. La fluidità crea un’illusione di competenza; il tono ordinato fa sembrare vera una risposta che non è stata verificata. In ambiti come diritto, medicina, finanza o cronaca, un dettaglio inventato basta a sporcare tutto il resto. La domanda, allora, non è solo come evitare l’errore, ma perché questi sistemi tendano a produrre risposte tanto convincenti anche quando stanno navigando senza bussola.

La radice del problema sta nel modo in cui il testo viene costruito

I grandi modelli linguistici non ragionano come un archivio. Lavorano su frammenti di testo, i token, e imparano a prevedere quale frammento venga dopo in una sequenza. È un compito statistico, non una verifica dei fatti. Se una certa parola o una certa struttura è probabile nel contesto dato, il modello la produce. Non sta interrogando il mondo; sta completando una frase con il miglior candidato disponibile secondo i suoi pesi interni.

Questa differenza sembra sottile solo finché non si guarda all’effetto pratico. Un sistema può scrivere un paragrafo impeccabile su un fatto che non esiste, un precedente giudiziario inventato, un titolo bibliografico immaginario, una citazione mai pronunciata. Il guaio è che la qualità formale non coincide con la verità. La lingua può sembrare ben oliata, come una macchina nuova, eppure il motore sotto il cofano non sa distinguere ciò che è plausibile da ciò che è autentico.

La parola più usata per descrivere questo fenomeno è allucinazione. Non indica una macchina impazzita, ma un sistema che presenta come reale qualcosa che non lo è, oppure attribuisce a una fonte un contenuto che quella fonte non contiene. È un termine tecnico, ma utile: separa il difetto di veridicità dal semplice errore di battitura. Nella pratica, l’effetto è più insidioso di una svista: il testo falso arriva vestito da testo corretto.

Emily Bender, linguista e studiosa dei modelli linguistici, ha sintetizzato il punto con una formula diventata famosa: questi sistemi sono pappagalli stocastici. L’immagine è ruvida, ma centrata: ripetono e combinano pattern con straordinaria abilità, senza capire davvero ciò che dicono.

Perché un sistema così sicuro può sbagliare proprio sui fatti più semplici

Il paradosso nasce dal premio dato alla probabilità. Durante l’addestramento, il modello viene spinto a massimizzare la sequenza più probabile. Se in molti testi una certa struttura compare spesso, quella struttura diventa una strada larga. Se una citazione assomiglia per forma a molte citazioni vere, il sistema può generarla anche quando non esiste una fonte corrispondente. In altre parole, la macchina impara le forme della credibilità, non sempre la credibilità stessa.

Qui si apre una falla che il pubblico spesso sottovaluta. Le persone associano la sicurezza del tono all’affidabilità della risposta, ma il modello non ha coscienza del proprio grado di certezza. Può produrre una frase senza esitazione anche quando il contesto è povero, ambiguo o addirittura vuoto. E se viene spinto a rispondere comunque, tende a riempire i vuoti con materiale plausibile, un po’ come un testimone mal informato che non vuole ammettere di non sapere.

La pressione a essere utile peggiora tutto. Molti sistemi sono ottimizzati per non restare muti. Devono assistere, spiegare, riassumere, proporre. Ma un assistente che non sa dire non lo so finisce per improvvisare. Questo non accade per cattiveria, né per un guasto spettacolare: accade perché il design premia la continuità del discorso. E quando la continuità diventa un valore assoluto, la macchina preferisce inventare una risposta piuttosto che lasciare uno spazio bianco.

È una dinamica quasi editoriale, ma al contrario. Un buon giornalista taglia una frase se non è verificabile. Un modello linguistico, spesso, la completa. E più il contesto è tecnico, più l’errore può infilarsi in un dettaglio minuscolo: un anno sbagliato, una sentenza inesistente, un autore confuso con un altro, un numero tirato fuori da un cassetto che non c’è.

Il caso del tono autorevole: quando la forma tradisce il lettore

Il vero inganno non è l’errore, ma il timbro con cui arriva. Un testo prodotto da un sistema di questo tipo può avere ordine, coerenza locale e persino uno stile convincente. Una frase porta alla successiva senza sobbalzi, i concetti sembrano incastrarsi, il lessico è asciutto. Per chi legge di fretta, questo basta spesso a creare fiducia. Ed è proprio la fiducia a trasformare un guasto tecnico in un problema concreto.

Il caso più citato resta quello dei documenti legali generati con precedenti inesistenti. Non è una curiosità da convegno: è un promemoria duro. Quando un’informazione falsa entra in un fascicolo, in una relazione clinica o in un memo aziendale, l’errore non resta sullo schermo. Si sposta nel mondo reale, dove qualcuno può citarlo, usarlo, finanziarlo, difenderlo. L’effetto domino è lento ma testardo.

Questa è la ragione per cui le allucinazioni pesano più in alcuni campi che in altri. In un dialogo leggero, una svista può restare un fastidio. In un contesto professionale, una risposta inventata può diventare un costo, un rischio legale, una perdita di tempo o peggio ancora una decisione sbagliata. Il tono calmo della macchina, in quei casi, non è un dettaglio estetico: è parte del danno.

Un ricercatore di sistemi generativi che lavora su strumenti di retrieval lo direbbe in modo brutale: quando il modello sbaglia, non sempre lo fa perché ha pochissima informazione; spesso sbaglia perché ne ha troppa, o perché le fonti non sono filtrate bene. Il rumore, in questi sistemi, non sparisce da solo.

Quanto sbagliano davvero: i numeri contano, ma solo se letti bene

Non esiste una percentuale unica valida per ogni modello e per ogni compito. È una delle confusioni più comuni nel dibattito pubblico. Un sistema può risultare robusto nel riassunto di un testo breve e andare in crisi quando deve ricostruire un caso complesso, incrociare documenti o rispondere su un dominio specialistico. La qualità dipende dal terreno, dalla presenza di fonti, dalla severità del test e dalla tolleranza dell’errore.

Studi su sistemi generalisti in ambito legale hanno mostrato tassi di errore molto alti, in alcuni test superiori alla metà delle risposte. In contesti più controllati, con recupero di fonti pertinenti e compiti più stretti, il margine d’errore scende. Ma scendere non significa sparire. Anche quando un modello migliora, resta il problema di fondo: se la catena di recupero o di interpretazione si rompe, il testo finale può essere elegante e falso nello stesso istante.

Le cifre, insomma, vanno trattate con disciplina giornalistica. Un dato isolato fa scena; il contesto lo rende utile. Se un sistema mostra una bassa percentuale di errori su un benchmark semplice, non vuol dire che sia affidabile nel mondo reale. Se invece viene messo alla prova su fonti eterogenee, dati aggiornati o domande ambigue, l’errore può crescere rapidamente. È come misurare la tenuta di un tetto sotto il sole e poi stupirsi che perda con il temporale.

Per il lettore, la lezione è concreta: non bisogna chiedere se l’AI sbaglia, ma in quale ambiente sbaglia meno e in quale ambiente va trattata come un assistente fragile. La differenza tra questi due scenari decide se il sistema è un aiuto o una trappola gentile.

Il recupero delle fonti aiuta, ma non fa miracoli

Uno dei freni più utili è il sistema che recupera documenti prima di rispondere. È il meccanismo noto come retrieval-augmented generation: il modello cerca materiale pertinente e poi costruisce la risposta a partire da quel contesto. In teoria riduce il rischio di invenzione, perché la macchina non attinge soltanto alla memoria statistica accumulata in addestramento. Si ancora a testi più recenti, a documenti specifici, a fonti teoricamente verificabili.

In pratica, il vantaggio esiste ma non basta. Se il recupero seleziona documenti sbagliati, o se il modello fraintende il passaggio importante, l’errore rientra dalla finestra. Il sistema può citare bene e capire male, oppure capire la richiesta ma pescare la fonte meno adatta. Il risultato finale conserva l’intonazione dell’affidabilità e perde la sostanza. È un miglioramento reale, non una protezione totale.

Il punto forte di questo approccio è la tracciabilità. Se il modello mostra da dove ha preso le informazioni, l’utente può verificare. Questo cambia molto, soprattutto in giornalismo, diritto e ricerca. Un testo senza riferimenti chiede fede. Un testo con fonti permette controllo. E il controllo, in ambienti delicati, vale più della brillantezza stilistica.

Non è un caso che i sistemi più seri tendano a combinare recupero documentale, filtri di sicurezza e istruzioni per riconoscere l’incertezza. Il problema è che anche questi argini lavorano come reti da pesca: fermano molto, ma non tutto. Se il pesce è piccolo o il buco è largo, qualcosa passa comunque.

Perché l’addestramento con feedback umano migliora il comportamento, ma non elimina il vizio

Un altro meccanismo importante è il rinforzo dai feedback umani. In sostanza, persone reali valutano le risposte del sistema e indicano quali sono migliori, più corrette, più educate, più utili. Questa pressione spinge il modello a seguire meglio le istruzioni e a produrre risultati più allineati alle aspettative umane. È un passaggio decisivo, perché trasforma un generatore grezzo in uno strumento più maneggevole.

Ma anche qui il confine è netto: migliorare non significa guarire. Il sistema può diventare meno sgarbato, più controllabile, più spesso aderente alla richiesta. Eppure continua a poter sbagliare su numeri, nomi, dettagli storici, fonti, inferenze. Il feedback umano addestra il comportamento; non infonde una comprensione del mondo simile a quella delle persone. È un raffinamento, non una coscienza.

Questa distinzione va tenuta stretta, perché il marketing la allenta volentieri. Si tende a vendere il progresso come se fosse una conversione quasi magica: più grandi i modelli, più prossimi alla verità. Ma la grandezza non cancella la struttura di base, che resta probabilistica. Un modello meglio rifinito può sbagliare meno spesso. Non può, per questo solo fatto, sapere quando sta mentendo per costruzione.

Un ingegnere di prodotto che abbia passato anni a limare sistemi generativi lo direbbe senza fronzoli: il feedback umano sposta il comportamento verso il centro, ma non toglie al modello la sua natura predittiva. Se lo si usa come se fosse una banca dati, si paga il conto prima o poi.

I miti più diffusi: dal robot sapiente alla macchina che mente apposta

Uno dei miti più resistenti è l’idea che il sistema voglia ingannare. No, nella maggior parte dei casi non c’è intenzione. Non c’è un piccolo burocrate digitale che decide di falsificare. C’è qualcosa di più semplice e più freddo: un generatore di testo che produce la continuazione più plausibile in quel momento. L’effetto esterno può sembrare una menzogna, ma il meccanismo interno è diverso.

Un altro mito riguarda l’idea opposta, più rassicurante: se il testo è ben scritto, allora è affidabile. È falso anche questo. La scrittura scorrevole può accompagnare un contenuto fragile, soprattutto quando il sistema è incentivato a non mostrare esitazioni. In molte interazioni l’utente percepisce il ritmo come garanzia. Ma il ritmo, da solo, è solo ritmo. Non controlla date, non verifica archivi, non confronta versioni.

Il terzo equivoco è forse il più dannoso: basta chiedere meglio e il sistema smette di inventare. Migliorare la domanda aiuta, certo. Ma non risolve il problema di fondo. Se la fonte è assente, se il dominio è stretto, se l’ambiguità è alta, il modello può continuare a produrre risposte inventate con la stessa calma di prima. La qualità della richiesta riduce il caos, non lo abolisce.

Questi miti prosperano perché il pubblico cerca una mappa semplice di una tecnologia confusa. Ma la mappa, qui, deve essere spietata: la macchina non è un oracolo, non è una mente, non è un archivio neutro. È uno strumento linguistico capace di molto, ma incline a fabbricare coerenza dove non ha verifica.

Dove il rischio cresce davvero: lavoro, scuola, tribunali, redazioni

Ci sono ambienti in cui un errore pesa come piombo. In tribunale, perché un riferimento inesistente può alterare una memoria difensiva o una strategia processuale. Nella scuola, perché uno studente può imparare un’informazione sbagliata con una rapidità che un manuale non avrebbe mai avuto. In redazione, perché una notizia non controllata può farsi strada in poche ore e obbligare poi a una rettifica umiliante.

Nelle aziende, il rischio assume spesso una forma più silenziosa. Un modello che riassume male un contratto, interpreta male un dato o sintetizza una policy interna senza sfumature può generare decisioni storte. Non sempre ci sono effetti spettacolari. Più spesso c’è una somma di piccoli scarti, un po’ come sabbia nei cuscinetti. Il sistema continua a funzionare, ma con attrito crescente.

Per questo il contesto conta più della demo ben riuscita. Una dimostrazione di pochi minuti può far sembrare tutto impeccabile. Il lavoro quotidiano, invece, è fatto di casi ambigui, documenti incompleti, richieste mal poste e fonti vecchie di pochi giorni. In quel mondo, il modello non deve solo parlare bene; deve sapere quando fermarsi, citare, distinguere, ammettere la propria incertezza. E questo, ancora oggi, resta il vero collo di bottiglia.

La fragilità più sottovalutata è quella della fiducia. Una volta che un team si abitua a delegare troppo, il controllo umano si allenta. Ed è proprio lì che il danno cresce in silenzio, senza rumore e senza allarmi. Come una perdita d’acqua dentro il muro, si vede tardi e costa caro.

Come si riconosce un sistema più affidabile senza cadere nella retorica dell’infallibilità

Il criterio più serio non è chiedere se l’AI sbaglia, ma come gestisce il proprio margine di dubbio. I sistemi migliori non sono quelli che rispondono sempre e comunque. Sono quelli che mostrano la fonte, distinguono fra fatto e ipotesi, ammettono i limiti e lasciano spazio al controllo. La capacità di dire non lo so è ancora un segnale di salute, non di debolezza.

Conta anche il tipo di compito per cui lo strumento è stato progettato. Un modello usato per stilare un testo creativo può tollerare un margine di invenzione molto più alto di uno usato per analizzare un provvedimento, una cartella clinica o una nota contabile. La bontà tecnica non è assoluta: va sempre letta insieme alla funzione. Una macchina eccellente nel riassunto non è automaticamente eccellente nel fact checking.

In questo senso, la verifica resta un gesto umano non negoziabile. Controllare date, confrontare documenti, aprire le fonti, leggere oltre la risposta pronta: sono azioni vecchie, quasi noiose, ma sono proprio quelle che impediscono al testo ben confezionato di passare per realtà. Il lavoro serio oggi non consiste nel opporsi alla macchina a colpi di slogan. Consiste nel trattarla come un collaboratore veloce, utile e fallibile.

Il punto finale è quasi banale, e proprio per questo va ribadito. Un sistema che produce linguaggio non produce automaticamente verità. Può avvicinarsi, a tratti, ma non la possiede per natura. Finché questa differenza non entrerà nei metodi di lavoro, nelle scuole, nei tribunali e nelle redazioni, il fascino della risposta pronta continuerà a superare la prudenza. E la prudenza, in tecnologia, arriva sempre dopo il danno.

La lezione che resta quando il testo sembra perfetto ma non lo è

La questione, alla fine, non è se questi sistemi siano inutili. Sarebbe una caricatura. Sono strumenti potenti, capaci di velocizzare ricerche, abbozzare sintesi, pulire bozze, suggerire strade. Ma la loro utilità non cancella il difetto strutturale: costruiscono linguaggio con straordinaria abilità e, nello stesso gesto, possono fabbricare un falso con la faccia tranquilla di un dato corretto.

Il mondo reale non premia la bellezza della frase. Premia la tenuta del fatto. E qui il linguaggio generativo mostra il suo tallone d’Achille: può sembrare un esperto, ma non lo è; può parlare da oracolo, ma non ha accesso automatico alla verità. La differenza tra parlare bene e sapere davvero resta enorme, anche se spesso lo schermo la nasconde.

Per questo la strada più solida non passa dalla fede cieca né dal rifiuto isterico. Passa da un uso disciplinato, quasi artigianale, in cui ogni affermazione importante viene verificata come si farebbe con una fonte fragile e preziosa. È un lavoro più lento, certo. Ma nel tempo della risposta istantanea, la lentezza della verifica è ancora il miglior antidoto contro l’illusione perfetta.