I risultati di ricerca di ChatGPT per le notizie sono “imprevedibili” e spesso imprecisi

Secondo uno studio condotto dai ricercatori del Tow Center for Digital Journalism della Columbia, lo strumento di ricerca di OpenAI per ChatGPT presenta gravi problemi perchè le risposte non sono accurate e veritiere. Lanciato a ottobre per gli abbonati, lo strumento è stato progettato per fornire risposte rapide e tempestive con link a fonti web rilevanti. Tuttavia, i test dimostrano che ChatGPT spesso fatica a identificare correttamente le citazioni degli articoli, anche quando provengono da editori che collaborano con OpenAI per la condivisione dei dati.

I ricercatori hanno sottoposto ChatGPT a un test con 200 citazioni provenienti da 20 pubblicazioni, di cui 40 estratte da siti che avevano bloccato l’accesso al crawler di OpenAI. Nonostante ciò, il chatbot ha fornito informazioni false, raramente ammettendo di non essere sicuro delle risposte.

In dettaglio:

 • ChatGPT ha fornito risposte completamente o parzialmente errate in 153 occasioni.

 • Solo in 7 casi ha riconosciuto l’impossibilità di rispondere correttamente, usando espressioni come “sembra,” “è possibile,” o “non ho trovato l’articolo esatto.”

 • Spesso ha attribuito citazioni a fonti sbagliate: ad esempio, ha collegato una lettera al direttore del Orlando Sentinel a un articolo pubblicato da Time oppure ha citato un articolo del New York Times sulle balene in via di estinzione con un link a un sito che aveva plagiato interamente la storia.

OpenAI, in risposta, ha dichiarato che la difficoltà nel risolvere errori di attribuzione è legata alla mancanza di dati e metodologia condivisi dallo studio. Ha inoltre definito il test un’analisi “atipica” delle capacità del prodotto e ha promesso di migliorare ulteriormente i risultati di ricerca.