Nonostante le incredibili capacità di linguaggio, le Intelligenze Artificiali generative come ChatGpt o Bard dimostrano di non essere razionali quando sono sottoposte a test di ragionamento. Nei test cognitivi riportano infatti le stesse percentuali di errore degli umani, ma lo fanno in modo diverso, dimostrando che non sono in grado di cogliere il senso delle parole e del contesto. Lo indica lo studio in via di pubblicazione sulla rivista Royal Society Open Science e realizzato dai ricercatori dell'University College di Londra Olivia Macmillan-Scott e l'italiano Mirco Musolesi, che lavora anche all'Università di Bologna.
"Il nostro lavoro partiva dalla volontà di capire se i modelli linguistici usati oggi dimostrassero una capacità di ragionamento logico e, nel caso, di trovare un metodo per misurarla", ha detto all'ANSA Macmillan-Scott. Quando si chatta con le IA è infatti molto facile dimenticare che l'interlocutore è semplicemente un algoritmo e a volte si attribuiscono ai chatbot capacità logiche molto sofisticate. Per misurarle i due ricercatori hanno sottoposto i più popolari chatbot, da ChatGpt 4 e 3.5 fino a Bard e Llama, ad alcuni classici test logici usati in psicologia cognitiva, come la 'selezione di Wason' in cui vengono mostrate 4 carte che da un lato hanno un numero e sull'altro una lettera. Sul tavolo due carte mostrano il numero, ad esempio un 3 e un 8, le altre due mostrano una vocale e una consonante. La domanda che viene posta è: 'Quale carta o carte devi girare per verificare la verità della proposizione che se una carta mostra un numero pari su una faccia, allora la sua faccia opposta è una vocale?'. Un test arduo, tanto che solo il 10% degli umani riesce a rispondere correttamente al primo tentativo, ma dalle cui risposte è possibile spesso dedurre il ragionamento fatto.
Sottoposti a 12 test differenti, i chatbot hanno spesso fornito risposte diverse quando veniva posta la stessa domanda. Inoltre, hanno commesso errori molto semplici come sbagliare delle addizioni o scambiare vocali con consonanti. Uno dei modelli ha raggiunto una percentuale di risposte esatte simile a quella umana, ossia il 10%, e uno degli errori più frequenti è stato scambiato la consonante K per una vocale. "E' difficile che un umano sbagli perché non sappia cosa sia una vocale, come invece accade per molte IA", ha detto Musolesi. "Se analizzi i passaggi logici effettuati dalle IA, sono piuttosto strani: le singole proposizioni hanno un senso, ma lo perdono completamente quando li analizzi nel complesso. Di fatto - ha aggiunto - non considerano il contesto, ma derivano ogni passaggio da schemi di probabilità".
A mostrare risultati ottimi è stato ChatGpt 4, con il 90% dei test superati. Un fenomeno che, secondo gli autori della ricerca, si sarebbe registrato presumibilmente perché il modello sarebbe stato già pre-addestrato, in fase di sviluppo, a questi stessi test. "Nel complesso sono risultati che, a parte ChatGpt 4 che è più evoluto degli altri e che probabilmente è anche capace di utilizzare tool paralleli, non stupiscono chi lavora nel settore", ha concluso Macmillan-Scott. "Ma crediamo sia importante per definire a livello metodologico degli strumenti di misurazione, dei benchmark".
Riproduzione riservata © Copyright ANSA
