Notizia

Aug 14, 2023

Le IA possono scrivere gag, ma non sono coinvolte nello scherzo

Completa il modulo sottostante e ti invieremo via email una versione PDF di "Le IA possono scrivere gag, ma non partecipano allo scherzo" Completa il modulo sottostante per sbloccare l'accesso a TUTTI gli articoli audio. Grandi reti neurali, a

Compila il modulo sottostante e ti invieremo via email una versione PDF di "Le IA possono scrivere gag, ma non partecipano allo scherzo"

Completa il modulo sottostante per sbloccare l'accesso a TUTTI gli articoli audio.

Le grandi reti neurali, una forma di intelligenza artificiale, possono generare migliaia di battute del tipo “Perché la gallina ha attraversato la strada?” Ma capiscono perché sono divertenti?

Utilizzando centinaia di proposte del Cartoon Caption Contest della rivista New Yorker come banco di prova, i ricercatori hanno sfidato i modelli di intelligenza artificiale e gli esseri umani con tre compiti: abbinare una battuta a un cartone animato; individuare una didascalia vincente; e spiegare perché una didascalia vincente è divertente.

In tutti i compiti, gli esseri umani si sono comportati in modo dimostrabile meglio delle macchine, anche se i progressi dell’intelligenza artificiale come ChatGPT hanno colmato il divario prestazionale. Quindi le macchine stanno iniziando a “capire” l’umorismo? In breve, stanno facendo dei progressi, ma non sono ancora arrivati ​​a quel punto.

Iscriviti alla newsletter quotidiana di Technology Networks, riceverai ogni giorno le ultime notizie scientifiche direttamente nella tua casella di posta.

"Il modo in cui le persone mettono alla prova la comprensione dei modelli di intelligenza artificiale è costruire test per loro: test a scelta multipla o altre valutazioni con un punteggio di precisione", ha affermato Jack Hessel, Ph.D. '20, ricercatore presso l'Allen Institute for AI (AI2). "E se un modello alla fine supera ciò che gli esseri umani ottengono in questo test, pensi: 'OK, questo significa che capisce veramente?' È una posizione difendibile affermare che nessuna macchina può veramente “capire” perché la comprensione è una cosa umana. Ma, che la macchina capisca o meno, è comunque impressionante quanto bene svolgano questi compiti”.

Hessel è l'autore principale di “Do Androids Laugh at Electric Sheep? Humor 'Understanding' Benchmarks from The New Yorker Caption Contest”, che ha vinto il premio come miglior articolo al 61esimo incontro annuale dell'Association for Computational Linguistics, tenutosi dal 9 al 14 luglio a Toronto.

Lillian Lee '93, professore Charles Roy Davis al Cornell Ann S. Bowers College of Computing and Information Science, e Yejin Choi, Ph.D. '10, professore alla Paul G. Allen School of Computer Science and Engineering presso l'Università di Washington, e direttore senior della ricerca sull'intelligence sul senso comune presso AI2, sono anche coautori dell'articolo.

Per il loro studio, i ricercatori hanno raccolto 14 anni di concorsi per sottotitoli del New Yorker – più di 700 in tutto. Ogni concorso prevedeva: una vignetta senza didascalia; le voci di quella settimana; i tre finalisti selezionati dalla redazione del New Yorker; e, per alcuni concorsi, stime sulla qualità del pubblico per ogni invio.

Per ogni concorso, i ricercatori hanno testato due tipi di intelligenza artificiale – “da pixel” (visione artificiale) e “da descrizione” (analisi di riassunti umani di cartoni animati) – per i tre compiti.

"Ci sono set di dati di foto da Flickr con didascalie del tipo: 'Questo è il mio cane'", ha detto Hessel. “La cosa interessante del caso del New Yorker è che le relazioni tra le immagini e le didascalie sono indirette, giocose e fanno riferimento a molte entità e norme del mondo reale. E quindi il compito di “comprendere” la relazione tra queste cose richiede un po’ più di sofisticazione”.

Nell'esperimento, l'abbinamento richiedeva che i modelli di intelligenza artificiale selezionassero la didascalia finalista per un determinato cartone animato tra i "distrattori" che erano finalisti ma per altri concorsi; la classificazione della qualità richiedeva modelli per differenziare una didascalia finalista da una non finalista; e la spiegazione richiedeva modelli per generare testo libero che indicasse come una didascalia di alta qualità si collega alla vignetta.

Hessel ha scritto lui stesso la maggior parte delle spiegazioni generate dall'uomo, dopo che il compito di crowdsourcing si è rivelato insoddisfacente. Ha generato spiegazioni di 60 parole per più di 650 cartoni animati.

"Un numero come 650 non sembra molto grande in un contesto di apprendimento automatico, dove spesso si hanno migliaia o milioni di punti dati", ha detto Hessel, "finché non si inizia a scriverli".

Questo studio ha rivelato un divario significativo tra la “comprensione” a livello di intelligenza artificiale e umana del motivo per cui un cartone animato è divertente. La migliore prestazione dell'intelligenza artificiale in un test a scelta multipla di corrispondenza tra cartoni animati e didascalie è stata di solo il 62% di precisione, molto inferiore al 94% degli esseri umani nella stessa impostazione. E quando si è trattato di confrontare le spiegazioni generate dall’uomo con quelle generate dall’intelligenza artificiale, quelle umane sono state preferite con un rapporto di circa 2 a 1.