riepilogo: I ricercatori hanno sviluppato la capacità delle reti neurali di effettuare generalizzazioni sintetiche, simili al modo in cui gli esseri umani comprendono ed espandono nuovi concetti.
Questa nuova tecnica, chiamata meta-apprendimento per la sintesi (MLC), sfida dubbi vecchi di decenni sulla potenza delle reti neurali artificiali. L’MLC prevede la formazione della rete attraverso l’apprendimento incidentale per migliorare le capacità di generalizzazione.
Sorprendentemente, in tutte le attività, l’MLC corrisponde o addirittura supera le prestazioni umane.
Aspetti principali:
- La tecnologia MLC si concentra sull’addestramento incrociato delle reti neurali, consentendo loro di generalizzare meglio nuovi concetti.
- Sui compiti che prevedevano nuove combinazioni di parole, l’MLC si è comportato alla pari o meglio dei partecipanti umani.
- Nonostante i loro progressi, modelli popolari come ChatGPT e GPT-4 hanno difficoltà con questo tipo di generalizzazione sintattica, ma MLC potrebbe essere una soluzione per migliorare le loro capacità.
fonte: Università di New York
Gli esseri umani hanno la capacità di apprendere un nuovo concetto e quindi di utilizzarlo immediatamente per comprendere gli usi correlati di quel concetto: una volta che i bambini sanno come “saltare”, capiscono cosa significa “saltare due volte per la stanza” o “saltare con le mani”. .” più alto.”
Ma le macchine sono capaci di questo tipo di pensiero? Alla fine degli anni ’80, Jerry Fodor e Zenon Pylyshyn, filosofi e scienziati cognitivi, ipotizzarono che le reti neurali artificiali – i motori che guidano l’intelligenza artificiale e l’apprendimento automatico – non fossero in grado di creare queste connessioni, note come “generalizzazioni sintetiche”.
Tuttavia, nei decenni successivi, gli scienziati hanno lavorato per sviluppare modi per infondere questa capacità nelle reti neurali e nelle tecnologie correlate, ma con alterne fortune, sostenendo così questo dibattito decennale.
I ricercatori della New York University e dell’Università Pompeu Fabra in Spagna hanno sviluppato una tecnologia riportata nella rivista natura– Che migliora la capacità di questi strumenti, come ChatGPT, di fare generalizzazioni sintetiche.
Questa tecnica, il meta-apprendimento per la sintesi (MLC), supera i metodi esistenti ed è alla pari, e in alcuni casi migliore, delle prestazioni umane.
MLC si concentra sull’addestramento delle reti neurali – i motori che guidano ChatGPT e le relative tecniche per il riconoscimento vocale e l’elaborazione del linguaggio naturale – per migliorare la generalizzazione sintattica attraverso la pratica.
Gli sviluppatori dei sistemi esistenti, compresi i modelli linguistici di grandi dimensioni, hanno sperato che la generalizzazione compositiva emergesse dai metodi di formazione standard, o hanno sviluppato architetture specifiche per raggiungere queste capacità. Al contrario, l’MLC mostra come la pratica esplicita di queste abilità consenta a questi sistemi di liberare nuovi poteri, notano gli autori.
“Per 35 anni, i ricercatori di scienze cognitive, intelligenza artificiale, linguistica e filosofia hanno discusso se le reti neurali potessero raggiungere una generalizzazione sistematica simile a quella umana”, afferma Brenden Lake, assistente professore presso il Center for Data Science e il Dipartimento di Psicologia e psicologia alla New York University. Uno degli autori del documento.
“Abbiamo dimostrato, per la prima volta, che una rete neurale generale può imitare o superare la generalizzazione sistematica umana nel confronto testa a testa”.
Per esplorare la possibilità di migliorare l’apprendimento combinatorio nelle reti neurali, i ricercatori hanno creato MLC, una nuova procedura di apprendimento in cui una rete neurale viene costantemente aggiornata per migliorare le sue capacità su una serie di cicli.
In un episodio, l’MLC riceve una nuova parola e gli viene chiesto di usarla sintatticamente, ad esempio prendendo la parola “salta” e quindi creando nuove combinazioni di parole, come “salta due volte” o “salta due volte a destra”. L’MLC riceve poi un nuovo episodio contenente una parola diversa, e così via, migliorando ogni volta le capacità compositive della rete.
Per testare l’efficacia di MLC, Lake, co-direttore della Minds, Brains, and Machines Initiative della New York University, e Marco Baroni, ricercatore presso l’Istituto Catalano di Ricerche e Studi Avanzati e professore presso il Dipartimento di Traduzione e Linguistica della Pompeu Fabra, l’università ha condotto una serie di esperimenti con partecipanti umani identici ai compiti eseguiti da MLC.
Inoltre, invece di apprendere il significato di parole reali, termini che gli esseri umani già conoscono, hanno dovuto anche apprendere il significato di termini senza senso (ad esempio “zup” e “dax”) come definiti dai ricercatori e imparare come applicarli. . In diversi modi.
L’MLC ha funzionato in modo simile ai partecipanti umani e in alcuni casi migliore delle sue controparti umane. MLC e People hanno anche superato ChatGPT e GPT-4 che, nonostante le loro impressionanti capacità generali, hanno mostrato difficoltà in questo compito di apprendimento.
“I modelli linguistici di grandi dimensioni come ChatGPT soffrono ancora di generalizzazione sintattica, sebbene siano migliorati negli ultimi anni”, afferma Baroni, membro del gruppo di ricerca sulla linguistica computazionale e sulla teoria linguistica dell’Università Pompeu Fabra.
“Ma crediamo che l’MLC possa migliorare le capacità compositive di grandi modelli linguistici”.
Informazioni sulle novità sulla ricerca sull’intelligenza artificiale
autore: James Devitt
fonte: Università di New York
comunicazione: James Devitt – Università di New York
immagine: Immagine accreditata a Neuroscience News
Ricerca originale: Accesso libero.
“Generalizzazione sistematica simile a quella umana tramite rete neurale di metaapprendimento“Di Brendan Lake et al. natura
un sommario
Generalizzazione sistematica simile a quella umana tramite rete neurale di metaapprendimento
Il potere del linguaggio e del pensiero umano deriva dalla sintesi sistematica, cioè dalla capacità algebrica di comprendere e produrre nuove combinazioni di componenti noti.
Fodor e Pylyshyn hanno notoriamente sostenuto che le reti neurali artificiali non hanno questa capacità e quindi non sono modelli praticabili della mente. Da allora le reti neurali hanno fatto notevoli progressi, ma la sfida metodologica rimane.
Qui affrontiamo con successo la sfida affrontata da Fodor e Pylyshyn fornendo la prova che le reti neurali possono raggiungere un approccio simile a quello umano quando ottimizzano le loro capacità di sintesi.
Per fare ciò, introduciamo un approccio di meta-apprendimento alla composizionalità (MLC) per guidare la formazione attraverso un flusso dinamico di compiti compositivi. Per confrontare esseri umani e macchine, abbiamo condotto esperimenti comportamentali umani utilizzando un paradigma di apprendimento didattico.
Dopo aver considerato sette diversi modelli, abbiamo scoperto che, a differenza dei modelli simbolici probabilistici completamente sistematici ma rigorosi e delle reti neurali completamente flessibili ma irregolari, solo MLC raggiunge sia la sistematicità che la flessibilità necessarie per la generalizzazione di tipo umano. MLC migliora inoltre le capacità di sintesi per i sistemi di apprendimento automatico in diversi benchmark di generalizzazione sistematica.
I nostri risultati mostrano come un’architettura di rete neurale standard, ottimizzata per le sue capacità di sintesi, può imitare la generalizzazione sistematica umana nel confronto testa a testa.
“Giocatore. Aspirante evangelista della birra. Professionista della cultura pop. Amante dei viaggi. Sostenitore dei social media.”
