OpenAI aveva promesso di dedicare il 20% della sua potenza di calcolo alla lotta contro i tipi di IA più pericolosi, ma non ha mai mantenuto i risultati.

Ora, meno di un anno dopo, quel team, chiamato Superalignment, si è sciolto tra le dimissioni dei dipendenti e le accuse secondo cui OpenAI sta dando priorità al lancio di prodotti rispetto alla sicurezza dell’intelligenza artificiale. Secondo sei fonti che hanno familiarità con il lavoro del team OpenAI Superalignment, OpenAI non ha mai mantenuto l’impegno di fornire al team il 20% della sua potenza di calcolo.

Invece, secondo le fonti, il team ha visto ripetutamente le sue richieste di accesso alle unità di elaborazione grafica, chip di computer specializzati necessari per addestrare ed eseguire applicazioni IA, respinte dalla leadership di OpenAI, anche se il budget complessivo del team non si è mai avvicinato a quanto richiesto. Era stata promessa una soglia del 20%.

Queste rivelazioni sollevano interrogativi su quanto seriamente OpenAI prenda il suo impegno pubblico e se ci si debba fidare di altri impegni pubblici assunti dall’azienda. OpenAI non ha risposto alle richieste di commento su questa storia.

L’azienda sta attualmente affrontando una reazione negativa sull’uso della voce nelle sue funzionalità di generazione vocale basate sull’intelligenza artificiale che hanno una sorprendente somiglianza con quelle dell’attrice Scarlett Johansson. In questo caso sono stati sollevati dubbi sulla credibilità delle dichiarazioni pubbliche di OpenAI secondo cui la somiglianza tra la voce dell’IA che chiama “Sky” e quella di Johansson è puramente casuale. Johansson afferma che Sam Altman, co-fondatore e CEO di OpenAI, l’ha contattata lo scorso settembre, quando ha debuttato la voce di Sky, e ha chiesto il permesso di usare la sua voce. Ho rifiutato. Dice che Altman ha chiesto nuovamente il permesso di usare la sua voce la settimana scorsa, subito prima di una dimostrazione dell’ultimo modello GPT-4o, che utilizza la voce di Sky. OpenAI ha negato di aver utilizzato la voce della Johansson senza il suo permesso, affermando di aver pagato un’attrice professionista, che afferma di non poter rivelare legalmente, per creare Sky. Ma le affermazioni di Johansson ora hanno messo in dubbio questo, con alcuni che speculano sui social media secondo cui OpenAI ha effettivamente clonato la voce di Johansson o forse ha mescolato la voce di un’altra attrice con quella di Johansson in qualche modo per creare Sky.

Il team OpenAI Superalignment è stato creato sotto la guida di Ilya Sutskever, cofondatore di OpenAI ed ex capo scienziato, la cui partenza dall’azienda è stata annunciata la scorsa settimana. Jan Laecke, ricercatore di lunga data presso OpenAI, ha co-guidato il team. Ha annunciato le sue dimissioni venerdì, due giorni dopo la partenza di Sutskever. L’azienda ha poi informato i restanti dipendenti del team, che contava circa 25 persone, che sarebbe stato sciolto e che sarebbero stati riassegnati all’interno dell’azienda.

È stata una caduta precipitosa per un team il cui lavoro meno di un anno fa OpenAI aveva ritenuto vitale per l’azienda e importante per il futuro della civiltà. La superintelligenza è l’idea di un futuro ipotetico sistema di intelligenza artificiale che sarà più intelligente di tutti gli esseri umani messi insieme. È una tecnologia che andrebbe oltre l’obiettivo dichiarato dell’azienda di creare un’intelligenza artificiale generale, o AGI, un unico sistema di intelligenza artificiale intelligente quanto qualsiasi persona.

Superintelligenza, Inc Ha detto quando ha annunciato la squadraPotrebbe rappresentare una minaccia esistenziale per l’umanità cercando di uccidere o schiavizzare le persone. “Non abbiamo alcuna soluzione per guidare e controllare l’intelligenza artificiale potenzialmente super-intelligente e impedirle di diventare canaglia”, ha affermato OpenAI nel suo annuncio. Il team di Superalignment avrebbe dovuto ricercare queste soluzioni.

Si trattava di una missione così importante che l’azienda ha dichiarato nel suo annuncio che avrebbe dedicato “il 20% dei computer che abbiamo acquisito finora nei prossimi quattro anni” a questo sforzo.

Ma sei fonti che hanno familiarità con il lavoro del team di Superalignment hanno affermato che tale calcolo non è mai stato assegnato al gruppo. Invece, ha ricevuto un importo molto inferiore al normale budget di allocazione informatica dell’azienda, che viene rivalutato ogni tre mesi.

Non ci sono parametri chiari su come calcolare esattamente il 20%, rendendolo aperto a un’ampia interpretazione, ha affermato una fonte che ha familiarità con il lavoro del team di Superalignment. Ad esempio, la fonte ha affermato che al team non è mai stato detto se la promessa significasse “20% all’anno per quattro anni”, “5% all’anno per quattro anni” o qualche importo variabile che potrebbe finire per essere “1% o 2% .” % per quattro anni” i primi tre anni, poi il grosso dell’impegno nel quarto anno. Comunque, tutte le fonti fortuna Questa storia ha confermato che il team di Superalignment non ha mai avuto un calcolo sicuro vicino al 20% per OpenAI a partire da luglio 2023.

I ricercatori di OpenAI possono anche presentare richieste per il cosiddetto calcolo “elastico” – l’accesso a capacità GPU aggiuntiva oltre a quanto preventivato – per gestire nuovi progetti tra le riunioni trimestrali sul budget. Ma queste fonti hanno affermato che le richieste flessibili da parte del team di Superalignment venivano regolarmente respinte dagli alti funzionari.

Bob McGraw, vicepresidente della ricerca di OpenAI, è stato il dirigente che ha informato il team di respingere queste richieste, ma altri all’interno dell’azienda, tra cui il CTO Mira Moratti, sono stati coinvolti nel prendere le decisioni, hanno detto le fonti. Né McGraw né Moratti hanno risposto alle richieste di commento su questa storia.

Mentre il team faceva alcune ricerche, è stato rilasciato carta Descrivendo nel dettaglio le sue esperienze nell’ottenere con successo un modello di intelligenza artificiale meno potente per controllare un modello più potente nel dicembre 2023, ha affermato la fonte, la mancanza di calcolo ha ostacolato le idee più ambiziose del team.

Dopo le sue dimissioni, Lyke venerdì ha pubblicato una serie di post su X (ex Twitter) in cui criticava il suo ex datore di lavoro, dicendo: “La cultura e i processi della sicurezza sono rimasti indietro rispetto a prodotti brillanti”. Ha anche detto: “Negli ultimi mesi la mia squadra ha navigato controvento. A volte facevamo fatica a calcolare e portare a termine questa importante ricerca stava diventando sempre più difficile.

Cinque fonti che hanno familiarità con il lavoro del team di Superalignment hanno supportato il racconto di Leike, affermando che i problemi di accesso ai computer sono peggiorati in seguito allo stallo pre-Ringraziamento tra Altman e il consiglio di amministrazione dell’organizzazione no-profit OpenAI.

Sutskever, che era un membro del consiglio, aveva votato per licenziare Altman ed era la persona scelta dal consiglio per informare Altman della notizia. Quando i dipendenti di OpenAI si sono ribellati in risposta alla decisione, Sutskever ha successivamente pubblicato su X che “si rammarica profondamente” del suo coinvolgimento nel licenziamento di Altman. Alla fine, Altman è stato riconfermato e Sutskever e molti altri membri del consiglio coinvolti nella sua rimozione si sono dimessi dal consiglio. Sutskever non è mai tornato a lavorare presso OpenAI dopo che Altman è stato riassunto, ma non ha lasciato ufficialmente l’azienda fino alla settimana scorsa.

Una fonte non era d’accordo con il metodo delle altre fonti fortuna Ha parlato dei problemi informatici affrontati da Superalignment, dicendo che erano antecedenti al coinvolgimento di Sutskever nel fallito colpo di stato, che aveva afflitto il gruppo fin dall’inizio.

Sebbene ci fossero alcuni rapporti secondo cui Sutskever continuava a co-guidare il team di Superalignment da remoto, fonti che hanno familiarità con il lavoro del team hanno affermato che non era così e che Sutskever non ha avuto accesso al lavoro del team e non ha svolto alcun ruolo nella direzione del team da allora in poi. . Ringraziamento.

Con la partenza di Sutskever, il team di Superalignment ha perso l’unica persona che aveva abbastanza capitale politico all’interno dell’organizzazione per sostenere con successo la sua appropriazione informatica, hanno detto le fonti.

Oltre a Leike e Sutskever, OpenAI ha perso almeno altri sei ricercatori sulla sicurezza dell’IA provenienti da vari team negli ultimi mesi. Uno dei ricercatori, Daniel Kokotaglo, ha dichiarato al sito di notizie Vox di “aver perso gradualmente la fiducia nella leadership di OpenAI e nella loro capacità di gestire l’AGI in modo responsabile, quindi mi sono dimesso”.

In risposta ai commenti di Leike, Altman e il co-fondatore Greg Brockman, che è il presidente di OpenAI, hanno pubblicato su [Leike] Per tutto quello che ha fatto per OpenAI. I due hanno continuato scrivendo: “Dobbiamo continuare ad alzare il livello del nostro lavoro sulla sicurezza per far fronte ai rischi di ogni nuovo modello”.

Hanno poi offerto il loro punto di vista sull’approccio dell’azienda alla futura sicurezza dell’IA, che includerà un’attenzione molto maggiore sui test dei modelli attualmente in sviluppo piuttosto che cercare di sviluppare approcci teorici su come rendere sicuri modelli futuri e più potenti. “Abbiamo bisogno di un ciclo di feedback molto stretto, test rigorosi, un’attenta considerazione in ogni fase, sicurezza di livello mondiale e armonia tra sicurezza e capacità”, hanno scritto Brockman e Altman, aggiungendo che “la comprensione esperienziale può aiutare a determinare la via da seguire”.

Le persone con cui hanno parlato fortuna Lo hanno fatto in modo anonimo, o perché hanno affermato di temere di perdere il lavoro, o perché temono di perdere le azioni acquisite nella società, o entrambi. I dipendenti che lasciarono OpenAI furono costretti a firmare accordi di separazione che includevano una rigorosa clausola di non denigrazione in base alla quale la società avrebbe potuto riscattare le loro azioni acquisite se avessero criticato pubblicamente la società, o anche se avessero ammesso l’esistenza della clausola. Ai dipendenti è stato detto che chiunque si rifiuti di firmare l’accordo di separazione perderà anche le proprie azioni.

Dopo Fox menzionato Riguardo a questi termini di separazione, Altman ha scritto su X di non essere a conoscenza di questa clausola e di essere “davvero imbarazzato” da questo fatto. Ha detto che OpenAI non ha mai provato a far rispettare la clausola e a recuperare le azioni maturate per nessuno. Ha detto che la società stava aggiornando i suoi documenti di uscita per “risolvere” il problema e che tutti gli ex dipendenti che fossero preoccupati per le disposizioni contenute nei documenti di uscita che avevano firmato avrebbero potuto contattarli direttamente in merito alla questione e sarebbero stati cambiati.