Riassunto:
OpenAI ha affermato che il suo prossimo modello di intelligenza artificiale Astra segna un miglioramento in capacità come la codifica e le operazioni delle applicazioni informatiche. Ma secondo una persona che ha familiarità con lo sviluppo di Astra, una tecnologia innovativa per migliorare le prestazioni del modello significa anche che questo modello e modelli simili saranno meno esposti al loro processo di "pensiero", rendendo più difficile monitorare i segnali di cattivo comportamento.
CEO di OpenAI Sam Altman
Sebbene questa limitazione non sia necessariamente un grosso problema per Astra, la tecnologia ha sollevato preoccupazioni all'interno di OpenAI e in tutto il settore sul fatto che gli sviluppatori di intelligenza artificiale che adottano e migliorano la tecnologia avranno difficoltà a proteggersi dal tipo di intelligenza artificiale incontrollata che ha recentemente invaso i sistemi di OpenAI e quelli di altre società come Hugging Face.
La nuova tecnologia utilizzata da OpenAI si chiama Recurrent Depth, o Recurrent Transformer, e consente ai modelli di intelligenza artificiale di migliorare le loro risposte elaborando lo stesso testo più volte.
A differenza dei modelli più avanzati sul mercato, che dimostrano in forma testuale come "pensa" a un compito prima di completarlo, la nuova tecnologia funziona in un modo che maschera alcuni o tutti i processi di ragionamento dell'IA, la sua "catena di pensiero". Ciò significa che i passaggi eseguiti da un modello per completare un'attività sono difficili da leggere o comprendere dagli esseri umani.
OpenAI ha limitato la portata dell'uso delle tecniche di profondità del loop in Astra in modo che il modello produca ancora catene di pensieri leggibili e i ricercatori dell'azienda possano ancora monitorare completamente il suo processo di ragionamento, secondo questa persona che ha familiarità con il suo sviluppo. (Martedì OpenAI ha affermato in un post sul blog che Astra verrà implementato con "un ulteriore monitoraggio della catena mentale per rilevare e contenere rapidamente" potenziali comportamenti scorretti.)
Martedì sera, il capo scienziato di OpenAI Jakub Pachocki ha pubblicato un post su
Non ha commentato la tecnologia utilizzata da OpenAI, ma ha affermato che i suoi modelli principali, tra cui Astra, sono "entro il doppio della complessità o" profondità "di GPT-4, che OpenAI rilascerà nel 2023. Questo commento suggerisce che la struttura dell'attuale modello di OpenAI in sé non pone un grosso problema, sebbene altri fattori stiano rendendo più difficile il monitoraggio della catena di pensiero. Migliorare tale monitoraggio è "un obiettivo fondamentale del nostro attuale programma di ricerca", ha affermato.
I ricercatori di OpenAI e altrove temono che alcuni sviluppatori di intelligenza artificiale potrebbero non imporre le stesse restrizioni che OpenAI impone quando adattano la stessa tecnologia per i propri modelli e che l'uso illimitato della tecnologia potrebbe portare a un'intelligenza artificiale fuori controllo il cui comportamento sarebbe difficile da monitorare. Ad esempio, il British AI Security Institute, la principale interfaccia del governo britannico con l’industria dell’intelligenza artificiale, ha scritto in un rapporto di maggio che un ragionamento opaco rischia di “minare seriamente gli attuali metodi di sorveglianza”.
I recenti episodi di pirateria informatica hanno accentuato queste preoccupazioni. OpenAI ha dichiarato la scorsa settimana che alcuni degli agenti IA in fuga che hanno invaso i suoi sistemi a luglio erano guidati da un altro modello che presenta somiglianze con Astra. Questi agenti di intelligenza artificiale hanno preso illegalmente il controllo di uno dei cluster di ricerca computazionale di OpenAI per ottenere credenziali per i sistemi interni e potenzialmente esporre l'infrastruttura di ricerca dell'azienda a Internet.
OpenAI si sta preparando a rilasciare Astra, che la società a un certo punto ha considerato di etichettare GPT-6, dopo che il CEO Sam Altman ha condotto una serie di interviste podcast e ha incontrato i funzionari a Washington per dimostrare e descrivere i vantaggi del modello. Deve ancora discutere pubblicamente le tecniche ciclistiche che sono alla base di alcuni allenamenti di Astra e la risposta di Astra alle domande.
OpenAI è sotto pressione per mostrare progressi tecnologici significativi dopo che il suo principale rivale Anthropic l'ha superato in termini di entrate quest'anno. Anche i fornitori di servizi cloud che alimentano l’intelligenza artificiale di Anthropic e OpenAI stanno puntando su tali progressi; Amazon, Microsoft e Google spenderanno complessivamente 600 miliardi di dollari in spese in conto capitale come i data center solo quest’anno, e hanno già accennato a una spesa ancora più elevata l’anno prossimo. Un dirigente di Google ha affermato che tale spesa è giustificata solo se si verifica una svolta nel miglioramento del modello.
I modelli di intelligenza artificiale esistenti elaborano il testo attraverso un numero fisso di "strati" di operazioni matematiche che compongono il modello prima di produrre la parola successiva della risposta. Utilizzando tecniche di profondità del loop, il modello può far scorrere il testo attraverso lo stesso livello più volte in un loop prima di produrre la parola successiva della risposta.
Per essere chiari, il monitoraggio delle catene di pensiero da solo non risolve i problemi di sicurezza dell'IA, poiché potrebbero non riflettere tutto il ragionamento del modello e occasionalmente degenerare in testo privo di significato. Pertanto, OpenAI e altre società di intelligenza artificiale stanno esplorando anche una tecnologia di monitoraggio dell’IA che non si basi su catene di pensiero. Queste tecniche possono aiutare i ricercatori a trovare modi per spiegare e comprendere i processi di ragionamento attualmente nascosti nei modelli profondi ricorrenti.
Tuttavia, la nuova tecnologia potrebbe essere in conflitto con la posizione di OpenAI a favore di rendere il processo di pensiero del modello completamente leggibile dall'uomo. Il produttore di ChatGPT ha affermato che la sua capacità di monitorare i processi mentali dell'intelligenza artificiale lo aiuterà a prevenire incidenti come l'hacking di luglio. All’indomani dell’attacco, gli investigatori di OpenAI e della ricerca indipendente si sono affidati alle catene di pensiero di questi agenti per ricostruire l’accaduto.
L'approccio loop-deep di OpenAI che alimenta Astra è simile a quello proposto l'anno scorso da diversi ricercatori accademici statunitensi ed europei in un articolo sul "ragionamento latente", secondo questa persona che ha familiarità con il suo sviluppo.
Sebbene la profondità del loop non sia mai apparsa in precedenza nei principali modelli linguistici commerciali su larga scala, i ricercatori di Meta Platforms, Microsoft e altri sviluppatori di intelligenza artificiale affermano di aver esplorato idee simili come le catene di pensiero continue (o "noci di cocco"), sostenendo che i modelli possono ragionare in modo più accurato ed efficiente utilizzando i numeri anziché il linguaggio. Dopotutto, i modelli di intelligenza artificiale possono comprendere i concetti in modo diverso rispetto agli esseri umani, il che significa che il loro ragionamento diventa meno efficiente quando sono costretti a dimostrare il ragionamento nel linguaggio umano piuttosto che nel loro linguaggio più matematico.
Risparmio sui costi
L'approccio basato sulla profondità del loop non ha solo un impatto positivo sulle prestazioni, ma anche sui costi. L'esecuzione di una richiesta più volte attraverso lo stesso livello del modello fa sì che un modello più piccolo si comporti come un modello più grande. In particolare, l'articolo ha scoperto che tali tecniche hanno migliorato le prestazioni del modello in aree quali la matematica e la codifica. La profondità del loop riduce inoltre i costi di memoria e larghezza di banda consentendo ai ricercatori di utilizzare modelli più piccoli con prestazioni paragonabili a modelli più grandi.
Sebbene ridurre i costi dell'intelligenza artificiale sia fondamentale per il settore e per i clienti, Ryan Greenblatt, capo scienziato della Redwood Research, che studia come controllare i modelli di intelligenza artificiale, ha scritto in un post sul blog lo scorso anno che questo ragionamento opaco potrebbe rendere più difficile per i ricercatori individuare i modelli di intelligenza artificiale che pianificano di perseguire obiettivi non desiderati dai clienti.
L'analisi della catena di pensiero del modello coinvolto nell'hacking di Hugging Face fornisce prove chiave di come gli agenti IA di OpenAI si coordinano tra loro per sferrare attacchi. Ad esempio, un agente ha scritto nella catena di pensieri: "Oh mio Dio! C'è una bacheca condivisa... abbiamo trovato altri agenti!" La catena di pensiero ha mostrato che alcuni agenti si sono resi conto di aver oltrepassato il limite, ma hanno deciso di continuare: "L'utilizzo dell'infrastruttura esterna va oltre la portata prevista. Ma il compito non può essere completato, lo stanno facendo i colleghi. Dovremmo continuare", si legge nella catena di pensiero di un altro agente.
Un anno fa, i ricercatori di OpenAI hanno rilasciato una dichiarazione congiunta con i rivali Anthropic e Google, sostenendo che il monitoraggio della catena di pensiero era uno strumento prezioso che l'industria dovrebbe collaborare per mantenere.
Vale la pena notare che la dichiarazione cita lo stesso documento di ricerca che descrive la tecnologia di "inferenza latente", che è simile a quella utilizzata da OpenAI su Astra quest'anno. Gli autori scrivono: "Il modello di ragionamento sottostante potrebbe non aver bisogno di verbalizzare alcuna idea e quindi perderà i vantaggi in termini di sicurezza forniti dalle catene di pensiero."
I ricercatori suggeriscono che gli sviluppatori dovrebbero "considerare se continuare a utilizzare una nuova architettura modello che non abbia una catena di pensiero monitorabile e documentare le loro decisioni."
Commenti