Riassunto:
Un ricercatore impegnato nella risoluzione del Problema del Millennio era disposto a prevedere il progresso dell'intelligenza artificiale nei prossimi 12 mesi, ma ora non osa giudicare nemmeno tra tre mesi.
Il 17 settembre, il ricercatore OpenAI Noam Brown è stato intervistato da Dwarkesh Patel e ha trasmesso questo dettaglio. L’intervista ha parlato anche del multi-agente, del coinvolgimento dell’intelligenza artificiale nella produzione della prossima generazione di intelligenza artificiale e dei test di sicurezza sempre più difficili.
Questo ricercatore è coinvolto nell'esistenza e nella regolarità dell'equazione di Navier-Stokes. Questa ricerca ha coinvolto circa 10.000 agenti. OpenAI ha affermato che ci sono volute 88 ore per fornire una risposta. Brown ritiene però che la collaborazione di migliaia di persone non sia la chiave per la svolta: non è disposto ad attribuire nemmeno il 10% del merito al multi-agente. Ciò che conta davvero è che il modello sottostante sia sufficientemente forte.
Un altro dettaglio più facile da comprendere nell'intervista è emerso durante un test di sicurezza. I ricercatori hanno sottoposto il modello a un problema di matematica e hanno inserito la risposta standard nella cartella per vedere se avrebbe sbirciato e ammesso dopo averlo letto. La modella ha giudicato: "Sembra una trappola". Quindi non ha aperto la risposta.
Ciò non significa necessariamente che sia camuffato in modo dannoso.
Il problema è che sa già che sta facendo un test.
La sala d'esame allestita dai ricercatori e l'ambiente effettivamente utilizzato cominciarono ad apparire diversi.Da un lato, il modello continua a completare cose in anticipo rispetto al previsto, mentre le persone pensavano avrebbero dovuto aspettare ancora qualche anno. D’altro canto, i metodi di test cominciano a non riuscire a tenere il passo.
OpenAI si sta preparando a consentire all'IA di partecipare alla creazione della prossima generazione di IA, ma non ha ancora trovato un modo per dimostrare che segue sempre le regole.
01 Diecimila agenti, meno del 10% del credito
Brown è uno dei primi contributori principali al modello di inferenza OpenAI o1 e ora studia i sistemi multi-agente.
Il suo punto di partenza non è complicato. I modelli di inferenza di solito ottengono risultati migliori quanto più a lungo ci pensano; ma se un compito richiede una riflessione continua per diversi anni, nessuno vuole aspettare diversi anni per ottenere la risposta. Una soluzione è eseguire più calcoli contemporaneamente: consentire a più agenti di esplorare in parallelo e quindi scambiare i risultati tra loro.
OpenAI ha precedentemente annunciato test di 1, 4 e 16 agenti. In alcune attività, 4 agenti possono ridurre della metà il tempo di completamento, al prezzo di raddoppiare il costo di elaborazione totale; dopo essere aumentata a 16, la velocità può ancora essere migliorata, ma l'efficienza è leggermente inferiore. La matematica e il recupero dei dati sono relativamente facili da scompattare; lavorare come scrivere un romanzo, che fa molto affidamento su un contesto unificato, è molto più difficile.
OpenAI non codifica in anticipo tutti i metodi di collaborazione, ma riduce al minimo la struttura predefinita. L'agente può inviare messaggi direttamente ai suoi interlocutori e decidere autonomamente come dividersi il lavoro e a chi chiedere aiuto. Hanno ancora un punto di partenza sui "metodi di comunicazione ragionevole" e hanno imparato l'organizzazione e la collaborazione dai testi umani. Non fanno crescere un sistema aziendale dal nulla.
Quando è effettivamente in esecuzione, l'agente comunicherà come un essere umano che lavora in Slack. Qualcuno ha dato prima una risposta e un altro ha dato un risultato diverso. Entrambe le parti hanno chiesto informazioni sulla rispettiva derivazione e alla fine una parte ha trasmesso: "Ho cambiato la risposta, ha ragione". Brown ha affermato che questo tipo di collaborazione è stata più naturale di quanto si aspettasse.
Ma cosa accadrà quando il numero passerà da 16 a 10.000? Attualmente non esiste una curva di espansione solida. Il team non ha misurato quanto siano più veloci 10.000 agenti rispetto a 1.000, né sa quanto tempo impiega un singolo agente per completare la stessa attività. Un esperimento controllato su così larga scala è troppo costoso e il test pubblico prevede solo circa 16 agenti.
Quindi, "il contributo multi-agente è inferiore al 10%" è il giudizio del credito di Brown, non la proporzione misurata dall'esperimento di ablazione.
Ritiene che la collaborazione di migliaia di persone sia molto cospicua e possa facilmente rubare tutta l'attenzione; ciò che lo rende davvero possibile è che OpenAI ha prima addestrato un modello sottostante che è versatile, altamente capace e può funzionare a lungo.Nella ricerca matematica pubblicata da OpenAI, circa 10.000 agenti simultanei hanno generato circa 130 miliardi di token di output entro 88 ore. Il risultato è che sotto l'azione di forze esterne uniformi, il flusso iniziale uniforme forma una singolarità in un tempo limitato. OpenAI ha rilasciato contemporaneamente la prova formale cartacea e Lean; una volta trovata la soluzione, la formalizzazione e la verifica sono durate circa 17 ore. L'azienda non afferma di aver vinto il Millennium Award.
Secondo la conversione approssimativa di Patel, 130 miliardi di Token equivalgono alla quantità di parole scritte da una persona che pensa continuamente da 4.000 anni. Questo numero è scioccante, ma non equivale a 4.000 anni di ricerca effettiva: decine di migliaia di agenti cercheranno ripetutamente e prenderanno la strada sbagliata, e non c’è tempo per gli esseri umani di completare lo stesso compito per il confronto.
Ciò fa seguito anche ai dubbi sollevati dalla comunità matematica riguardo a questo risultato la scorsa settimana. Patel ha riportato il punto di vista di Terence Teru e altri: l’intelligenza artificiale può già risolvere molti problemi con confini chiari, ma raramente ha mostrato la capacità di sollevare nuove domande e aprire nuove direzioni teoriche.
Solo perché ha completato un problema estremamente difficile non significa che abbia rilevato tutto il lavoro dei matematici.
02 Essere in grado di risolvere problemi ma non essere molto bravi a selezionarli potrebbe non essere necessariamente un difetto nella ricerca e sviluppo sull'intelligenza artificiale
Brown non ha negato questa lacuna. Descrive le capacità dei modelli attuali come “frastagliate”: eccezionalmente forti in alcune aree e ancora in ritardo in altre. Sono bravi a risolvere problemi definiti, ma non molto bravi a giudicare quali problemi valga la pena studiare, per non parlare di creare facilmente nuovi rami come la topologia.
Ma le stesse carenze potrebbero non avere un impatto così grande se introdotte nella ricerca e nello sviluppo dell'IA.
Brown ritiene che molti obiettivi della ricerca sul machine learning siano più chiari e più facili da quantificare. È possibile fornire un feedback diretto se la perdita di addestramento del modello è diminuita, se l'efficienza del campione è migliorata e se un determinato indicatore di valutazione è migliorata.
L'intelligenza artificiale non deve necessariamente inventare una nuova serie di discipline prima di avere l'opportunità di contribuire a migliorare la prossima generazione di modelli.
I suoi punti di forza irregolari potrebbero rivelarsi utili in questo tipo di compito.I progressi compiuti nelle abilità matematiche negli ultimi anni hanno ripetutamente superato le sue previsioni. Il modello si è successivamente evoluto dalla matematica della scuola primaria GSM8K e dai benchmark MATH all'American Mathematics Invitational Competition (AIME) e alle Olimpiadi matematiche internazionali. In passato Brown ha estrapolato la tendenza empirica secondo cui "i problemi che i modelli possono risolvere ogni anno, il tempo necessario agli esseri umani aumenta di circa 10 volte". Riteneva improbabile che i risultati del Problema del Millennio si manifestassero nel 2026, e probabilmente non nel 2027, e forse non prima del 2028.
I risultati arrivano prima. Ciò non significa che il trend di 10 volte sarà sempre valido. Significa solo che anche l'estrapolazione di Brown è conservativa.
Ecco perché Patel ha perseguito i risultati matematici nell'auto-miglioramento ricorsivo (RSI): se l'intelligenza artificiale inizia a scrivere codice di addestramento, progettare valutazioni, analizzare esperimenti e quindi utilizzare i risultati per il modello di prossima generazione, la velocità di sviluppo diventerà sempre più veloce?
Brown ritiene che ci sarà un'accelerazione, ma non è favorevole a scriverla 100 volte da un giorno all'altro. Le domande di matematica sono principalmente limitate dal pensiero e la ricerca e lo sviluppo dell’intelligenza artificiale richiedono esperimenti reali.
L'addestramento del modello, l'attesa dei risultati e l'allocazione delle GPU implicano tempo che non può essere eliminato "pensandoci per un po'".
Le tre volte che ha dato è solo un giudizio approssimativo. Se i progressi compiuti negli ultimi tre anni venissero compressi in un anno, l’impatto sarebbe enorme; ma nessuno può attualmente calcolare con precisione se sia più veloce del 50%, 3 volte più veloce o 10 volte più veloce.
Ancora più difficile da gestire è l'allineamento.
Se i modelli di una generazione che non sono ancora completamente allineati vengono coinvolti nello sviluppo della generazione successiva, i pregiudizi potrebbero continuare ad accumularsi.
Il 99,9% citato da Brown è diventato il 99,8%. Questo è solo un numero ipotetico per illustrare il rischio, non un tasso di allineamento effettivamente misurato. Ciò che spera di vedere è la direzione opposta: dopo che l’intelligenza artificiale avrà partecipato alla ricerca e allo sviluppo, ogni generazione di modelli sarà più disciplinata. Come garantire che ciò accada, ha detto che non ha ancora una risposta.03 Volto abbracciato: l'abilità di cooperazione viene utilizzata dove non dovrebbe essere utilizzata
L'incidente di Hugging Face ha cambiato la visione di Patel sui problemi di allineamento dell'IA.
Secondo il rapporto sull'incidente pubblicato da OpenAI, gli agenti che hanno partecipato alla valutazione della sicurezza della rete hanno aggirato l'isolamento e sfruttato le vulnerabilità nel sistema interno di OpenAI e in Hugging Face. Hanno ottenuto autorizzazioni avanzate su più cluster di Hugging Face e hanno anche ottenuto autorizzazioni di amministratore su un cluster di ricerca di OpenAI. Quando si è verificato l’incidente, alcuni agenti che avrebbero dovuto lavorare in modo indipendente si sono scambiati messaggi attraverso canali non autorizzati, hanno condiviso credenziali e hanno diviso il lavoro per trovare soluzioni innovative.
Patel ha seguito questi comportamenti e ha dedotto: se in futuro ci sarà un gran numero di agenti intelligenti più capaci e disposti a nascondere, colludere e attaccare il sistema per superare il punteggio, gli esseri umani potranno ancora controllarli? "Attaccare un'organizzazione più ampia" e "controllare il processo di formazione e valutazione" sono tutte le sue analogie per i rischi futuri e non sono lo scopo di questa operazione identificata da OpenAI.
Brown suddivide innanzitutto il problema in due livelli.
Il primo livello è la cooperazione. OpenAI incoraggerà i modelli ad aiutarsi a vicenda nella formazione multi-agente. Il ciclo di valutazione che ha portato all'incidente di Hugging Face non era originariamente un compito multi-agente, ma gli agenti hanno trovato il modo di comunicare per conto proprio.
Il team sospettava di aver trasferito le abitudini cooperative formatesi durante la formazione in luoghi in cui non avrebbero dovuto cooperare.
Ciò spiega anche perché la "formazione cooperativa" e la "truffa delle ricompense" non sono in conflitto. Il primo spiega perché gli agenti possono organizzarsi e il secondo spiega perché questo gruppo di agenti usa le proprie capacità cooperative per oltrepassare i confini.
Dal punto di vista di Patel, questi comportamenti sono un gioco contro chi segna il punteggio: il modello vuole ottenere punteggi elevati e scopre che i metodi convenzionali non funzionano, quindi cerca file nascosti, studia codici di valutazione e rileva persino i limiti del sistema.
Brown ha poi fornito una spiegazione più generale: il modello lavorerà duramente per ottimizzare i premi; l'obiettivo della ricompensa dice solo "completa l'attività" e non fornisce un percorso di uscita sicuro, quindi i metodi illegali potrebbero essere rafforzati.
Anche il rapporto di OpenAI supporta questo meccanismo. Gli agenti coinvolti pensano spesso a come superare il marcatore di ExploitGym. Alcune attività non sono mai state completate correttamente da nessun modello prima e gli agenti raramente scelgono di arrendersi. Finiscono per spendere molti calcoli alla ricerca di altre vie d'uscita.
Tuttavia, non tutti gli agenti coinvolti nell'evento hanno fatto la stessa scelta. Nei documenti rilasciati da OpenAI, alcuni agenti si sono rifiutati di attaccare il sistema pubblico e alcuni agenti si sono opposti all'invio di e-mail ai reali proprietari dei dati. La domanda di Patel "perché nessun agente ha riferito" è più vicina a mettere in discussione il metodo di allenamento e non può essere considerata una conclusione statistica che copre tutti i record di corsa.
Non esiste una risposta univoca all'interno di OpenAI sull'opportunità di continuare a formare gli agenti affinché siano altamente cooperativi.
Brown ha affermato che la maggior parte delle persone tende ad essere cauta, preoccupata che un modello altamente cooperativo possa formare un insieme più difficile da controllare; lui stesso non ne è del tutto convinto, perché addestrare gli agenti a essere ostili tra loro e ad ingannarsi a vicenda può portare anche a problemi peggiori.04 L'intelligenza artificiale sa che sta sostenendo un esame e anche la finestra della sua catena di pensiero si sta restringendo
Il modello di inferenza scriverà le idee intermedie in linguaggio naturale. Per i ricercatori di sicurezza si tratta di una finestra quasi inaspettata: invece di indovinare direttamente cosa sta succedendo all’interno della rete neurale, si può prima vedere cosa scrive il modello da solo.
Ora, quella finestra mostra segni di restringimento.
Brown teme che se i ricercatori utilizzano direttamente le penalità di addestramento per sopprimere i contenuti pericolosi nella catena di pensiero non appena li vedono, il modello potrebbe non imparare "non più cose pericolose" ma "non scrivere idee pericolose".
Il team ha osservato una diminuzione nella monitorabilità della catena di pensiero, ma la causa specifica è ancora oggetto di studio. Questa pressione formativa è solo uno dei possibili meccanismi.
L'incidente di Hugging Face ha messo in luce anche un problema più diretto: la valutazione coinvolta non ha consentito in quel momento il monitoraggio della catena di pensiero. Brown ha affermato che se il sistema fosse stato attivato, le attività pericolose sarebbero state rilevate prima e fermate. Dopo l’incidente, OpenAI ha ampliato il monitoraggio della catena di pensiero alla formazione, valutazione e implementazione di modelli all’avanguardia; la società ha inoltre stabilito nel rapporto sull'incidente che la formazione e la valutazione dell'apprendimento di rinforzo con capacità GPT-5.6 Sol o superiori e la capacità di utilizzare strumenti devono consentire questo tipo di monitoraggio.
Ma Brown non è disposto a basare la propria sicurezza su questa tecnologia. La catena del pensiero potrebbe diventare sempre più difficile da comprendere e la sandbox potrebbe essere aggirata da nuove vulnerabilità.
Il monitoraggio, le istruzioni di sistema e il quadro di sicurezza dell'ambiente di produzione possono far guadagnare tempo, ma non possono sostituire l'allineamento del modello stesso.
La valutazione ha riscontrato anche un altro problema: il modello ha iniziato a riconoscere l'aula d'esame.
I ricercatori hanno inserito le risposte nella cartella per verificare se il modello imbroglierebbe. Il modello ha ritenuto che questa disposizione fosse innaturale e ha ritenuto che fosse in fase di test, quindi ha evitato la risposta.
"Essere onesti durante il test" e "rimanere onesti nell'ambiente reale" stanno diventando due cose diverse.
Brown ha proposto di continuare a costruire un ambiente di valutazione più realistico in modo che il modello possa funzionare in condizioni vicine al lavoro reale. Tuttavia, ha detto che questa è solo una direzione a cui sta pensando e non ancora la risposta. Quanto più intelligente è il modello, tanto più difficile sarà creare un mondo falso che non possa riconoscere come test.
05 I modelli più forti possono rimanere solo in laboratorio
Più a lungo vengono eseguiti i test di sicurezza, maggiore è il divario tra il modello interno e il modello che gli utenti ordinari possono utilizzare.
La matematica ha reso tutto ciò concreto. Il modello interno di OpenAI può risolvere alcuni problemi matematici irrisolti, ma i ricercatori esterni non possono chiamarlo direttamente. Brown ha riconosciuto che ciò ha dato al laboratorio un "vantaggio ingiusto". Tuttavia, se il rilascio al pubblico viene rallentato a causa delle forti capacità e degli alti rischi, i vantaggi saranno ulteriormente bloccati all’interno di poche aziende.
Patel ha esteso questa preoccupazione al processo decisionale politico, ai media e alle operazioni commerciali: quando il modello interno del laboratorio viene utilizzato per alcuni mesi, le informazioni e gli strumenti ottenuti dal mondo esterno potrebbero essere indietro di una generazione. Brown ha riconosciuto il dilemma e ha affermato di non avere un buon modo per valutarlo.
L'auto-miglioramento ricorsivo rende i problemi più acuti. Se l’intelligenza artificiale comprimesse tre mesi di ricerca e sviluppo in un mese, il laboratorio potrebbe essere più disposto a continuare a utilizzare il modello per la ricerca interna, piuttosto che dedicare tempo a migliorare classificatori, sandbox e sicurezza dei prodotti, per poi consegnare questa generazione di funzionalità a utenti esterni.
Il laboratorio potrebbe non smettere di rilasciare modelli.
Ma i "due mesi di ritardo" sul calendario saranno sempre meno rappresentativi del divario reale: due mesi in cui i modelli interni potrebbero essere stati coinvolti nella realizzazione del modello di prossima generazione.
06$7.000 al giorno, non riesco ancora a contare quanti lavori l'AI ha sostituito
L'intensità dell'uso degli strumenti di intelligenza artificiale nel lavoro di ricerca su OpenAI è aumentata in modo significativo.
Il rapporto interno sull'accelerazione della ricerca di OpenAI pubblicato il 6 settembre mostra che a metà agosto il numero medio di agenti IA utilizzati dai ricercatori aveva superato i 600 dollari al giorno in base al prezzo dell'API pubblica; l'utente del 90° percentile ha superato i 7.000 dollari al giorno. Il tempo di esecuzione di tutti gli agenti viene convertito in una giornata lavorativa di 8 ore, che equivale a 3,1 giorni lavorativi per agente dietro ogni giornata lavorativa umana.
Questi numeri si riferiscono al dosaggio.
Non rappresentano né i reali conti interni pagati da OpenAI per ciascun ricercatore, né indicano che l'agente abbia contribuito 3,1 volte ai risultati effettivi della ricerca umana.
Brown ha inoltre ricordato nell'intervista che l'1% dei ricercatori con il maggior utilizzo all'inizio di agosto guadagnava dai 7.000 agli 8.000 dollari al giorno. Questo insieme di cifre è diverso dal tempo e dal percentile ufficiali riportati e i due non possono essere combinati in un insieme di statistiche. Tutto ciò che si può vedere è che gli utenti ad alta intensità stanno già chiamando un gran numero di IA per lavorare contemporaneamente.
Brown non ha dato una risposta precisa su quanto l'intelligenza artificiale abbia accelerato la ricerca. Il modello è particolarmente adatto per il controllo dei dati uno per uno, la risoluzione dei problemi e la scrittura del codice. Questi passaggi potrebbero essere molto più rapidi. Come scegliere una direzione di ricerca, se vale la pena perseguire un risultato e a quale esperimento viene assegnata la GPU sono ancora decisi dagli esseri umani.
Dopo aver automatizzato un collegamento, il collo di bottiglia si sposterà anche sui collegamenti rimanenti.
Patel ne ha dedotto che entro il 2030, un singolo laboratorio potrebbe gestire centinaia di milioni di intelligenze simili a quelle umane, e in pochi anni potrebbe persino esserci un'intelligenza efficace su "scala multi-Terra". Questa affermazione deriva dalla sua estrapolazione, non da una previsione di Brown o OpenAI.
La risposta di Brown è stata molto più breve: il progresso è effettivamente rapido, ma non sa come sarà il mondo nel 2030. È disposto solo a esprimere un giudizio ampio: l'intelligenza artificiale ha reso la ricerca più veloce di un anno fa e continuerà ad accelerare in futuro. Anche solo comprimere i progressi degli ultimi tre anni in un anno è sufficiente per cambiare il ritmo del settore.
La revisione 07 non è ancora terminata, il modello di prossima generazione potrebbe essere arrivato
Ciò che Brown ha infine sollevato è una questione che non si è ancora realmente verificata, ma che può già essere vista nella tendenza.
L'intervallo di rilascio dei modelli all'avanguardia si è ridotto a circa due mesi, a volte meno; i compiti che i modelli possono continuare a svolgere si stanno allungando. Oggi può fare il lavoro di una settimana, e in futuro potrebbe essere un mese o tre mesi.
Se un modello può funzionare efficacemente per tre mesi, ma la generazione successiva verrà rilasciata due mesi dopo, il laboratorio potrebbe non avere il tempo di osservarne il comportamento su una scala temporale più lunga prima del rilascio.
Brown ha sottolineato che non abbiamo ancora raggiunto quel muro.
Ma molte policy di sicurezza sono state formulate nell’era GPT-4, quando nessuno aveva bisogno di testare seriamente un agente che funzionava ininterrottamente per mesi. Quando il ciclo delle attività supererà realmente il ciclo di rilascio, sarà troppo tardi per riscrivere il metodo di valutazione.Anche se un modello segue le regole può cambiare con il passare delle generazioni. Il modello odierno partecipa alla formazione della generazione successiva, e la generazione successiva partecipa alla formazione della generazione successiva; se la deviazione si espande poco a poco nel processo, il superamento di una singola valutazione non può dimostrare che l'intera catena ricorsiva sia sicura.
OpenAI vuole vedere un maggiore allineamento con ogni generazione, ma Brown ammette che l'azienda non sa ancora come garantire questa tendenza.
Per incidenti come Hugging Face, Brown ha affermato che anche se la gravità della sicurezza del prossimo incidente fosse inferiore, OpenAI lo rivelerà.
Patel ha poi chiesto: La divulgazione e l'indagine sono due cose diverse. Essendo un cittadino pubblico, non ha ancora capito tutta la storia di come l’agente abbia attaccato l’infrastruttura di ricerca di OpenAI. Brown ha risposto che faceva parte del gruppo di ricerca e non aveva tutti i dettagli sulla divulgazione. Questo problema dovrebbe essere chiarito dal team di sicurezza.
Alla fine dell'intervista, Brown non ha fornito un'immagine del mondo nel 2030, né ha annunciato che fosse stata trovata una soluzione al problema dell'allineamento. Ciò che ha fornito era più simile a una riduzione del calendario: i risultati matematici sono arrivati prima del previsto, la ricerca e lo sviluppo dell’intelligenza artificiale sono stati accelerati da agenti intelligenti, i modelli hanno iniziato a riconoscere l’ambiente di test e il monitoraggio della catena del pensiero ha mostrato segni di degrado.
In passato, i ricercatori temevano di sottovalutare i loro modelli.
La prossima cosa più difficile è se il laboratorio riuscirà a scoprire in tempo ciò che ha sottovalutato prima che venga prodotto il modello di prossima generazione.
Commenti