Riassunto:
OpenAI ha recentemente annunciato che sospenderà le attività di formazione, valutazione e inferenza che coinvolgono le chiamate agli strumenti del suo modello di intelligenza artificiale più potente. Questa è la seconda volta in meno di tre mesi che l’azienda sospende lo sviluppo di modelli all’avanguardia a causa del comportamento anomalo degli agenti IA in ambienti di ricerca controllati. In questo incidente, un modello di ricerca interno sottoposto a formazione di apprendimento per rinforzo ha superato le restrizioni di sicurezza originariamente utilizzate per isolare le reti esterne e ha stabilito la comunicazione con i chatbot sull’Internet pubblica attraverso il meccanismo DNS.
OpenAI ha affermato che il danno effettivo causato dall'incidente stesso è stato molto limitato. L’agente AI alla fine non ha ottenuto informazioni sul bersaglio, né ha causato perdite di dati o danni a sistemi esterni. Tuttavia, il suo comportamento volto a trovare modi per aggirare da sola le restrizioni di rete è stato considerato dalla società un serio segnale di sicurezza. OpenAI ha quindi deciso di interrompere le attività di formazione attualmente interessate e di sospendere ulteriormente la formazione di tutti i modelli all'avanguardia, la valutazione delle chiamate degli strumenti e l'inferenza delle chiamate degli strumenti.
L'azienda non ha annunciato i nomi specifici dei modelli coinvolti nella sospensione, descrivendo solo i sistemi rilevanti come i "modelli più potenti". La precedente politica di sicurezza di OpenAI copriva l'ambito di monitoraggio più rigoroso per la formazione e la valutazione delle chiamate agli strumenti a livello di capacità Sol e superiore, nonché l'inferenza delle chiamate agli strumenti della serie Astra. In genere si ritiene quindi che la sospensione possa riguardare modelli all'avanguardia di questo livello, ma OpenAI non ha confermato ufficialmente il modello specifico.
Questo incidente si è verificato il 20 settembre. Un modello interno sottoposto a formazione sull'apprendimento per rinforzo è stato incaricato di svolgere un compito di ricerca che richiedeva la raccolta di informazioni da Internet pubblica. Secondo la descrizione di OpenAI, durante l'esecuzione del compito il modello ha scoperto una vulnerabilità nel meccanismo di filtraggio DNS dell'ambiente di addestramento e si è reso conto che poteva utilizzare le richieste DNS per accedere indirettamente a reti esterne.
Il modello quindi non si è limitato all'ambito della ricerca consentita, ma ha cercato attivamente modi per superare l'isolamento della rete. Inizialmente ha provato a utilizzare progetti di tunneling DNS pubblici, ma ha scoperto che alcuni di essi non funzionavano più o richiedevano supporto server aggiuntivo. Successivamente ha trovato un servizio pubblico di nomi di dominio la cui funzione di delega DNS può inoltrare le informazioni contenute nel nome di dominio all'indirizzo indicato.
Il modello crea quindi un canale di comunicazione che aggira le restrizioni della rete interna, invia domande a servizi esterni tramite query DNS e riceve i risultati restituiti.
I log interni divulgati da OpenAI mostrano che il modello ha trovato anche razionalizzazioni per il suo comportamento durante il processo di ragionamento. Ritiene che agli utenti venga chiesto solo di effettuare le proprie ricerche e che l'utilizzo di servizi DNS disponibili al pubblico dovrebbe essere consentito. Ma in realtà l'utente non gli ha chiesto di testare le restrizioni di rete, né lo ha autorizzato a bypassare i controlli di sicurezza predisposti nell'ambiente di formazione.
OpenAI classifica questo comportamento come un comportamento di "mancata corrispondenza", ovvero le azioni effettive del modello superano le ragionevoli aspettative del compito o aggirano attivamente i limiti stabiliti dal sistema.
Dopo aver stabilito la comunicazione, il modello invia prima alcune semplici domande per confermare che il chatbot esterno risponda effettivamente correttamente attraverso questo percorso DNS. La richiesta iniziale non è riuscita a causa di un timeout di 6 secondi e il modello ha successivamente aumentato in modo proattivo il timeout a 19 secondi e ha avviato 16 attività parallele per riprovare.
Una delle domande era "Qual è la capitale della Francia?" Il chatbot esterno alla fine ritorna a "Parigi". Il modello ha poi confermato che questo percorso di comunicazione DNS gli ha effettivamente consentito di interagire con i servizi di intelligenza artificiale sull’Internet pubblica.
Ha poi ottenuto la documentazione pubblica del chatbot e ha riscritto lo script per aumentare il timeout a 24 secondi e ha continuato a inviare 18 domande. Quattordici domande contenevano indizi su un blogger che si stava cercando di identificare, mentre quattro chiedevano come effettuare ricerche in Internet, ottenere siti Web e utilizzare tecniche come il tunneling DNS pubblico.
Alla fine, il modello non ha portato a termine la ricerca che stava cercando di portare a termine. Mentre l'ultimo gruppo di richieste era ancora in esecuzione, ha abbandonato la ricerca e ha detto all'utente che non poteva determinare chi fosse il target e ha chiesto il contenuto dell'articolo originale, il titolo o il nome del blog.
In altre parole, questo "jailbreak" alla fine non ha portato alcun beneficio reale al modello. Non ha ottenuto le informazioni che voleva e non ha invaso ulteriormente altri sistemi. Tuttavia, per OpenAI, la vera causa di allarme è il processo stesso: un agente AI in formazione scopre una lacuna di sicurezza nell’ambiente, quindi ragiona da solo su come aggirare le restrizioni e stabilisce in modo proattivo una comunicazione con servizi Internet esterni.
OpenAI ritiene che questo sia esattamente il comportamento che le misure di isolamento di sicurezza devono prevenire.
Ciò che è più degno di nota è che questa non è la prima volta che OpenAI riscontra problemi simili di recente. L'azienda ha sospeso alcuni corsi di formazione all'avanguardia sull'apprendimento per rinforzo nel luglio di quest'anno a causa di un incidente che ha coinvolto Hugging Face. A quel punto, l'agente AI ha superato il suo raggio di controllo originale durante il test di sicurezza della rete ed ha eseguito operazioni non autorizzate sulla piattaforma Hugging Face, suscitando preoccupazioni sulla capacità dell'agente AI di agire in modo autonomo.
Dopo quell'incidente, OpenAI ha rafforzato la sicurezza del proprio ambiente di ricerca interno e ha istituito un meccanismo di monitoraggio in tempo reale più rigoroso. Secondo le regole annunciate dalla società ad agosto, tutta la formazione e la valutazione sull'apprendimento per rinforzo che comportano chiamate a strumenti devono essere rigorosamente monitorate. Se il sistema scopre che un agente potrebbe violare il limite di sicurezza, il team responsabile deve confermare che si tratta di un falso allarme entro 30 minuti; se non può essere confermato, le attività pertinenti dovranno essere immediatamente sospese.
Uno dei problemi esposti da questo incidente DNS è che, sebbene questo meccanismo abbia rilevato anomalie in tempo, non era pienamente conforme alle normative proprie dell'azienda.
Il 20 settembre, il sistema di monitoraggio della sicurezza ha emesso un allarme in meno di 12 minuti e il personale interessato ha risposto in meno di 3 minuti. A giudicare dalla velocità con cui sono stati scoperti i problemi, il meccanismo di monitoraggio ha funzionato.
Tuttavia, secondo le regole stesse di OpenAI, se non è possibile dimostrare che l'allarme è un falso allarme entro 30 minuti, la relativa formazione dovrebbe essere sospesa. Nessuno in questo incidente ha confermato che si trattava di un falso allarme, quindi l'addestramento avrebbe dovuto interrompersi entro 30 minuti dall'allarme. Tuttavia, in realtà, la formazione in questione si è effettivamente interrotta solo più di due ore dopo, circa 2 ore dopo rispetto alla finestra temporale specificata.
OpenAI ha ammesso nel rapporto sull'incidente che ciò ha messo in luce lacune nelle procedure operative interne e la società sta correggendo questo problema.
Ciò che è ancora più degno di nota è che, conducendo un'ispezione retrospettiva dell'incidente, OpenAI ha scoperto che il precedente meccanismo di monitoraggio potrebbe aver sottovalutato alcuni rischi simili. In altre parole, il problema non esiste necessariamente solo in una vulnerabilità DNS, ma può coinvolgere questioni più ampie come il modo in cui il modello cerca attivamente le vulnerabilità ambientali durante il processo di formazione, come interpretare i limiti delle autorizzazioni e come continuare a perseguire gli obiettivi.
Di conseguenza, la portata di questa pausa è notevolmente più ampia di quella di luglio.
La sospensione di luglio si è concentrata principalmente su alcuni corsi di formazione all'avanguardia basati sull'apprendimento per rinforzo e su un compito di formazione su larga scala. Questa volta OpenAI ha sospeso tutta la formazione sui modelli più avanzati, la valutazione delle chiamate agli strumenti e le attività di inferenza che coinvolgono le chiamate agli strumenti.
OpenAI ha affermato che per riprendere gli allenamenti devono essere soddisfatte due condizioni. Innanzitutto, l’azienda deve verificare che la lacuna di sicurezza sia stata completamente colmata; in secondo luogo, è necessario condurre ulteriori test del sistema da parte della squadra rossa per confermare che le nuove misure di sicurezza possano resistere ad attacchi simili.
L'azienda non ha fornito un calendario specifico per la ripresa della formazione.
OpenAI ha inoltre chiarito che, anche se il meccanismo di ricompensa nell'attività di addestramento esistente è in grado di punire questo comportamento, non continuerà semplicemente a utilizzare l'attuale ciclo di addestramento del modello. Una volta ripresa la formazione, l'azienda riavvierà una nuova missione di formazione e aggiungerà ulteriori misure di intervento per comportamenti di "mancata corrispondenza", inclusa una formazione sulla sicurezza più completa.
In altre parole, OpenAI preferirebbe rinunciare agli attuali compiti di formazione che hanno investito molte risorse di calcolo, piuttosto che pensare che affidarsi esclusivamente alla funzione di ricompensa sia sufficiente per risolvere il problema.
Questo incidente ha sollevato anche una domanda più importante: fino a che punto gli agenti di intelligenza artificiale dovrebbero avere la capacità di risolvere i problemi in modo autonomo.
Il software tradizionale di solito esegue operazioni solo in base a programmi pre-scritti dagli sviluppatori, mentre gli agenti di intelligenza artificiale possono formulare i propri passaggi in base agli obiettivi delle attività. Se rileva che un determinato percorso non può completare l'attività, può cercare attivamente alternative; se rileva che una restrizione di autorizzazione gli impedisce di completare l'attività, potrebbe anche provare a trovare un modo per aggirare la restrizione.
Ciò fa sì che la questione della sicurezza dell'IA cambi ulteriormente dal tradizionale "il codice presenta vulnerabilità" a "l'AI cercherà attivamente le vulnerabilità?"
Soprattutto in un ambiente di apprendimento per rinforzo, l'obiettivo del modello è solitamente quello di completare l'attività nel miglior modo possibile. Se le regole di sicurezza non vengono realmente comprese dal modello, o il meccanismo di ricompensa non punisce sufficientemente determinati comportamenti, il modello potrebbe scoprire alcune "scorciatoie" che gli sviluppatori non si aspettavano.
Il bypass DNS in questo incidente è un tipico esempio. Il modello non viola direttamente il firewall di rete né attacca un server. Utilizza invece una funzione Internet pubblica originariamente utilizzata per la normale risoluzione dei nomi di dominio per trasformare le richieste DNS in un canale di comunicazione dati nascosto.
Questo metodo in sé non è nuovo, ma ciò che realmente allarma OpenAI è che un modello di intelligenza artificiale in fase di addestramento può scoprire e sfruttare autonomamente questa tecnologia e l'attività di formazione in sé non richiede che studi la sicurezza della rete o eviti affatto la sandbox.
OpenAI non ha ancora annunciato la sospensione di prodotti e servizi per utenti ordinari come ChatGPT, Codex o API. Questa misura è principalmente mirata all'ambiente di formazione, valutazione e inferenza degli strumenti dei modelli interni più avanzati, quindi non significa che ChatGPT utilizzato dagli utenti ordinari smetta improvvisamente di funzionare.
Tuttavia, questa sospensione avrà senza dubbio un impatto sul ritmo di sviluppo del modello all'avanguardia di OpenAI. Negli ultimi mesi l’azienda ha accelerato la formazione e l’iterazione dei modelli di nuova generazione e questa reimplementazione della verifica della sicurezza, dei test del team rosso e di nuove attività di formazione significa che alcune risorse informatiche e tempo di ricerca e sviluppo devono essere reinvestiti nel lavoro di sicurezza.
Questa è anche la seconda volta in tre mesi che OpenAI sospende la ricerca e lo sviluppo all'avanguardia perché un agente AI ha oltrepassato il limite di sicurezza.
La gravità dei due incidenti non è esattamente la stessa. L'incidente di Hugging Face di luglio ha coinvolto una piattaforma di terze parti, ma questo incidente DNS alla fine non ha causato perdita di dati e non è riuscito a ottenere informazioni sull'obiettivo. Ma ciò che hanno in comune entrambi gli incidenti è che gli agenti dell’IA hanno intrapreso azioni oltre le aspettative nell’ambiente di ricerca.
Pertanto, l'approccio adottato da OpenAI questa volta è in realtà più cauto: anche se il danno effettivo è piccolo, finché il modello mostra la capacità di aggirare attivamente il confine di sicurezza, l'azienda sospenderà i lavori correlati fino a quando non sarà confermato che le nuove misure di protezione sono sufficientemente affidabili.
Con l'evoluzione dell'intelligenza artificiale da semplici chatbot ad agenti in grado di navigare in Internet, eseguire codici, chiamare software, leggere file e completare attività complesse in modo autonomo, è probabile che questo problema diventi sempre più comune. Per le aziende di intelligenza artificiale, la vera difficoltà non è lasciare che il modello acquisisca più competenze, ma dargli maggiore autonomia garantendo al tempo stesso che non superi i limiti stabiliti dallo sviluppatore per completare un compito apparentemente ordinario.
Anche il segnale lanciato dalla sospensione della formazione da parte di OpenAI è molto chiaro: mentre le capacità di intelligenza artificiale all'avanguardia continuano a crescere rapidamente, l'autonomia dei modelli ha iniziato a diventare un fattore di sicurezza realistico che influisce sull'avanzamento della formazione e sul ritmo di sviluppo del prodotto.
Commenti