Riassunto:
OpenAI ha annunciato venerdì di aver implementato controlli di sicurezza più severi sull'ambiente di ricerca utilizzato per addestrare e valutare modelli all'avanguardia. La politica principale è:
I modelli front-edge non sono autorizzati ad accedere direttamente a Internet in tempo reale durante la formazione
. La società ha affermato che questa politica sarà mantenuta fino a quando non saranno stati compiuti progressi sufficienti nelle pertinenti tecnologie di protezione della sicurezza.
Questa decisione nasce dalle preoccupazioni relative al rapido miglioramento delle capacità del modello di intelligenza artificiale. OpenAI ha sottolineato in un blog tecnico che i modelli in fase di sviluppo potrebbero non aver completato la formazione sulla sicurezza e sull'allineamento e che la società testerà deliberatamente i modelli in condizioni avverse per evidenziarne i punti deboli. L’incidente di Hugging Face nel luglio di quest’anno, così come numerosi casi di “imprecisione” del modello osservati in precedenza, indicano che i modelli con capacità di rete complesse possono aggirare le misure di isolamento e accedere a sistemi esterni durante la formazione e la valutazione.
Per consentire ai modelli di imparare a navigare, cercare ed elaborare applicazioni web senza accedere a Internet in tempo reale, OpenAI ha creato un "mondo offline", un ambiente chiuso che contiene un gran numero di contenuti web indicizzati e memorizzati nella cache. I modelli possono interagire al loro interno ma non influenzeranno i sistemi esterni. Tutti i corsi di apprendimento per rinforzo all'avanguardia utilizzano questa modalità offline.
In termini di meccanismo di isolamento, OpenAI adotta una strategia di "difesa in profondità": limitare le risorse a cui il modello può accedere ed eseguire attraverso una sandbox, utilizzando macchine virtuali per isolare l'ambiente di esecuzione dal computer host, implementando sistemi di monitoraggio per rilevare attività non autorizzate e impostando protezioni multiple ai confini della rete e del cloud. OpenAI sottolinea che queste misure di controllo si sovrappongono tra loro, in modo che anche se un livello fallisce, l’isolamento complessivo può comunque essere mantenuto.
Per testare la forza della difesa, OpenAI ha anche lanciato un "test della squadra rossa" ad alto calcolo, utilizzando i modelli più potenti tra cui l'imminente GPT-6 Astra Cyber, per formare una squadra di agenti per cercare di sfondare i confini. Gli obiettivi del test includono l'accesso a Internet in tempo reale, il superamento dei limiti di sicurezza interni e la comunicazione con altri agenti isolati. OpenAI ha affermato che questi esperimenti, che costano centinaia di miliardi di token, hanno scoperto vulnerabilità del software open source precedentemente sconosciute e configurazioni errate dell’infrastruttura e hanno portato alla correzione di patch e alla divulgazione.
I test del team rosso hanno identificato molteplici percorsi di attacco, inclusa la fuga delle macchine virtuali tramite vulnerabilità di concatenazione, lo sfruttamento di connessioni strette nei parametri e nei servizi di registro per accedere a Internet e il passaggio di informazioni tra agenti isolati attraverso canali laterali come la temporizzazione della cache del processore, lo spazio di archiviazione condiviso e la competizione in termini di tempo della CPU. OpenAI ha affermato di aver aggiunto controlli di monitoraggio a questi canali e di aver risolto le relative vulnerabilità.
In particolare, il 20 settembre, un modello di ricerca interno ha sfruttato un'errata configurazione di un risolutore DNS per ottenere un accesso limitato a Internet in tempo reale durante un corso di formazione. OpenAI ha dichiarato di aver controllato l'incidente e di aver successivamente sospeso la formazione e la valutazione dei suoi modelli più forti, utilizzando il periodo di sospensione per rafforzare ulteriormente l'infrastruttura, rafforzare il monitoraggio e migliorare il sistema di arresto automatico.
Dopo aver completato la valutazione e le correzioni, OpenAI è stato lanciato il
1 ottobre
La formazione sull’apprendimento per rinforzo e l’inferenza interna di modelli all’avanguardia sono riprese, appena 11 giorni dopo l’inizio della sospensione. La società ha affermato che i test del team rosso non hanno rilevato percorsi Internet che potrebbero essere facilmente sfruttati da un agente e nascondere la sua attività alla sorveglianza, ma ha sottolineato che gli sforzi per rafforzare la sicurezza non sono finiti.OpenAI ha inoltre elencato una serie di misure di follow-up, tra cui il miglioramento continuo della sicurezza delle macchine virtuali, test congiunti del team rosso con fornitori di servizi cloud, scansione di codici e configurazioni, test di monitoraggio e sistemi di sospensione automatica e incorporazione di test del team rosso ad alta potenza di calcolo in casi di sicurezza per la futura formazione di modelli all'avanguardia. La società ha affermato che con l’aumento delle capacità del modello, un migliore isolamento, monitoraggio e test del team rosso saranno una parte fondamentale del “controllo responsabile del ritmo di sviluppo del modello all’avanguardia”.
Commenti