Riassunto:
Dopo l'esplosione di PHP, un gran numero di siti web in tutto il mondo hanno prima scollegato i propri "cavi di rete". Il linguaggio di programmazione che alimenta un gran numero di siti Web è stato esposto a due gravi vulnerabilità che potrebbero consentire agli aggressori di assumere il controllo del server da remoto. Il Centro nazionale olandese per la sicurezza informatica ha dichiarato in un rapporto del 21 ottobre che anche il suo sito web è stato messo offline a scopo precauzionale. Anche alcune istituzioni finlandesi hanno sospeso i servizi online e li riprenderanno dopo l'installazione delle patch.
Il sito web è offline per paura che qualcuno entri. Ora OpenAI ha iniziato a staccare il cavo di rete, ma quello su cui vuole concentrarsi è la propria intelligenza artificiale.
Il 23 ottobre, OpenAI ha rivelato l'ambiente di formazione per modelli all'avanguardia: il modello deve esercitarsi nella ricerca, navigazione e utilizzo di pagine web, ma non può accedere a Internet reale a piacimento.
Quindi ha preparato una "falsa Internet" per l'intelligenza artificiale.
Per prima cosa crea un "Truman Show" per l'intelligenza artificiale
OpenAI salva prima una grande quantità di contenuti web e poi indicizza il contenuto. Questo batch di risorse preparate viene utilizzato quando il modello esercita la navigazione e la ricerca.
Questo è ciò che viene chiamato "mondo offline". La cosa "falsa" è il metodo di connessione e il contenuto web può provenire dal mondo reale. OpenAI afferma di utilizzare questa interazione offline per la formazione sull'apprendimento di rinforzo su tutti i suoi modelli all'avanguardia.
Il modello può anche utilizzare il browser, eseguire codice e utilizzare il computer durante l'attività. Gli strumenti, i file e i servizi disponibili dipendono dall'ambito dell'autorizzazione dell'attività. Gli agenti autorizzati a collaborare possono condividere risorse specifiche, mentre le altre risorse devono essere mantenute separate.
Ad esempio, dopo che il modello ha scritto un programma, può leggere file, avviare altri programmi o effettuare richieste a un determinato URL durante il runtime.
La soluzione Linux di OpenAI consiste nell'inserire contenitori limitati in macchine virtuali leggere. Il contenitore innanzitutto restringe i file e i processi che il programma può contattare. Ad esempio, se un'attività deve elaborare solo una serie di file, è possibile aprire nel programma solo le directory che può utilizzare.
La macchina virtuale ha il proprio kernel del sistema operativo, che gestisce le richieste di file, memoria e dispositivi dai programmi interni. L'hypervisor software gestisce la macchina virtuale e la isola dal sistema server fisico. Il fatto che un programma ignori le restrizioni del contenitore non significa che abbia acquisito il controllo del server fisico.
I perimetri dei server fisici, i firewall e i gruppi di sicurezza vincolano le connessioni, mentre la gestione delle identità e delle autorizzazioni determina chi può accedere a quali servizi cloud. Ciò che questo livello di difesa deve affrontare è che, anche se il modello ottiene il controllo del server, non può connettersi arbitrariamente alla rete esterna o accedere ad altri sistemi interni.
Il sistema di monitoraggio verifica la presenza di attività non autorizzate durante il funzionamento e consente ai ricercatori di intervenire attraverso un meccanismo di pausa.
Su Hacker News, l'utente betterunix2 ha chiesto: "Perché non scollegare semplicemente il cavo di rete?"
La spiegazione di OpenAI è che l'intera struttura necessita ancora di mantenere alcune connessioni esterne per raccogliere indicatori operativi, registrare log e gestire l'autenticazione, ed è attualmente impossibile disconnettersi completamente dalla rete.
OpenAI fornisce direttamente all'agente il controllo completo della macchina host in una copia di prova appositamente creata per questo scopo. Il test parte da "la sandbox è stata violata e il monitoraggio è stato bypassato" e verifica individualmente se le restrizioni delle periferiche possono bloccare la richiesta Internet. I ricercatori hanno inoltre fornito il codice sorgente, la configurazione e la documentazione relativa alle vulnerabilità.
In uno dei test, l'agente ha preso in prestito la connessione consentita dal firewall per accedere all'interfaccia di autenticazione originariamente bloccata nel servizio indicatore. Quindi consente a questa interfaccia di accedere all'URL esterno per suo conto.
Raccontando il test su X, Andrew Curran ha descritto le prestazioni dell'Agente come "facilmente fuggibili in nuovi modi".
In effetti, la comunità accademica ha già condotto ricerche simili.
Il progetto di ricerca indipendente WebArena integra siti web di shopping, forum, gestione dei contenuti e piattaforme di sviluppo collaborativo in un ambiente di test auto-distribuibile, completo di strumenti come mappe e wiki. Dietro le pagine web ci sono dati e funzioni che simulano la realtà.
WebArena controlla i risultati dell'attività. Quando si interroga un ordine è necessario verificare le informazioni fornite dal modello; quando si crea un nuovo magazzino è necessario verificare se sul sito appare un magazzino che soddisfa i requisiti.
Dopo che l'IA è stata isolata, utilizza la cache della CPU per trasmettere messaggi
A settembre, i ricercatori di OpenAI hanno alimentato un modello interno con una serie di indizi biografici e di blog per capire chi fosse la persona.
Il modello ha utilizzato inizialmente lo strumento di ricerca fornito, ma non è stata trovata alcuna informazione corrispondente. Ha provato ad accedere ad altri motori di ricerca, ma non è riuscito ancora a trovare la risposta e ha iniziato a verificare a quali altri modi poteva connettersi.
Ha scoperto che il servizio DNS responsabile dell'interrogazione degli indirizzi dei siti web nell'ambiente poteva anche contattare il mondo esterno, quindi ha utilizzato questo percorso per chiedere a un chatbot esterno.
Si chiedeva "Qual è la capitale della Francia?" e ha ricevuto la risposta "Parigi". Sono stati inviati anche indizi per trovare la persona. Tra i compiti assegnati dai ricercatori non c'era alcun test sulle limitazioni della rete.
In un altro esperimento che ha testato specificamente gli effetti dell'isolamento, OpenAI ha chiesto a due IA di provare a scambiarsi messaggi.
Le due IA vengono eseguite in macchine virtuali separate. Non esiste alcuna connessione di rete tra loro e non ci sono file su cui entrambe le parti possano scrivere, ma utilizzano la stessa macchina fisica sottostante.
Ciò che usano per comunicare è la cache della CPU, che è uno spazio nel processore che memorizza i dati. I dati da leggere sono ancora nella cache e possono essere recuperati rapidamente; se viene spremuto, deve essere ritrovato nella memoria più lenta.
Un'intelligenza artificiale spinge selettivamente i dati fuori dalla cache. L'altro legge i dati, registra quali vengono letti velocemente e quali lentamente, e poi ripristina i messaggi secondo le regole concordate.
Nella maggior parte dei test correlati, i ricercatori hanno fornito suggerimenti sulle direzioni di comunicazione o sulle regole di codifica.
Il gruppo di utenti di Hacker News si è lamentato: "Ho tutti gli strumenti e ora faccio finta di essere sorpreso." L'estesia dell'utente ritiene che i test dovrebbero fornire agli aggressori condizioni favorevoli per testare la linea di difesa.
Tuttavia, Ethan Mollick, professore della Wharton Business School, ritiene che, sebbene le aziende di intelligenza artificiale non debbano fidarsi di questi rapporti sui problemi di sicurezza, potrebbero esagerare i rischi, ma il costo di sottovalutarli potrebbe essere maggiore e non possiamo ignorarlo.
OpenAI ha affermato di aver risolto i problemi rilevati e di aver aggiunto il monitoraggio per questi metodi di comunicazione.
Nel precedente test di ricerca della persona, il modello alla fine non è riuscito a scoprire chi fosse la persona.
Affinché l'intelligenza artificiale impari a navigare in Internet, è necessario mantenere questo "Truman Show".
Commenti