Riassunto:
Recentemente il team di sicurezza di OpenAI ha apportato un altro importante cambiamento al personale. David Robinson, che era responsabile della pianificazione delle politiche aziendali e ha partecipato alla promozione della trasparenza sulla sicurezza dell’IA, ha lasciato OpenAI. Un portavoce di OpenAI ha confermato a Business Insider che Robinson se n’è andato la settimana scorsa. Questa partenza è avvenuta pochi giorni dopo che la società ha licenziato tre ricercatori di sicurezza e ha anche portato rinnovata attenzione sulla stabilità del team di sicurezza interno di OpenAI e su come l'azienda fa avanzare il lavoro di sicurezza migliorando rapidamente le sue capacità di intelligenza artificiale.
Robinson ha precedentemente guidato le attività di pianificazione delle politiche di OpenAI e attualmente fa parte del team Safety Systems. Ha partecipato a una grande quantità di lavoro sulla trasparenza della sicurezza di OpenAI, inclusa l'assistenza allo sviluppo e al rilascio di System Card (schede di sistema), che vengono utilizzate principalmente per descrivere le capacità, le limitazioni, i rischi e i relativi risultati di valutazione della sicurezza dei modelli OpenAI. OpenAI continua a rilasciare schede di sistema modello e materiali di valutazione della sicurezza.
Lo stesso Robinson non ha ancora commentato il motivo delle sue dimissioni. Pertanto, al momento non vi è alcuna prova pubblica che queste dimissioni siano state causate direttamente da uno specifico incidente di sicurezza, da differenze politiche o da conflitti interni. OpenAI non ha annunciato il motivo specifico della sua partenza.
Tuttavia, questo cambiamento di personale è avvenuto in un contesto di continui cambiamenti nel team di sicurezza di OpenAI. Proprio il 1° ottobre OpenAI ha annunciato la fine della collaborazione con tre ricercatori, affermando che avevano violato le norme aziendali sull'accesso e la gestione delle informazioni aziendali sensibili. OpenAI ha affermato che i tre non hanno seguito le procedure stabilite dall'azienda nel gestire informazioni sensibili, distruggendo così il rapporto di fiducia su cui fa affidamento l'azienda.
Secondo il Wall Street Journal, i tre ricercatori erano sospettati di condividere informazioni aziendali riservate con un'organizzazione esterna per la sicurezza dell'intelligenza artificiale, ma OpenAI non ha spiegato pubblicamente quali informazioni fossero state condivise, né ha confermato i dettagli specifici nei rapporti pertinenti. Pertanto, ciò che attualmente può essere confermato è il fatto che OpenAI ha gestito informazioni sensibili in violazione delle norme, e le dichiarazioni sul flusso specifico di informazioni e sul contenuto della condivisione provengono ancora principalmente da resoconti dei media.
La partenza di Robinson è avvenuta anche dopo diversi cambi di personale nel dipartimento di sicurezza di OpenAI. All’inizio di quest’anno, anche il capo della sicurezza di OpenAI Johannes Heidecke ha lasciato l’azienda. Allo stesso tempo, l’azienda ha recentemente dovuto affrontare sempre più problemi legati alla sicurezza dell’intelligenza artificiale, incluso il comportamento anomalo del modello di intelligenza artificiale e il precedente incidente di sicurezza di Hugging Face.
Tra questi, l'incidente del volto abbracciato ha attirato particolare attenzione. OpenAI aveva precedentemente rivelato che il suo agente AI è riuscito a superare un ambiente di isolamento che non avrebbe dovuto consentire l'accesso a Internet in un incidente in un ambiente di test di sicurezza e ha effettuato un ulteriore accesso alle risorse di rete esterne. OpenAI ha successivamente pubblicato un'analisi degli eventi correlati e ha dichiarato che rafforzerà ulteriormente i meccanismi di sicurezza, monitoraggio e allineamento dei modelli.
Robinson ha anche parlato pubblicamente della comprensione interna di OpenAI del rapido sviluppo delle capacità di intelligenza artificiale nel settembre di quest'anno. All’epoca aveva affermato che sempre più persone all’interno dell’azienda stavano diventando consapevoli del possibile impatto di modelli di intelligenza artificiale altamente capaci, ma aveva anche espresso dubbi sulla rapidità della riforma della sicurezza. Ha scritto che OpenAI "sta cambiando davvero a un ritmo rapido", ma non sa "se stiamo cambiando abbastanza velocemente". Questa affermazione sta ora attirando rinnovata attenzione perché lo stesso Robinson è una delle persone più importanti responsabili della trasparenza della sicurezza e della pianificazione politica. Tuttavia, le sue dichiarazioni pubbliche in quel momento non indicavano chiaramente che si stesse preparando a partire, e non c'erano prove che ci fosse una relazione diretta tra le sue dichiarazioni e questa partenza.
OpenAI sta attualmente continuando ad espandere le capacità del proprio modello e sta anche cercando di stabilire un meccanismo di valutazione della sicurezza più sistematico. La società ha recentemente proposto la direzione dei "casi di sicurezza", sperando di stabilire un quadro di valutazione della sicurezza dell'intelligenza artificiale più sistematico e all'avanguardia attraverso misure di sicurezza tecniche, processi operativi e indagini sugli eventi di mancata corrispondenza dei modelli. OpenAI ha inoltre espresso il proprio sostegno a valutazioni esterne indipendenti della sicurezza, consentendo ai valutatori di avere un accesso approfondito ai processi di formazione, test e implementazione del modello e di giudicare autonomamente se le misure di sicurezza sono efficaci.
Pertanto, l'attenzione sollevata dalla partenza di Robinson non è solo una normale partenza da parte di un dirigente. Il team Safety Systems è responsabile del lavoro che coinvolge la valutazione della sicurezza del modello, l'identificazione del rischio, la trasparenza della sicurezza e i relativi meccanismi politici, che sono esattamente nelle aree principali dell'attuale rapido avanzamento di OpenAI degli agenti IA e delle capacità del modello più forti.
Tuttavia, al momento non ci sono prove per dimostrare che la partenza di Robinson significhi che OpenAI stia indebolendo i suoi investimenti nella sicurezza dell'intelligenza artificiale, né possiamo giudicare eventuali cambiamenti direzionali nella politica di sicurezza dell'azienda basati esclusivamente sulla partenza del personale. OpenAI continua a rilasciare schede di sistema, condurre valutazioni di sicurezza e creare nuovi framework per casi di sicurezza. Ciò che merita davvero attenzione sarà il modo in cui l’azienda configurerà il proprio team di sicurezza in futuro, chi assumerà le funzioni rilevanti e se questi meccanismi di sicurezza saranno in grado di tenere il passo con la rapida crescita delle capacità del modello e delle capacità degli agenti AI.
Commenti