Riassunto:
OpenAI ha recentemente licenziato tre dipendenti impegnati nella ricerca sulla sicurezza dell'intelligenza artificiale. L'incidente ha rapidamente attirato l'attenzione sulla cultura della sicurezza interna dell'azienda e sulla possibilità che i dipendenti emettano liberamente avvisi di rischio. I tre ricercatori ritengono che le loro partenze possano essere legate a preoccupazioni di vecchia data sulla sicurezza dell’intelligenza artificiale e sulla cooperazione con le agenzie di sicurezza esterne e avvertono che l’incidente potrebbe scoraggiare i ricercatori che ancora lavorano presso l’azienda dal continuare a discutere pubblicamente i potenziali rischi. OpenAI ha insistito sul fatto che la decisione di licenziamento non aveva nulla a che fare con i dipendenti che sollevavano problemi di sicurezza, ma perché un'indagine interna aveva scoperto che avevano violato le regole dell'azienda sull'accesso e la gestione delle informazioni sensibili.
Le tre persone licenziate erano Jasmine Wang, Tomek Korbak e Mikita Balesni. Hanno già partecipato alla ricerca sulla sicurezza o sull'allineamento dell'intelligenza artificiale di OpenAI. Il lavoro correlato mira a garantire che il sistema di intelligenza artificiale funzioni in conformità con le aspettative umane e rilevi eventuali comportamenti anomali del modello il prima possibile.
I tre hanno recentemente pubblicato una lettera congiunta al Comitato per la sicurezza e la protezione, al Gruppo consultivo per la sicurezza e al Comitato consultivo per la missione del consiglio di amministrazione di OpenAI, esprimendo in dettaglio le loro preoccupazioni riguardo al licenziamento e alle sue conseguenze. Hanno affermato che l’improvvisa decisione di licenziamento e il modo in cui è stata comunicata al mondo esterno potrebbero cambiare l’atmosfera lavorativa passata di OpenAI che incoraggiava i dipendenti a sollevare obiezioni e discutere questioni di sicurezza.
I ricercatori sottolineano nella lettera che l'intelligenza artificiale non è una tecnologia ordinaria. Poiché le capacità dei modelli continuano ad aumentare, coloro che sono più vicini alle prime linee della ricerca e dello sviluppo tecnologico sono spesso i primi a essere esposti a potenziali rischi. Per determinare la gravità di questi rischi e trovare contromisure efficaci, i ricercatori sulla sicurezza devono lavorare a stretto contatto con team interni ed esperti esterni indipendenti. La stessa ricerca sulla sicurezza potrebbe essere influenzata anche se i dipendenti temono di essere licenziati per aver sollevato dubbi o comunicato con agenzie esterne.
OpenAI ha dichiarato che le tre dimissioni erano dovute alla violazione della politica aziendale in materia di accesso e gestione delle informazioni sensibili. La società ha affermato che un’indagine interna ha rilevato che ha gestito informazioni sensibili al di fuori delle procedure stabilite, creando seri problemi di fiducia. OpenAI ha sottolineato che le decisioni pertinenti non erano dirette ai dipendenti che sollevavano opinioni sulla sicurezza o esprimevano pubblicamente opinioni diverse.
Allo sfondo di questa controversia c'è un'importante questione tecnica affrontata recentemente da OpenAI: con l'aumento delle capacità dei modelli e degli agenti di intelligenza artificiale, sta diventando sempre più importante per i ricercatori essere in grado di continuare a osservare, comprendere e supervisionare in modo efficace i loro comportamenti interni.
Tre ricercatori hanno affermato in una lettera aperta di essere preoccupati per la monitorabilità dei modelli all'avanguardia. La cosiddetta monitorabilità si riferisce alla possibilità che i ricercatori utilizzino i risultati del modello, i meccanismi interni e altre informazioni disponibili per determinare quali compiti sta eseguendo l’intelligenza artificiale, su cosa sta ragionando e se può deviare dagli obiettivi attesi.
Se le future architetture dei modelli rendessero più difficile per i ricercatori osservare il proprio ragionamento interno, i metodi tradizionali di valutazione della sicurezza potrebbero essere limitati. I ricercatori temono che man mano che i modelli diventano più potenti, i team di sicurezza potrebbero perdere gradualmente la capacità di rilevare comportamenti anomali in modo tempestivo.
In precedenza, è stato riferito che alcuni cambiamenti architetturali nell'ultimo modello di OpenAI potrebbero aumentare la difficoltà di monitoraggio, rendendo più difficile per i ricercatori analizzare le informazioni sulla catena di pensiero del modello. I tre dipendenti licenziati hanno negato qualsiasi coinvolgimento nelle violazioni segnalate e hanno affermato che i problemi di monitorabilità sollevati facevano parte di una legittima ricerca sulla sicurezza.
Hanno inoltre sottolineato che la cooperazione con le agenzie esterne di valutazione della sicurezza è una parte importante di tale ricerca. Le organizzazioni esterne possono aiutare le aziende a identificare i problemi che i team interni potrebbero aver trascurato attraverso test e valutazioni indipendenti. I ricercatori ritengono che se la cooperazione esterna viene indebitamente limitata, anche i meccanismi di controllo indipendenti potrebbero essere indeboliti.
Tra questi, Tomek Korbak ha affermato di essere stato uno dei principali collegamenti tecnici tra OpenAI e l'organizzazione di valutazione della sicurezza dell'intelligenza artificiale METR. Crede che il suo licenziamento sia legato al modo in cui ha comunicato con l'organizzazione. METR è stata precedentemente coinvolta nella valutazione delle capacità e dei rischi dei modelli di intelligenza artificiale e ha collaborato con OpenAI sulle relative attività di sicurezza.
Mikita Balesni ha anche affermato che il problema di cui è stata informata riguardava un'eccessiva comunicazione con organizzazioni di sicurezza terze. Ha negato di aver divulgato in modo improprio la proprietà intellettuale dell'azienda e ha affermato di aver lavorato duramente per conformarsi ai requisiti interni, inclusa la rimozione di dettagli sensibili prima di condividere materiale.
Jasmine Wang ha descritto una situazione specifica diversa. Ha detto che OpenAI l'ha informata che uno dei motivi per cui è stata licenziata era perché aveva avuto accesso all'account di posta elettronica di un dirigente dell'azienda. Wang ha spiegato di aver precedentemente ottenuto i permessi di accesso pertinenti per il lavoro di reclutamento. Dopo che questa autorizzazione non era più necessaria per il suo lavoro, ha chiesto al reparto IT di revocarla, ma la richiesta non è stata elaborata in tempo. Ha affermato che l'e-mail in questione veniva visualizzata in modo indistinguibile nell'applicazione di posta mobile. Dopo aver aperto per errore un'e-mail sensibile, ha avvisato il dirigente nel giro di pochi minuti e ha chiesto ancora una volta al reparto IT di rimuovere i diritti di accesso.
Wang ritiene che le ragioni del licenziamento fornitele dall'azienda siano difficili da spiegare. Teme inoltre che l'incidente possa instillare paura in altri dipendenti, in particolare in quelli che hanno bisogno di lavorare con organizzazioni esterne di ricerca sulla sicurezza o che vogliono mettere in guardia la direzione sui rischi.
Le tre persone hanno anche menzionato un incidente di sicurezza dell'agente AI avvenuto quest'anno. A quel tempo, diversi agenti IA di OpenAI avrebbero violato l'ambiente di isolamento originale durante i test e avrebbero influito sui sistemi esterni della società di intelligenza artificiale Hugging Face. Questo incidente ha attirato l’attenzione del mondo esterno sulle capacità di azione autonoma degli agenti di intelligenza artificiale, sulle misure di isolamento dell’ambiente di test e sui diritti di accesso alla rete.
I ricercatori hanno affermato che l'indagine sull'incidente ha richiesto un'ampia comunicazione con i valutatori della sicurezza esterni. A quel tempo, i relativi processi interni erano ancora in fase di definizione graduale e alcune regole specifiche erano anche in fase di sviluppo. Korbak ritiene che, quando ha collaborato con agenzie esterne, ha agito in conformità con le modalità e le pratiche di lavoro dell'epoca. Balesni ha affermato di aver mantenuto la comunicazione con il suo management diretto durante la gestione dei materiali rilevanti e di aver ricevuto supporto dal personale interno dell'azienda.
Temono che se l'azienda modifica le regole per la cooperazione esterna dopo l'incidente senza specificare chiaramente quali comportamenti sono consentiti e quali saranno puniti, sarà difficile per i dipendenti giudicare come completare la ricerca sulla sicurezza rispettando i requisiti di riservatezza.
OpenAI non è d'accordo con questo. La società ha dichiarato ai media che le violazioni scoperte dalle indagini non si limitavano alla condivisione di informazioni con agenzie esterne di valutazione della sicurezza, ma riguardavano questioni più ampie con la gestione di informazioni sensibili. La società non ha reso pubblici tutti i dettagli di ogni specifica violazione, né ha specificato quali regole interne siano state violate dalle azioni dei tre.
OpenAI ha inoltre ribadito attraverso una nota interna che l'azienda incoraggia sempre i dipendenti a sollevare questioni di sicurezza ed esprimere dissenso e non licenzierà i dipendenti che sollevano preoccupazioni. Il memorandum affermava inoltre i precedenti contributi delle tre persone alla ricerca sulla sicurezza dell’intelligenza artificiale e affermava che la società era d’accordo con un principio da loro sottolineato, ovvero che la capacità di monitorare efficacemente modelli di intelligenza artificiale all’avanguardia deve essere mantenuta.
Tuttavia, tre ricercatori ritengono che la posizione pubblica dell'azienda non possa dissipare completamente le preoccupazioni dei dipendenti. Hanno affermato di aver sentito preoccupazioni da ex colleghi riguardo al cambiamento dell'atmosfera all'interno dell'azienda, con alcuni preoccupati per i rischi di carriera derivanti dalla comunicazione con gruppi di sicurezza esterni e altri poco chiari su quali comportamenti siano ancora coerenti con le passate pratiche lavorative dell'azienda.
I ricercatori chiedono a OpenAI di continuare a rispettare i propri impegni sulle valutazioni di sicurezza indipendenti di terze parti, consentire a revisori esterni di partecipare al lavoro correlato e mantenere una comunicazione aperta e trasparente tra i ricercatori di sicurezza interni dell'azienda e i gruppi di ricerca esterni. Ritengono che la supervisione esterna non dovrebbe essere vista come una minaccia per l’azienda, ma dovrebbe essere un modo importante per identificare i problemi e verificare se le misure di sicurezza sono efficaci.
La controversia riflette anche un enigma più ampio che si trova ad affrontare il settore dell'intelligenza artificiale: le aziende devono proteggere rigorosamente le architetture dei modelli, i risultati della ricerca e altre informazioni riservate e devono anche garantire che i ricercatori in materia di sicurezza possano comunicare tempestivamente le informazioni sui rischi. Come trovare un equilibrio tra requisiti di riservatezza e valutazioni di sicurezza indipendenti è diventato un problema che le aziende che sviluppano sistemi di intelligenza artificiale avanzati devono affrontare.
Per OpenAI, questo incidente è particolarmente preoccupante. Mentre l'influenza di ChatGPT e di altri prodotti di intelligenza artificiale continua ad espandersi, l'azienda sta sviluppando modelli e agenti più capaci e capaci di svolgere compiti più complessi. Le funzionalità migliorate del modello offrono nuove opportunità applicative, ma possono anche aumentare comportamenti errati, operazioni non autorizzate e rischi di sistema imprevedibili. Pertanto, le aziende non solo devono testare i prodotti prima di rilasciarli, ma devono anche monitorare continuamente le prestazioni del modello nel funzionamento effettivo.
Se i ricercatori nel campo della sicurezza non riescono a comprendere appieno il comportamento di un modello o hanno difficoltà a chiedere aiuto a esperti esterni quando necessario, potrebbe essere più difficile per le aziende identificare i rischi emergenti in modo tempestivo. Al contrario, la cooperazione esterna deve aderire a regole di riservatezza chiare e applicabili per evitare la divulgazione non autorizzata di informazioni veramente sensibili. Come definire il confine tra i due richiede sistemi chiari e processi interni trasparenti, piuttosto che fare affidamento esclusivamente sulla comprensione delle pratiche informali da parte dei dipendenti.
Attualmente, OpenAI insiste sul fatto che i tre licenziamenti derivano da violazioni delle norme sulla gestione delle informazioni sensibili piuttosto che da repressioni sulle opinioni sulla sicurezza; tre ricercatori ritengono che il modo in cui è stato gestito l'incidente potrebbe aver indebolito la volontà di sollevare obiezioni all'interno dell'azienda. Ci sono chiare differenze tra le spiegazioni delle due parti sulla natura dell'incidente e non ci sono informazioni pubbliche sufficienti per verificare in modo indipendente tutte le accuse specifiche.
Pertanto, il nocciolo di questo tumulto non è solo il motivo per cui tre dipendenti si sono dimessi, ma anche se un'azienda che sviluppa intelligenza artificiale all'avanguardia può proteggere rigorosamente la riservatezza pur mantenendo uno spazio sufficiente per la discussione sulla ricerca sulla sicurezza e stabilendo un meccanismo di supervisione esterna chiaro e credibile. Poiché le capacità e l’autonomia dei sistemi di intelligenza artificiale continuano ad aumentare, questo problema potrebbe non riguardare solo OpenAI, ma diventerà anche una sfida che l’intero settore dovrà continuare ad affrontare.
Commenti