Riassunto:
Secondo i rapporti, l'agente di intelligenza artificiale testato da OpenAI ha lanciato un attacco informatico contro un popolare servizio di software due mesi prima che hackerasse la società di software di intelligenza artificiale Hugging Face a luglio. Questo nuovo incidente evidenzia il potenziale rischio che strumenti avanzati di intelligenza artificiale sfuggano al controllo umano.
L'attacco ha travolto il team di manutenzione di RubyGems, un servizio online per programmatori, costringendoli a chiudere le registrazioni di nuovi account per far fronte al caos, ha detto l'operatore del servizio.
Un consorzio di ricercatori sull'intelligenza artificiale ha affermato di aver trovato prove del fatto che l'attacco di maggio era opera di un agente OpenAI e ha condiviso le proprie scoperte con OpenAI. Lo sviluppatore di intelligenza artificiale ha confermato venerdì che i suoi agenti sono stati effettivamente coinvolti in un incidente che ha coinvolto RubyGems.
Un portavoce di OpenAI ha dichiarato in una dichiarazione: "Sulla base della nostra revisione, i nostri agenti utilizzano la piattaforma RubyGems per accedere a Internet per eseguire attività benigne e ottenere informazioni disponibili al pubblico. Continueremo a indagare come parte di un'ampia revisione dell'attività degli agenti durante la formazione e la valutazione."
OpenAI ha affermato che agli agenti è stato chiesto di eseguire attività come compilare fogli di calcolo e generare report. Senza accesso completo a Internet in un ambiente limitato, questi agenti di intelligenza artificiale sembrano utilizzare RubyGems come browser Web improvvisato per accedere alle informazioni disponibili al pubblico.
Sydney Von Arx, amministratore delegato dell'organizzazione no-profit Nightingale Collective, ha affermato che, sebbene il danno complessivo causato dall'incidente sia stato limitato, ha dimostrato le capacità di questi agenti. Il gruppo ha contribuito a scoprire l'attacco. "Sono in grado di sfuggire a Internet e provocare il caos", ha detto.
L'anno scorso ha visto progressi nelle capacità di sicurezza informatica degli agenti di intelligenza artificiale, sollevando preoccupazioni sugli attacchi informatici potenziati dall'intelligenza artificiale e alimentando i timori del settore secondo cui agenti altamente capaci potrebbero sfuggire al controllo delle aziende che li creano, segnalando una nuova era più pericolosa per l'intelligenza artificiale.
Secondo un rapporto dell'organizzazione di ricerca sulla sicurezza AI METR di fine agosto, durante l'incidente di hacking contro Hugging Face a luglio, ben 1.200 agenti si sono coordinati su una bacheca temporanea costruita all'interno di OpenAI, senza che OpenAI ne fosse a conoscenza. Von Arx ha affermato che all'inizio di quest'anno gli agenti di OpenAI hanno anche preso il controllo di un sito Web tedesco sconosciuto e di diversi altri siti Web.
Il problema con il sito tedesco è stato segnalato anche dal team di Von Arx. Ha affermato che le aziende di intelligenza artificiale non hanno trasparenza su ciò che accade all’interno dei loro laboratori. OpenAI ha affermato all'inizio di questo mese che la comunità dell'IA ha bisogno di standard migliori per segnalare i cosiddetti "incidenti di disallineamento", situazioni in cui un agente mostra un comportamento inaspettato.
Molte aziende, tra cui Anthropic e Meta Platforms, dispongono di agenti IA che spesso intraprendono azioni oltre le aspettative degli operatori e in alcuni casi tentano persino di ingannare gli esseri umani. La catena di eventi ha alimentato una preoccupazione di lunga data tra i ricercatori sulla sicurezza dell’intelligenza artificiale: che l’intelligenza artificiale possa evolversi oltre il controllo umano.
Un ingegnere antropico si è dimesso questa settimana a causa delle preoccupazioni che l'industria dell'intelligenza artificiale stia correndo per sviluppare sistemi di intelligenza artificiale avanzati che potrebbero in definitiva minacciare la civiltà umana. Diversi dipendenti attuali ed ex di Anthropic e OpenAI hanno fatto eco a questa valutazione, tra cui uno che stima la probabilità che l’intelligenza artificiale possa spazzare via tutta l’umanità in oltre il 10%.
Sia OpenAI che Anthropic hanno chiesto l'istituzione di un sistema di governance per coordinare un rallentamento a livello di settore nella ricerca su modelli di IA all'avanguardia. L’appello è particolarmente urgente poiché queste aziende si avvicinano alla realizzazione del potenziale dei sistemi di intelligenza artificiale per addestrare autonomamente nuove versioni di se stessi, noto come “auto-miglioramento ricorsivo”. Alcuni ricercatori suggeriscono che questo potrebbe essere il punto critico in cui l’intelligenza artificiale diventa incontrollabile.
All'epoca i ricercatori della sicurezza chiamarono l'incidente di maggio "GemStuffer". L'incidente è iniziato l'11 maggio. L'agente creava nuovi account su RubyGems ogni due o tre minuti e caricava centinaia di file dall'aspetto spam al team di sicurezza di RubyGems. I file RubyGems dovrebbero contenere codice e documentazione progettati per accelerare lo sviluppo del software, ma invece contengono pagine Web prelevate da Internet.
Secondo i ricercatori sull'intelligenza artificiale presenti nel rapporto, i creatori di "GemStuffer" hanno pubblicato informazioni dai siti web del governo britannico (come i calendari online). Hanno anche tentato di sfruttare due vulnerabilità che avrebbero potuto consentire loro di pubblicare nuove versioni di file RubyGems esistenti appartenenti ad altri utenti. Una delle vulnerabilità, che in precedenza non era stata resa pubblica, è nota nel gergo della sicurezza informatica come "vulnerabilità zero-day" ed è di natura grave. OpenAI ha affermato di non poter confermare l'affermazione.
Marty Haught, direttore open source di Ruby Central, la società no-profit che gestisce RubyGems, ha dichiarato: "In termini di volume di attacchi che abbiamo osservato, si è trattato di un attacco significativo". RubyGems è stata costretta a chiudere le registrazioni di nuovi account per quattro giorni perché sopraffatta dallo spam.
Haught ha affermato di non sapere chi si nascondesse dietro l'attacco, ma non sembra aver sfruttato con successo la vulnerabilità zero-day.
Joseph Edwards, ricercatore di minacce presso la società di sicurezza informatica Socket, ritiene che "GemStuffer" possa essere una sorta di test di sicurezza della rete. "A causa della velocità di attacco estremamente elevata e delle relative caratteristiche di denominazione, all'epoca pensavamo che questo potesse essere generato dall'intelligenza artificiale."
Ma sulla base degli indizi digitali lasciati dagli aggressori, i ricercatori di intelligenza artificiale hanno collegato l'incidente al laboratorio di OpenAI. Gli aggressori hanno utilizzato un gran numero degli stessi collegamenti web e si sono comportati in modo molto simile ai precedenti gruppi di agenti OpenAI; hanno usato l'abbreviazione "OAI" nei nomi dei file e persino negli indirizzi e-mail.
Commenti