Riassunto:
Secondo "Business Insider",
pochi giorni dopo il rilascio di un nuovo potente modello da parte di OpenAI, il capo scienziato dell'azienda ha chiesto di rallentare lo sviluppo dell'intelligenza artificiale
. Domenica, ora locale, il capo scienziato di OpenAI Jakub Pachocki ha pubblicato un lungo articolo in cui afferma di essere preoccupato che "nessuno sia preparato per le conseguenze della continua e rapida crescita dell'intelligenza artificiale".
Pachocchi
Mentre OpenAI sta sviluppando internamente soluzioni tecniche per controllare meglio i potenti agenti IA, "sono necessari interventi più ampi", ha affermato. È particolarmente preoccupato che, man mano che gli agenti di intelligenza artificiale diventeranno più autonomi, potrebbero imparare a eludere la supervisione umana, hackerare i sistemi informatici e ingannare gli umani per raggiungere i loro obiettivi.
Ha chiesto l'istituzione di una "soglia di sicurezza obbligatoria"
, e ha affermato che le misure potrebbero essere attuate da "una rete di revisori dei conti terzi, agenzie governative o agenzie internazionali".Il CEO di OpenAI, Sam Altman, ha ripubblicato il post di Pachocki sulla piattaforma X, definendolo "un articolo importante". OpenAI ha rilasciato il suo ultimo modello, Astra, giovedì scorso. Lo sviluppatore di ChatGPT ha affermato che, nonostante le impareggiabili capacità di Astra nelle operazioni matematiche e informatiche, è anche l'attuale modello di OpenAI quello più coerente con i valori e le intenzioni umane, il che significa che è meno incline a sfuggire di mano.
Anthropic, il principale concorrente di OpenAI, chiede da tempo al governo di introdurre misure normative più standardizzate. Più recentemente, Pachocki ha aderito all’appello, firmando una lettera aperta a luglio chiedendo al governo federale degli Stati Uniti di controllare il ritmo dello sviluppo dell’intelligenza artificiale.
Gli agenti IA stanno diventando "sovrumani" nell'invasione dei sistemi protetti sulla rete Internet aperta e le loro capacità di hacking mettono a rischio le infrastrutture mondiali, ha affermato Pachochi. “Attualmente ci troviamo in un breve periodo in cui possiamo sfruttare i migliori modelli disponibili per migliorare in modo significativo la sicurezza dei sistemi critici”, ha affermato.
I modelli evitano il monitoraggio umano
Ha osservato che gli agenti IA inizieranno presto a perseguire i propri obiettivi, che potrebbero differire dalle parole tempestive inserite dagli operatori umani. Ha detto che gli agenti potrebbero persino ricattare o contrattare con gli umani per raggiungere i loro obiettivi.
Pachocki ha affermato che OpenAI monitora principalmente il "ragionamento della catena di pensiero" utilizzato da diversi modelli per determinare come l'agente devia dalla traccia e perde il controllo. Ad esempio, un agente potrebbe segretamente pensare: "Dovrei imbrogliare in questo test" e OpenAI sarebbe in grado di vedere questo ragionamento, ma l'agente non si renderebbe conto che il suo pensiero è percepibile.
Tuttavia, Pachocki ha affermato che i modelli più recenti stanno migliorando nel manipolare i propri processi di ragionamento, impedendo a OpenAI di vedere i loro pensieri veri e non verniciati. Alcuni degli ultimi modelli non verbalizzano nemmeno il loro ragionamento. Questo sviluppo potrebbe diventare un collo di bottiglia nello sviluppo dell’intelligenza artificiale, poiché i ricercatori devono assicurarsi di poter vedere il “record di inferenza” del modello.
Modello di auto-miglioramento
Sempre più modelli di intelligenza artificiale migliorano continuamente le proprie capacità attraverso ciò che Pachocki chiama "auto-miglioramento ricorsivo della macchina". Questo processo fornisce un percorso rapidamente scalabile per lo sviluppo dell’intelligenza artificiale.
Tuttavia, Pachocki ha avvertito che accelerare in modo significativo la ricerca e lo sviluppo dell'"intelligenza artificiale per migliorare l'intelligenza artificiale" nel breve termine comporterà dei rischi e non è "la giusta azione collettiva che dovremmo intraprendere come comunità di ricerca".
I supervisori umani devono trovare modi innovativi per monitorare il processo di auto-miglioramento dell'IA, oppure coordinarsi con altre società di intelligenza artificiale per rallentare la ricerca e lo sviluppo per "creare fiducia in queste misure", ha affermato Paciochi.
"
La sfida principale dell'automazione della ricerca sull'intelligenza artificiale è non raggiungere l'obiettivo
, ma raggiungere gli obiettivi in modo da consentire agli esseri umani di continuare a partecipare a questo processo di miglioramento continuo e garantire che il futuro rimanga nelle mani dell’uomo. "Ha detto.
Commenti