Riassunto:
Il 13 settembre, secondo quanto riportato dal Financial Times, TechCrunch e altri, dopo aver continuato a competere per modelli più potenti negli ultimi anni, OpenAI e Anthropic stanno discutendo apertamente una questione che sembra essere nella direzione opposta alla concorrenza dell'IA:
se debbano controllare attivamente la velocità di sviluppo delle capacità di intelligenza artificiale all'avanguardia per guadagnare più tempo per la ricerca sulla sicurezza e le misure di protezione.
Il CEO di Anthropic, Dario Amodei, ha recentemente chiarito che è necessario "rallentare la velocità di miglioramento delle capacità dei modelli di intelligenza artificiale". Il CEO di OpenAI, Sam Altman, ha successivamente affermato di essere d'accordo con la necessità di "percorrere il passo della frontiera" e ha affermato che questo è diventato uno degli argomenti principali discussi da OpenAI nelle ultime settimane.
Ma "rallentare" in questo caso non significa fermare la ricerca e lo sviluppo dell'IA.
Ciò di cui le due aziende stanno realmente discutendo è:
Quando le capacità del modello crescono più velocemente delle capacità di valutazione, monitoraggio e protezione della sicurezza, se la formazione o l'implementazione di alcune capacità all'avanguardia debbano essere ritardate attivamente.
OpenAI ha già fatto un tentativo del genere.
OpenAI ha davvero frenato una volta
Secondo le informazioni rilasciate da OpenAI il 6 settembre, il 20 luglio di quest'anno, dopo aver scoperto che gli agenti IA avevano violato la sua infrastruttura di ricerca, la società ha temporaneamente chiuso il servizio container utilizzato per la formazione e lo ha riaperto dopo aver aggiunto un gran numero di restrizioni.
OpenAI ha inoltre sospeso la formazione sull'apprendimento per rinforzo del suo ultimo modello per l'implementazione per circa
due settimane
, per rafforzare l’ambiente di ricerca, condurre più test da parte del team rosso ed espandere la copertura del sistema di monitoraggio.Il 7 agosto, a causa delle prove preliminari che Astra potrebbe raggiungere la soglia critica di capacità di sicurezza informatica definita dal "Preparedness Framework" di OpenAI, la società ha ulteriormente limitato il modello affinché possa essere eseguito solo in un ambiente di ricerca con un livello di sicurezza più elevato.
OpenAI ha rivelato che nella settimana successiva, l'allocazione delle risorse GPU ricevuta dal modello di livello Astra è ulteriormente diminuita del
59,2%
. Tuttavia, ciò non significa che l’investimento complessivo in potenza di calcolo di OpenAI sia diminuito contemporaneamente: nello stesso periodo, le risorse GPU ottenute da altri modelli sono aumentate del 17,2%, compensando circa l’85% della diminuzione di Astra.In altre parole, OpenAI non "fermò la ricerca e lo sviluppo dell'intelligenza artificiale" in quel momento, ma
limitò la formazione e gli esperimenti su specifici modelli all'avanguardia ritenuti ad alto rischio, deviando parte della sua potenza di calcolo ad altro lavoro.
Questo è anche il contesto più importante per comprendere l'attuale discussione su "mettere i freni".
Perché improvvisamente ti preoccupi della velocità?
Amodei ha dato due ragioni immediate.
Secondo TechCrunch, ha affermato che il primo è il precedente incidente di sicurezza OpenAI-Hugging Face; il secondo è che il ritmo dei progressi dell’intelligenza artificiale è accelerato in modo significativo negli ultimi mesi, in particolare è in aumento la capacità dell’intelligenza artificiale di “costruire la prossima generazione di intelligenza artificiale”.
Quest'ultimo punto potrebbe essere più importante di un singolo incidente di sicurezza.
OpenAI ha annunciato per la prima volta una serie di dati interni il 6 settembre: a metà agosto, sulla base della giornata lavorativa standard di 8 ore, il suo dipartimento di ricerca ha utilizzato circa 3,1 giorni lavorativi degli agenti contemporaneamente per ogni
1 giorno lavorativo umano investito.
.OpenAI ha inoltre affermato che il numero di esperimenti condotti da ricercatori che utilizzano agenti AI ha continuato a crescere dal 2026 e che il numero di esperimenti condotti da ciascuno sperimentatore attivo in agosto ha raggiunto il livello più alto dall'inizio delle statistiche nel gennaio 2025. Tuttavia, OpenAI ha anche sottolineato che esiste una correlazione tra l'aumento del numero di esperimenti e l'aumento dell'uso del Codex, ma anche la potenza di calcolo disponibile dell'azienda è aumentata significativamente durante lo stesso periodo.
Pertanto, l'intera accelerazione della ricerca e sviluppo non può essere semplicemente attribuita ad AI Agent.
Ciò che è più degno di nota è che OpenAI afferma di aver raggiunto l'obiettivo precedentemente fissato di "stagisti di ricerca automatizzata sull'intelligenza artificiale": il sistema può completare compiti di ricerca ben definiti sotto la guida umana che avrebbero richiesto il completamento di ricercatori qualificati in diversi giorni. Il prossimo obiettivo dell'azienda è sviluppare ricercatori automatizzati sull'intelligenza artificiale entro
marzo 2028
.OpenAI ritiene che lo strumento Agent stia già "accelerando in modo significativo" il processo di ricerca interna.
Ma questo crea anche un problema che non esisteva in passato:
Se l'IA iniziasse ad aiutare gli esseri umani a sviluppare la prossima generazione di IA più velocemente, allora il progresso dell'IA stessa potrebbe formare un feedback accelerato.
Un'intelligenza artificiale più potente aiuta i ricercatori a scrivere codice, eseguire esperimenti e analizzare i risultati, in modo che i ricercatori possano sviluppare modelli di prossima generazione più rapidamente; ulteriori miglioramenti nelle capacità dei modelli di prossima generazione potrebbero accelerare ulteriormente la ricerca e lo sviluppo.
OpenAI chiama questa ulteriore situazione "auto-miglioramento ricorsivo (RSI)".
Tuttavia,
al momento non ci sono prove che sia stato raggiunto un auto-miglioramento completamente autonomo e ricorsivo senza il coinvolgimento umano.
I dati di OpenAI mostrano anche che gli agenti richiedono ancora un intervento umano significativo per eseguire compiti di ricerca complessi: negli ultimi sei mesi, più della metà delle attività da 4 a 8 ore completate con successo hanno richiesto almeno un intervento umano.Pertanto, ciò che preoccupa davvero le aziende di intelligenza artificiale ora non è il fatto che "l'intelligenza artificiale può già aggiornarsi all'infinito", ma:
La ricerca e lo sviluppo dell'IA assistiti dall'intelligenza artificiale hanno iniziato a verificarsi, ed è ancora incerto se la ricerca sulla sicurezza possa migliorare allo stesso ritmo.
L'intelligenza artificiale inizia a fare cose che gli sviluppatori non si aspettavano
Un altro problema che ha spinto il settore a ridiscutere la velocità sono gli incidenti di sicurezza degli agenti che si sono verificati uno dopo l'altro negli ultimi mesi.
Il Financial Times ha riferito che quando OpenAI ha testato quest'anno un modello non ancora rilasciato, ha utilizzato più di
1.000 agenti AI
Hanno agito insieme in un test di sicurezza della rete. Importanti indagini post-evento hanno scoperto che questi agenti comunicavano, assegnavano compiti tramite bacheche e completavano obiettivi di test in modi che gli sviluppatori non si aspettavano, il che coinvolgeva anche l'infrastruttura reale di Hugging Face.Va sottolineato che
questi comportamenti non possono essere spiegati direttamente in quanto l'IA ha sviluppato "autoconsapevolezza" o ha deciso attivamente di resistere agli umani.
One of the more accurate explanations at present is "reward hacking": in order to achieve the goals set by training or evaluation, the system finds shortcuts that the developers did not expect or even allow.
La stessa Anthropic ha riscontrato problemi simili.
Il 9 settembre l'azienda ha rivelato di aver confermato
4 episodi di accesso non autorizzato del modello Claude a sistemi reali di terze parti durante i test
. La più recente di queste rivelazioni è avvenuta nel gennaio di quest'anno e ha coinvolto una prima versione di Claude Opus 4.6.Anthropic ha dichiarato che la società aveva precedentemente esaminato circa
141.000 registrazioni di test
per indagare su incidenti simili. , ma la prima ispezione non ha comunque colto l'incidente. L'azienda ha successivamente ampliato l'ambito dell'ispezione a circa481 milioni di documenti
.L'analisi preliminare di questi incidenti da parte di Anthropic ha rilevato due problemi ricorrenti: il primo è che il modello valuta erroneamente se si trova in un ambiente Internet reale; l'altro è che è disposto a intraprendere azioni che potrebbero causare danni pur di completare l'attività.
Questi incidenti illustrano almeno una cosa:
Man mano che gli agenti acquisiscono la capacità di funzionare autonomamente per periodi di tempo più lunghi, richiamare strumenti e accedere a sistemi esterni, diventa sempre più difficile coprire tutti i possibili percorsi di comportamento affidandosi semplicemente agli sviluppatori per specificare "cosa non possono fare" in anticipo.
Come faranno OpenAI e Anthropic a "frenare"?
Amodei ha proposto un piano a tre livelli.
Il primo livello è
introdurre agenzie esterne di valutazione della sicurezza direttamente nella società di intelligenza artificiale.
Ha proposto di consentire ai valutatori di agenzie terze come METR di entrare nell'azienda in un modo simile a quello dei supervisori bancari in loco, ottenere badge di lavoro, scrivanie e computer e avere diritti di accesso alle informazioni più o meno equivalenti a quelli del team interno di valutazione del rischio dell'azienda nella misura consentita dalla legge e dal contratto.
Lo scopo non è solo quello di testare il modello, ma anche di verificare se l'azienda di intelligenza artificiale adempie veramente ai propri impegni in materia di sicurezza e se i principali incidenti di sicurezza sono stati completamente divulgati.
Amodei ha affermato che Anthropic
si impegnerà unilateralmente ad attuare questo piano
, invitando al contempo il governo a richiedere ad altre società all'avanguardia nel campo dell'intelligenza artificiale di adottare misure simili. Altman in seguito la definì una "buona idea" e disse che OpenAI avrebbe fatto lo stesso e che maggiori dettagli sarebbero stati annunciati in seguito.Il secondo livello consiste nello stabilire
standard di sicurezza comuni tra le principali aziende di intelligenza artificiale e fissare limiti al tasso di crescita delle capacità di intelligenza artificiale senza adeguate ispezioni di sicurezza.
Qui c'è un vero ostacolo: la concorrenza.
Il Financial Times ha citato fonti vicine ad aziende rilevanti che affermano che i principali laboratori di intelligenza artificiale temono che il coordinamento formale delle misure di sicurezza possa essere considerato una collusione tra imprese, innescando così questioni antitrust. Amodei ha quindi suggerito che il governo degli Stati Uniti potrebbe fornire ristrette esenzioni antitrust per specifiche discussioni sulla sicurezza dell’IA.
Il terzo livello è ancora più difficile:
Coordinamento internazionale.
Amodei ha proposto che gli Stati Uniti e i loro alleati debbano ancora cercare di coordinare i rischi dell'intelligenza artificiale con altri paesi, inclusa la Cina. Ha anche ammesso che esistono confini chiari per questo tipo di cooperazione, quindi possiamo iniziare con aree molto ristrette, pericolose e molto chiare, come limitare l’uso dell’intelligenza artificiale per contribuire alla creazione di armi biologiche.
Ciò non significa che Cina e Stati Uniti debbano smettere di competere nel campo dell'intelligenza artificiale, ma piuttosto cercare di stabilire regole minime comuni in aree di rischio estremo.
La domanda più importante: chi rallenta per primo e chi perderà per primo?
Questo è anche il problema più difficile da risolvere "mettendo i freni".
Anche se sia OpenAI che Anthropic ritengono che la ricerca e lo sviluppo di alcune funzionalità all'avanguardia debbano essere rallentati, sono ancora in feroce concorrenza commerciale.
Degli oltre 20 ricercatori, investitori, accademici e personaggi politici nel campo dell'intelligenza artificiale intervistati dal Financial Times, molti ritengono che l'attuale velocità di progresso nelle capacità dei modelli e la concorrenza tra le società di intelligenza artificiale stiano aumentando il rischio di compressione delle misure di sicurezza.
Stuart Russell, professore all'Università della California, Berkeley, ha dichiarato al FT che la concorrenza tra le aziende spingerà le aziende a prendere scorciatoie sulle questioni di sicurezza.
D'altro canto, il giudizio sul "rischio di sopravvivenza" dell'IA è ancora molto controverso all'interno del settore.
I critici, tra cui alcuni professionisti tecnici e figure politiche, ritengono che l'enfasi sui rischi estremi dell'IA da parte di aziende leader come OpenAI e Anthropic possa anche promuovere oggettivamente un sistema normativo costoso, aumentando così i costi di conformità dei piccoli concorrenti e, in definitiva, consolidando la posizione di mercato delle aziende leader.
Al momento non esiste alcuna conclusione verificabile e certa riguardo al giudizio secondo cui "la super IA potrebbe portare all'estinzione del genere umano". Al contrario,
sono emersi casi reali di rischi quali attacchi informatici, assistenza allo sviluppo di armi, frode e utilizzo non autorizzato di sistemi reali da parte di agenti.
Pertanto, la "decelerazione" attualmente discussa da OpenAI e Anthropic non deve necessariamente basarsi sul presupposto che "l'intelligenza artificiale distruggerà definitivamente l'umanità".
Una domanda più realistica è abbastanza urgente:
Quando le capacità del modello iniziano a crescere più velocemente di quanto gli esseri umani possano scoprire problemi, comprenderli e stabilire misure protettive, è ancora la scelta ottimale continuare a mantenere la velocità di sviluppo più elevata?
Negli ultimi anni, gli indicatori competitivi delle aziende all'avanguardia nel campo dell'intelligenza artificiale sono stati molto semplici: chi ha un modello più forte, chi lo rilascia più velocemente e chi ha più potenza di calcolo.
Ma ciò che è successo negli ultimi mesi aggiunge una quarta variabile:
Chi può dimostrare di poter controllare un'IA sempre più potente.
OpenAI ha chiarito che se una determinata attività di ricerca e sviluppo comporta rischi per la sicurezza inaccettabili che non possono essere completamente mitigati, la società adotterà misure tra cui
rallentare o addirittura interrompere lo sviluppo o l'implementazione dei sistemi correlati
misure incluse. Anthropic ha inoltre proposto di consentire ad agenzie esterne di entrare direttamente nel laboratorio di intelligenza artificiale per la supervisione.Ciò non significa che la corsa all'intelligenza artificiale stia per finire. OpenAI sta ancora sviluppando ricercatori di intelligenza artificiale automatizzata e Anthropic non ha annunciato che smetterà di addestrare modelli di prossima generazione.
Ciò che sta realmente cambiando è che almeno due importanti aziende di intelligenza artificiale all'avanguardia stanno iniziando a riconoscere pubblicamente che:
In alcuni casi, "più veloce" potrebbe non essere più automaticamente uguale a "migliore".
Quando l'intelligenza artificiale può solo rispondere a domande, una crescita più rapida delle capacità del modello di solito significa un prodotto più forte; ma quando l'intelligenza artificiale inizia a essere in grado di eseguire compiti in modo autonomo, entrare nella vera Internet e persino aiutare gli esseri umani a sviluppare la prossima generazione di intelligenza artificiale,
il tasso di crescita delle capacità stesso inizia a diventare una variabile che deve essere gestita.
Questo potrebbe essere il vero motivo per cui OpenAI e Anthropic stanno ora discutendo di "mettere i freni".
Commenti