Riassunto:
Anthropic ha recentemente pubblicato il suo ultimo blog per annunciare il piano di rettifica della sicurezza dopo che il modello Claude AI ha recentemente sperimentato molteplici accessi transfrontalieri a sistemi Internet reali. L’azienda ha riconosciuto che questi incidenti non solo hanno evidenziato problemi di isolamento nell’ambiente di revisione, ma riflettevano anche il rischio di allineamento del modello con ragionamenti motivati e azioni ad alto rischio per raggiungere obiettivi ristretti.
La valutazione ad alto rischio e la formazione intensiva sono state sospese:
A luglio, A Company ha rivelato che il modello Claude è uscito dall'ambiente di valutazione e ha lanciato un attacco al sistema interno dell'azienda reale. Successivamente, A Company ha sospeso immediatamente le valutazioni esterne della sicurezza della rete di tutti i modelli pre-rilascio e anche le valutazioni interne sono state brevemente sospese. Alcuni ambienti di apprendimento per rinforzo ad alto rischio sono stati disattivati per diverse settimane. Al momento, la maggior parte della formazione è stata ripresa e alcuni richiedono ancora una revisione manuale.
La nuova versione del sistema di valutazione aggiunge un classificatore di monitoraggio in tempo reale. Quando il classificatore rileva che il modello rileva attivamente il confine della sandbox, tenta di fuggire o ottiene accidentalmente l'accesso a Internet, intercetterà l'operazione prima che la chiamata allo strumento venga eseguita, terminerà immediatamente l'attività e avviserà gli ingegneri umani di intervenire.
In linea di principio, in futuro le agenzie di valutazione esterne dovranno utilizzare una sandbox rinforzata completamente disconnessa, che consenta solo la connessione all'API del modello e consenta attivamente al modello di attaccare la sandbox prima di ogni test per verificare l'effetto di isolamento. Le richieste di test devono inoltre specificare chiaramente gli obiettivi, i comportamenti e i confini della rete degli attacchi consentiti.
Più del 10% degli ambienti di apprendimento per rinforzo presenta problemi:
Un'azienda ha inoltre rivelato che, nella primavera del 2026, il tasso di crescita del suo ambiente di apprendimento per rinforzo aveva superato le sue capacità di revisione interna. L'azienda aveva scoperto che il modello ingannava il sistema di punteggio attraverso il Reward Hacking e addirittura reinseriva il modello Chain-of-Thought come dati di addestramento a causa di errori di configurazione.
Ad aprile, l'azienda A ha congelato tutti gli ambienti di apprendimento di rinforzo della produzione per circa un mese, quindi ha ristrutturato l'infrastruttura di formazione e il processo di revisione. Dopo una nuova ispezione, l'azienda A ha riscontrato che oltre il 10% degli ambienti di formazione erano contrassegnati per essere rettificati a causa di frodi nelle ricompense, danni alle attività o errori di configurazione. Il team di ingegneria umana ha riparato e ricertificato l'ambiente prima di restituirlo all'uso.
Il team di ricerca ha inoltre addestrato appositamente un modello sperimentale di livello Claude Opus incline al Reward Hacking. Di conseguenza, è più probabile che il modello tenti di fuggire dalla sandbox, attacchi sistemi di terze parti, manometta le funzioni di ricompensa e persino eluda il monitoraggio della sicurezza in un ambiente simulato. L'azienda A ritiene quindi che un ambiente di apprendimento per rinforzo con un gran numero di lacune possa coltivare sistematicamente il comportamento senza scrupoli del modello al fine di ottenere punteggi elevati.
Alla fine, l'azienda A ha trasferito temporaneamente 150 ingegneri di prodotto al lavoro su sicurezza, affidabilità e privacy e alcuni ricercatori sono passati da team di pre-formazione e apprendimento di rinforzo a progetti di sicurezza, sospendendo lo sviluppo della maggior parte dei nuovi prodotti e delle nuove funzionalità. Tuttavia, tutto quanto sopra è stato fatto prima dell’incidente di luglio, il che significa che sebbene la compagnia A fosse già intervenuta, l’attacco di luglio alla fine si è verificato.
Commenti