Riassunto:
Kimi K3, una filiale della società cinese di intelligenza artificiale Dark Side of the Moon, è stata recentemente nuovamente coinvolta nella controversia sulla distillazione del modello. Un'indagine pubblicata da OpenAI ha rivelato che una campagna di estrazione coordinata mirata al contenuto di inferenza protetto dei suoi modelli era collegata a individui associati a Dark Side of the Moon. Le attività correlate hanno generato circa 16.000 richieste in un solo giorno e coinvolto più di 15.000 utenti.
OpenAI ha affermato che queste operazioni non hanno violato il suo sistema di crittografia, non hanno invaso il database o ottenuto direttamente le conversazioni storiche degli utenti, ma attraverso interazioni modello multi-round attentamente progettate, hanno cercato di rigenerare il processo di ragionamento originariamente nascosto in una forma visibile al richiedente.
OpenAI ha definito l'incidente un "evento di distillazione del modello coordinato". La cosiddetta distillazione del modello si riferisce all’utilizzo di un modello di insegnante più capace per generare una grande quantità di output, e quindi all’utilizzo di questi risultati per formare un modello di studente più piccolo o a basso costo, in modo che quest’ultimo possa apprendere i modelli di comportamento e le capacità del modello di insegnante. La distillazione stessa è una tecnica comune nel campo dell’apprendimento automatico, ma se l’output del modello commerciale viene estratto su larga scala senza autorizzazione e utilizzato per addestrare modelli concorrenti, potrebbe violare i termini di servizio e persino portare a controversie sulla proprietà intellettuale.
Secondo i risultati dell'indagine rilasciati da OpenAI, le attività correlate sono apparse per la prima volta il 1 luglio 2026, quando il numero di richieste era ancora relativamente basso. Poi l'attività si è progressivamente ampliata, con evidenti picchi il 24 e 25 luglio. Solo in questi due giorni OpenAI ha rilevato circa 16.000 richieste utilizzando specifici pattern di estrazione da più di 4.000 utenti.
OpenAI ha inoltre affermato che parole di richiesta e modalità operative simili non compaiono solo tra gli oltre 4.000 utenti sopra menzionati, ma sono distribuiti tra un gruppo di utenti più ampio composto da oltre 15.000 utenti. Analizzando i modelli e le correlazioni tra queste richieste, l'azienda determina che non si tratta di comportamenti dell'utente ordinario del tutto indipendenti, ma appartengono ad un'attività con caratteristiche coordinate.
Un'operazione chiave è di particolare interesse. OpenAI ha affermato che il personale interessato ha prima copiato il contenuto dell'inferenza crittografato restituito dal modello da una conversazione, quindi ha chiesto al modello di decrittografare e trascrivere il contenuto nascosto in una conversazione separata. In altre parole, non hanno violato direttamente il meccanismo di crittografia utilizzato da OpenAI per proteggere il processo di ragionamento, ma hanno cercato di utilizzare le capacità proprie del modello per consentire al modello di elaborare un altro pezzo di contenuto protetto, recuperando così indirettamente le informazioni.
OpenAI ha sottolineato che questa attività non è riuscita a "violare la crittografia", né a violare il database di OpenAI, né a ottenere i record delle chat degli utenti archiviati sul server. Il suo successo risiede principalmente nel manipolare le interazioni tra i modelli in modo che le informazioni di inferenza protette che altrimenti non verrebbero visualizzate direttamente all'utente riappaiano in un'altra forma.
OpenAI ha finalmente bloccato completamente questo tipo di attività intorno al 28 luglio. La società ha affermato che durante le sue indagini ha scoperto che uno dei principali gruppi di attività era collegato a persone associate a Dark Side of the Moon. OpenAI ha affermato in una dichiarazione pubblica di essere in grado di attribuire il cluster principale a "individui associati allo sviluppatore Kimi Dark Side of the Moon".
Dark Side of the Moon è un'azienda cinese di intelligenza artificiale la cui serie di modelli Kimi si è sviluppata rapidamente negli ultimi anni. Nel luglio 2026, la società ha rilasciato Kimi K3, un modello a peso aperto con circa 2,8 trilioni di parametri, e lo ha posizionato come modello di nuova generazione per la programmazione di codici, il ragionamento complesso e le attività degli agenti AI. Kimi K3 ha attirato rapidamente l'attenzione degli sviluppatori di intelligenza artificiale globale dopo il suo rilascio e le sue prestazioni si sono avvicinate al modello closed-source leader negli Stati Uniti in alcuni test di terze parti.
Questa indagine di OpenAI ha portato l'attenzione anche sui precedenti dubbi sollevati dal governo degli Stati Uniti sull'origine del modello Kimi. Michael Kratzios, direttore dell'Ufficio per le politiche scientifiche e tecnologiche della Casa Bianca e capo consigliere scientifico e tecnologico, ha dichiarato alla fine di luglio di quest'anno che il governo degli Stati Uniti disponeva di informazioni rilevanti e credeva che Dark Side of the Moon avesse utilizzato il modello di Anthropic per distillare Kimi K3. Dark Side of the Moon non ha riconosciuto l'accusa.
Oltre alla dichiarazione del governo, altri ricercatori hanno recentemente analizzato le fonti di formazione del modello Kimi K3. Uno studio ha scoperto che il semplice inserimento di parte del contenuto del ragionamento decodificato di Claude Opus 4.8 in Kimi K3 può cambiare in modo significativo il successivo processo di pensiero e la risposta finale di Kimi K3, facendolo sembrare un'espressione più vicina a quella di Claude. Sulla base di ciò, i ricercatori ritengono che la difficoltà di estrarre determinati contenuti di ragionamento di Claude e GPT in Kimi K3 sia significativamente inferiore a quella di altri modelli.
Tuttavia, questi studi non dimostrano da soli che il Kimi K3 nel suo insieme sia stato distillato da altri modelli con mezzi non autorizzati. Metodi di risposta, strutture di ragionamento ed espressioni di conoscenza simili compaiono tra grandi modelli linguistici, che possono anche derivare da vari fattori come dati pubblici, obiettivi formativi simili, metodi di apprendimento per rinforzo e architettura del modello. Pertanto, l’esistenza di parziali somiglianze comportamentali tra i modelli non equivale a comprovate irregolarità nella fonte dei loro dati di addestramento.
Lo stesso Kimi K3 contiene anche la tecnologia sviluppata da Dark Side of the Moon. Il modello è progettato utilizzando architetture come Kimi Delta Attention ed è ottimizzato per attività di inferenza su larga scala. Dark Side of the Moon riduce inoltre i costi di inferenza riducendo la cache KV e ottimizzando l'impronta di memoria di ciascun token. Queste tecnologie consentono a Kimi K3 di funzionare su hardware di data center su larga scala.
La particolarità di questa controversia è che il comportamento denunciato dalla stessa OpenAI non consiste semplicemente nel copiare la risposta del modello, ma nel tentativo di ottenere attivamente un "ragionamento protetto" che il modello di solito non mostra direttamente. Poiché sempre più aziende di intelligenza artificiale adottano meccanismi di ragionamento nascosti o crittografati, questo tipo di informazioni è diventato una parte importante della protezione delle capacità del modello. Se i modelli concorrenti saranno in grado di ripristinare i propri contenuti attraverso richieste automatizzate su larga scala, i meccanismi utilizzati dai fornitori di modelli per proteggere i risultati della formazione e le capacità di inferenza potrebbero affrontare nuove sfide.
OpenAI è intervenuta più volte negli ultimi anni contro comportamenti di distillazione di modelli simili. L’azienda ritiene che l’automazione su larga scala del richiamo di modelli di business, della raccolta dei loro risultati e del loro utilizzo per addestrare modelli concorrenti consentirà a un soggetto con grandi quantità di risorse informatiche di replicare a un costo inferiore le capacità che altri modelli hanno sviluppato attraverso ricerca e sviluppo a lungo termine.
Allo stesso tempo, questo incidente dimostra anche che la distillazione del modello di intelligenza artificiale sta diventando una questione delicata nella competizione sull'intelligenza artificiale tra Cina e Stati Uniti. Il governo degli Stati Uniti ha ripetutamente avvertito che le società cinesi di intelligenza artificiale potrebbero utilizzare i risultati dei modelli delle aziende statunitensi per accelerare lo sviluppo dei propri modelli, mentre le aziende cinesi continuano a sottolineare l’importanza delle capacità di ricerca e sviluppo indipendenti e dei modelli a peso aperto. Per quanto riguarda le attuali informazioni pubbliche, OpenAI ha confermato la scoperta di attività di estrazione su larga scala e ha affermato che il suo cluster di attività principale è legato a persone legate al lato oscuro della Luna. Tuttavia, questa attribuzione e se le attività correlate vengano infine utilizzate per addestrare Kimi K3 richiedono ancora ulteriori prove pubbliche da dimostrare.
Ulteriori informazioni:
https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/
Commenti