Riassunto:
Quest'estate, i team di OpenAI hanno cercato di capire perché la loro intelligenza artificiale stava causando violazioni della sicurezza all'interno e all'esterno dell'azienda. Durante questo periodo, molti dirigenti senior, incluso il CEO Sam Altman, hanno avuto molti incontri con la start-up Goodfire. La tecnologia Goodfire, sostenuta dall’attività antropica, mira a comprendere le ragioni sottostanti per cui i modelli di intelligenza artificiale si comportano in determinati modi e come evitare che l’intelligenza artificiale sfugga di mano.

Il CEO di Goodfire Eric Ho (a sinistra) e il CEO di OpenAI Sam Altman.
Due persone a conoscenza della questione hanno rivelato che durante il processo di negoziazione, un dirigente di OpenAI si è offerto di raccogliere
più di 5 miliardi di dollari
L'azienda acquisirà questa start-up di due anni a un prezzo ragionevole o stipulerà altre forme di cooperazione commerciale. Goodfire ha completato un round di finanziamento a febbraio che ha valutato la società a 1,25 miliardi di dollari in collocamenti privati, e l’offerta di 5 miliardi di dollari ha rappresentato un enorme premio per tale valutazione.L'acquisizione alla fine non si è concretizzata. Questa serie di trattative, mai segnalate prima, mostra che con l’aumento degli incidenti di sicurezza guidati dall’intelligenza artificiale, sia Anthropic che OpenAI sono preoccupati per “la capacità di controllare la tecnologia AI che costruiscono”. La spiegabilità dei meccanismi, una direzione industriale un tempo impopolare, sta ora guadagnando molta attenzione.
Una delle persone a conoscenza della questione ha affermato che uno dei motivi principali della rottura dei negoziati è che il management di Goodfire ritiene che se manterrà uno sviluppo indipendente ed esporterà tecnologia a più società di intelligenza artificiale, il valore dell'azienda sarà superiore a 5 miliardi di dollari.
I dirigenti di OpenAI, Anthropic e Google ammettono tutti che l'affidabilità dei metodi tradizionali di monitoraggio del comportamento dell'intelligenza artificiale sta diminuendo e, di conseguenza, il software Goodfire è diventato sempre più prezioso. Il suo percorso tecnico è diverso dalla soluzione tradizionale di sviluppatori come OpenAI: la soluzione tradizionale è leggere il testo dell'output della catena di pensiero durante l'inferenza del modello, osservando da vicino il comportamento reale dell'IA. (Guarda l'intervista con il CEO di Goodfire di seguito)
I nuovi sviluppi dell'intelligenza artificiale, come la tecnologia segreta alla base del modello Astra di OpenAI, comprimeranno la quantità di informazioni sulla catena di pensiero prodotte dal modello, rendendo ulteriormente difficile il monitoraggio.
Gli incidenti legati alla sicurezza dell'IA si sono verificati uno dopo l'altro negli ultimi mesi (incluso il noto incidente di intrusione di Hugging Face, causato dalla tecnologia di OpenAI e che ha persino invaso alcuni dei sistemi di OpenAI). Per i grandi produttori di modelli come OpenAI, è urgente costruire una protezione di sicurezza più forte.
Una volta che la loro intelligenza artificiale invade i sistemi aziendali e governativi e causa perdite economiche, aziende come OpenAI e Anthropic possono anche affrontare il rischio di ingenti risarcimenti legali o addirittura di essere perseguite.
La competenza principale di Goodfire è
mech interp
. Diversamente dal monitoraggio della catena di pensiero, i software di prodotti concorrenti come Goodfire e Martian osservano direttamente i calcoli matematici in esecuzione all'interno del modello. Goodfire ha anche ammesso che l’attuale maturità di questa tecnologia non è buona quanto quella del monitoraggio della catena del pensiero; alcuni ricercatori sull'intelligenza artificiale ritengono inoltre che il rigore della ricerca scientifica sia più debole rispetto ad altre direzioni di ricerca sull'apprendimento automatico.
Ma il co-fondatore e capo scienziato di Goodfire, Tom McGrath, ha affermato in un'intervista su YouTube che la tecnologia della startup si ripeterà rapidamente e il costo sarà molto inferiore rispetto al monitoraggio della catena di pensiero: quest'ultimo richiede l'esecuzione di un modello di grandi dimensioni per leggere l'output della catena di pensiero da un altro modello. Prevede che entro i prossimi sei mesi le soluzioni di monitoraggio basate sulla spiegabilità raggiungeranno le capacità di monitoraggio della catena di pensiero.
La startup di San Francisco vende abbonamenti annuali alle aziende per il suo prodotto Silico, che utilizza agenti di intelligenza artificiale per condurre automaticamente vari esperimenti di ricerca, come rilevare se un modello sta tentando di lanciare un attacco informatico. Tra i suoi clienti figurano Rakuten e l'azienda di neuroscienze AI Prima Mente. Goodfire ha generato entrate, ma la dimensione esatta non è stata rivelata.
L'interpretabilità del meccanismo richiede un accesso approfondito ai pesi del modello (i parametri numerici che compongono il modello AI), che sono mantenuti strettamente riservati dai principali produttori. Pertanto, alcuni dipendenti Goodfire saranno presenti presso le aziende clienti per svolgere lavori.
Fonti informate hanno rivelato che durante i negoziati tra OpenAI e Goodfire, Altman ha prestato particolare attenzione ai risultati della ricerca del ricercatore Goodfire Nick Cammarata. Kammarata una volta lavorava presso OpenAI. Il mese scorso ha pubblicato un articolo che ha avuto ampia diffusione nel circolo, "Le reti neurali sono chiare e interpretabili". Ha proposto che, con l’aiuto dell’interpretabilità dei meccanismi, i ricercatori possano comprendere più facilmente i miliardi di neuroni (unità di operazioni matematiche all’interno del modello) all’interno del modello di intelligenza artificiale di quanto si pensasse in precedenza. Molti ricercatori ritengono che questo tipo di comprensione possa aiutare a sviluppare modelli con prestazioni migliori.
Molte importanti aziende di modelli di grandi dimensioni hanno istituito team di ricerca sull'interpretabilità dei meccanismi; essendo uno dei pionieri in questo campo, Anthropic è stata particolarmente attiva in questa direzione.
Chris Ola è considerato uno dei fondatori del campo della spiegabilità dei meccanismi. Ha co-fondato Anthropic dopo aver lasciato OpenAI nel 2020 e ora conduce la ricerca sulla spiegabilità presso l'impresa sviluppata da Claude. Anthropic ha completato il suo investimento in Goodfire lo scorso anno, segnando la prima volta nella sua storia che Anthropic ha preso una partecipazione diretta in una startup esterna. Il CEO Dario Amodei disse all'epoca: "Questo investimento rappresenta la nostra convinzione che la spiegabilità dei meccanismi sia la soluzione più promettente per trasformare le reti neurali a scatola nera in sistemi comprensibili e controllabili."
A giudicare dalle informazioni sul reclutamento, OpenAI sta reclutando anche ricercatori nel campo dell'allineamento e dell'interpretabilità; All’inizio di quest’anno, OpenAI ha integrato la tecnologia di interpretabilità nel processo di sicurezza per identificare risultati pericolosi del modello, come rispondere a domande dannose relative ad attacchi informatici e armi biologiche. Le persone vicine a OpenAI affermano che l’entusiasmo per la direzione della spiegabilità sta crescendo tra i ricercatori all’interno dell’azienda.
Commenti