Riassunto:
Anthropic ha affermato che il suo ultimo modello di intelligenza artificiale Claude Mythos Preview ha ridotto significativamente i tempi di sviluppo del software necessari per implementare modelli di intelligenza artificiale sulle piattaforme GPU AMD. Secondo l'azienda, in passato questo lavoro richiedeva solitamente dai 6 ai 12 mesi e richiedeva decine di ingegneri per essere completato, ma Claude Mythos può completare il lavoro critico di adattamento del software in circa tre giorni senza quasi nessun intervento manuale. Questo sviluppo potrebbe indebolire le barriere competitive che Nvidia ha stabilito da tempo sulla base dell'ecosistema software CUDA.

Il cofondatore e chief computing officer di Anthropic, Tom Brown, ha presentato agli investitori i risultati durante il roadshow sull'IPO dell'azienda. Ha affermato che Claude Mythos può eseguire il porting o scrivere automaticamente quasi il 100% del codice del kernel della GPU, consentendo ai modelli Claude di funzionare sull'acceleratore AMD Instinct MI355X. In precedenza, simili lavori di adattamento hardware spesso richiedevano un team di decine di ingegneri e richiedevano diversi mesi.
Tuttavia, i tre giorni comunicati da Anthropic hanno un chiaro ambito di applicazione, il che non significa che l'intero processo di distribuzione del modello, verifica dell'ambiente di produzione e ottimizzazione delle prestazioni possa essere completato entro tre giorni. La nota a piè di pagina del materiale del roadshow sottolinea che questo risultato è specificamente mirato a un modello antropico che completa l'attività di elaborazione testi tempestiva (Prefill) sulla GPU AMD MI355X e raggiunge un livello di prestazioni di valore pratico. Anthropic non ha indicato chiaramente se è inclusa anche la fase di risposta per la generazione del modello (Decode).
Il core della GPU costituisce un collegamento importante tra il software di intelligenza artificiale e l'hardware sottostante. È responsabile della conversione delle attività di calcolo del modello in istruzioni che possono essere eseguite in modo efficiente su un processore specifico. Esistono differenze nell'architettura GPU, nei sistemi di memoria e nelle unità di calcolo di diversi produttori, quindi lo stesso modello di intelligenza artificiale spesso deve scrivere o modificare il codice sottostante per diverse piattaforme hardware. Questo tipo di lavoro è stato a lungo un'importante fonte di vantaggi per l'ecosistema CUDA di NVIDIA.
La piattaforma CUDA di NVIDIA è stata sviluppata per quasi 20 anni e dispone di compilatori maturi, strumenti di sviluppo, librerie di ottimizzazione e un'ampia comunità di sviluppatori. AMD dispone di una propria piattaforma software ROCm e supporta le attività di elaborazione correlate tramite il livello di programmazione HIP. Per aiutare gli sviluppatori a migrare il codice CUDA sulla piattaforma AMD, AMD ha precedentemente lanciato lo strumento HIPify. Tuttavia, la conversione del codice non significa che tutti i programmi possano ottenere direttamente le prestazioni ideali. Gli sviluppatori di solito devono ancora fare molto debug e ottimizzazione.
I progressi negli strumenti di programmazione dell'intelligenza artificiale stanno cambiando questa situazione. Anush Elangovan, vicepresidente del software di intelligenza artificiale di AMD, ha affermato nell'aprile di quest'anno che Claude ha un vantaggio rispetto a HIPify nella conversione del codice perché ha funzionalità di ricerca web integrate e può ottenere più informazioni tecniche durante l'elaborazione. AMD ha già dimostrato risultati di ricerca utilizzando agenti AI per scrivere automaticamente i kernel GPU, ma i primi sistemi erano ancora inferiori agli esperti umani in alcuni test.
Anthropic non si affida esclusivamente alle GPU Nvidia per eseguire i suoi modelli. L'azienda ha utilizzato contemporaneamente diversi tipi di acceleratori come GPU NVIDIA e AMD, Google TPU e Amazon AWS Trainium e ha unificato la gestione di queste risorse hardware in un pool di risorse di calcolo pianificato in modo flessibile. Tom Brown in precedenza aveva definito la decisione iniziale dell'azienda di adottare una strategia di piattaforma multi-chip una scelta insolita. Questa strategia potrebbe diventare più interessante poiché il tempo di adattamento del software viene notevolmente ridotto.
Anthropic ha iniziato a utilizzare le GPU AMD per la prima volta quest'anno e ha raggiunto un accordo di cooperazione con AMD che prevede fino a 2 gigawatt di potenza di calcolo. Secondo le informazioni precedentemente divulgate da entrambe le parti, AMD sta utilizzando Claude anche per ottimizzare il carico di lavoro delle GPU della serie Instinct e accelerare lo sviluppo della piattaforma software ROCm. AMD ritiene che la generazione automatica del codice kernel da parte dell'intelligenza artificiale dovrebbe abbassare ulteriormente la soglia tecnica affinché i clienti adottino i suoi acceleratori.
In effetti, il management di AMD ha più volte parlato dell'impatto degli strumenti di programmazione IA sull'ecosistema software delle GPU. Il CEO di AMD, Su Zifeng, ha dichiarato nel settembre dello scorso anno che una grande quantità di software AI è stata originariamente sviluppata attorno a CUDA, ma una parte considerevole del codice può ora essere convertita in una forma adatta alle piattaforme AMD tramite strumenti software. Nel luglio di quest'anno, Vamsi Boppana, vicepresidente senior di AMD, ha affermato che si prevede che l'intelligenza artificiale eliminerà le rimanenti barriere software nell'adozione delle GPU AMD.
All'evento AMD Advancing AI tenutosi a luglio di quest'anno, Philippe Tillet di OpenAI ha parlato anche del ruolo degli agenti AI nello sviluppo dei core della GPU. Ha detto che dopo che OpenAI ha ottenuto il rack AMD Helios, ci sono voluti solo pochi giorni perché un ingegnere confermasse che il sistema funzionava correttamente, notando che gli agenti AI stanno gradualmente assumendo parte del lavoro che prima era responsabilità degli ingegneri del kernel. AMD ha anche rivelato che un ingegnere ha chiesto a Claude di aiutarlo ad avviare il rack MI355X e a mantenere il sistema in funzione durante il fine settimana.
I dati divulgati da Anthropic hanno attirato l'attenzione perché i risultati rilevanti non sono più solo dimostrazioni o pubblicità da parte della stessa AMD. In qualità di società di intelligenza artificiale che acquista e utilizza effettivamente chip, Anthropic ha rivelato agli investitori i cambiamenti nel tempo nelle proprie pratiche di ingegneria. Nel prospetto dell'IPO si menziona anche che con l'aiuto di Claude l'azienda è stata in grado di introdurre nuove piattaforme di chip nell'ambiente di produzione con investimenti ingegneristici molto inferiori rispetto al passato, sebbene il documento non fornisse una cifra specifica di tre giorni.
Tuttavia, il miglioramento nella velocità di adattamento non dimostra direttamente che la GPU AMD abbia eguagliato Nvidia in termini di prestazioni. Anthropic non ha annunciato l'effettiva velocità di esecuzione di Claude sull'MI355X, né ha fornito dati di confronto delle prestazioni con hardware simile di Nvidia. Il rapporto sottolinea inoltre che, sebbene il grafico visualizzato dall'azienda segnasse il progresso di adattamento di entrambe le soluzioni vicino al 100%, non spiegava in dettaglio a quale contenuto di lavoro corrisponde questo rapporto.
Il CEO di Nvidia Jensen Huang ha precedentemente affermato che la società stessa utilizza anche l'intelligenza artificiale per assistere nello sviluppo dei core GPU e ritiene che nessuno comprenda l'architettura del proprio chip meglio di Nvidia, quindi Nvidia può sfruttare appieno le prestazioni dell'hardware. Per quanto riguarda l’adozione di altri acceleratori da parte di aziende come Anthropic, una volta definì Anthropic un caso speciale piuttosto che una tendenza del settore.
Allo stesso tempo, la scrittura automatica AI dei kernel GPU deve affrontare anche nuovi colli di bottiglia in termini di risorse. Un’analisi pubblicata da SemiAnalysis nel luglio di quest’anno ritiene che i costi di sviluppo del software stiano diminuendo, ma il codice generato dagli agenti AI deve ancora essere testato e verificato su GPU reali. Ogni agente richiede risorse GPU corrispondenti per eseguire i test e le risorse GPU interne di AMD per tale sviluppo sono insufficienti, il che potrebbe diventare un vincolo per un'ulteriore espansione delle applicazioni.
Nel complesso, l'importanza della dimostrazione di Claude Mythos non sta solo nel fatto che riduce uno specifico processo di sviluppo software, ma anche nel fatto che l'intelligenza artificiale può modificare il costo della migrazione del software tra diverse piattaforme GPU. I vantaggi di CUDA non scompariranno immediatamente. La sua catena di strumenti matura, l'ecosistema di sviluppatori e l'esperienza accumulata a lungo termine nell'ottimizzazione delle prestazioni sono ancora preziosi. Tuttavia, se l’intelligenza artificiale potrà completare sempre più automaticamente il trapianto di codice, la scrittura del kernel e l’adattamento dell’hardware, i clienti potrebbero essere meno dipendenti da specifici ecosistemi software nella scelta delle GPU. Anche concorrenti come AMD avranno l'opportunità di conquistare clienti che originariamente utilizzavano principalmente piattaforme Nvidia con costi di migrazione inferiori.
Commenti