Riassunto:
NVIDIA ha modificato alcune specifiche hardware della piattaforma informatica di intelligenza artificiale Vera Rubin di nuova generazione, tra cui la larghezza di banda della memoria a larghezza di banda elevata HBM4 e la larghezza di banda di interconnessione ad alta velocità NVLink. Rispetto agli indicatori precedentemente annunciati o diffusi, le nuove specifiche sono diminuite, ma è aumentata la larghezza di banda della rete ad espansione orizzontale. Questo cambiamento potrebbe significare che Nvidia sta riequilibrando le prestazioni dei chip, le capacità di fornitura e i costi del sistema in base all’effettiva produzione di massa.
Secondo le specifiche della piattaforma Vera Rubin attualmente annunciate da NVIDIA, la GPU Rubin è dotata di memoria HBM4 da 288 GB e una larghezza di banda di memoria di 19,2 TB/s. In precedenza, i dati tecnici di NVIDIA indicavano un indicatore di larghezza di banda massima della memoria di 22 TB/s. Rispetto ai due, il valore attualmente annunciato è inferiore di circa il 12,7%. È importante notare che Nvidia in precedenza utilizzava una metrica del "massimo raggiungibile", quindi questo riflette i cambiamenti nei numeri delle specifiche e non significa necessariamente che tutti i prodotti abbiano subito un uguale calo delle prestazioni effettive.
HBM4 è una nuova generazione di tecnologia di memoria a larghezza di banda elevata che utilizza un'interfaccia di memoria più ampia per fornire capacità di throughput dei dati più elevate per l'addestramento e l'inferenza dei modelli di intelligenza artificiale. Poiché le dimensioni del modello continuano ad espandersi, la GPU non solo richiede una maggiore potenza di calcolo, ma deve anche ottenere continuamente una grande quantità di parametri del modello e dati intermedi. Se la larghezza di banda della memoria è insufficiente, anche se l'unità di calcolo ha una potenza di calcolo teorica elevata, potrebbe non essere in grado di esercitare appieno le sue prestazioni a causa dell'attesa dei dati.
L'elevata larghezza di banda della memoria precedentemente perseguita dalla piattaforma Rubin ha portato anche requisiti tecnici più elevati alla catena di fornitura HBM4. I produttori di memorie video devono soddisfare i requisiti di consumo energetico, dissipazione termica, integrità del segnale e affidabilità a lungo termine a velocità di trasferimento dati più elevate. Maggiore è la specifica della larghezza di banda, maggiori saranno le sfide tipicamente affrontate dai processi di verifica della progettazione e di produzione in serie.
Se NVIDIA riduce i requisiti di larghezza di banda della memoria, la gamma di chip HBM4 che soddisfano gli standard di prodotto potrebbe espandersi e anche i fornitori avranno l'opportunità di aumentare la percentuale di output dei prodotti qualificati. Ciò non significa che i produttori di memorie video debbano riprogettare l’intera gamma di prodotti, ma potrebbe consentire ad alcuni prodotti che non possono raggiungere i precedenti obiettivi prestazionali più elevati ma che soddisfano comunque nuovi requisiti di entrare nel sistema di fornitura, migliorando così le capacità di fornitura complessive.
Oltre alla larghezza di banda della memoria, Nvidia ha anche modificato le specifiche di interconnessione NVLink del super chip Vera Rubin. Secondo le attuali informazioni sul prodotto, la larghezza di banda NVLink del super chip Vera Rubin è stata modificata dai precedenti 7,2 TB/s a 6 TB/s, con una diminuzione di circa il 16,7%. NVLink è la tecnologia di interconnessione di NVIDIA per la comunicazione ad alta velocità tra GPU. Svolge un ruolo importante nello scambio di dati, nell'addestramento parallelo dei modelli e nelle complesse attività di inferenza dell'intelligenza artificiale nei sistemi multi-GPU.
Nei grandi cluster di intelligenza artificiale, gradienti, valori di attivazione e altri dati intermedi devono essere scambiati frequentemente tra le GPU. La comunicazione tra diverse unità di calcolo è particolarmente importante per i modelli di grandi dimensioni con architetture ibride esperte. Pertanto, la riduzione dell'indicatore della larghezza di banda NVLink può influire sulle prestazioni di alcune attività ad alta intensità di comunicazione, ma l'impatto finale dipende comunque dall'architettura del modello, dal metodo di pianificazione del software e dal carico effettivo. La perdita complessiva di potenza di calcolo non può essere calcolata semplicemente in base al rapporto di riduzione della larghezza di banda.
Allo stesso tempo, Nvidia ha aumentato i parametri di larghezza di banda per alcune reti scale-out. I dati esistenti mostrano che la larghezza di banda della rete di espansione orizzontale del super chip Vera Rubin è aumentata dai precedenti 0,8 TB/s a 0,9 TB/s. Questo tipo di rete viene utilizzata principalmente per connettere diversi nodi informatici, consentendo ai data center di organizzare un gran numero di GPU in un cluster informatico unificato. L'aumento della larghezza di banda della rete può contribuire a migliorare le capacità di trasferimento dei dati tra i nodi, soprattutto quando le attività di elaborazione devono essere completate in modo collaborativo tra i server.
Questo aggiustamento di uno verso il basso e uno verso l'alto riflette la relazione di compromesso nella progettazione delle piattaforme di elaborazione dell'intelligenza artificiale: le capacità di comunicazione all'interno della GPU e all'interno del cabinet sono importanti, ma con l'espansione della scala del cluster, la comunicazione tra nodi può anche diventare un fattore che limita le prestazioni complessive. Nvidia potrebbe riallocare il budget prestazionale nella progettazione dei sistemi in base alle reali esigenze delle applicazioni.
Tuttavia, la modifica delle specifiche in sé non dimostra che Nvidia abbia confermato la carenza di memoria video, né può dimostrare da sola che abbassare l'indicatore significhi aumentare la produzione. Le spiegazioni pertinenti devono ancora essere giudicate in base ai progressi della produzione di massa del fornitore, allo stato di certificazione del prodotto e alle successive informazioni divulgate da Nvidia.
Per la catena di fornitura HBM4, gli adeguamenti delle specifiche possono spostare il focus della concorrenza tra i fornitori. In precedenza, i produttori dovevano puntare a velocità di trasmissione dati più elevate; se Nvidia riduce i requisiti di larghezza di banda per i prodotti di produzione di massa, la concorrenza potrebbe concentrarsi maggiormente sulla resa, sulla scala di fornitura, sul consumo energetico, sulla stabilità e sui costi. Di conseguenza, i fornitori in grado di fornire prodotti qualificati su larga scala potrebbero ottenere maggiori opportunità.
Dal punto di vista dell'intera piattaforma, Vera Rubin non si affida esclusivamente alla larghezza di banda della memoria per determinare le prestazioni. La potenza di calcolo della GPU, la capacità di memoria video, l'interconnessione chip-to-chip, l'architettura di rete e l'ottimizzazione del software determinano congiuntamente le prestazioni del sistema. La configurazione del cabinet Vera Rubin NVL72 annunciata ufficialmente da Nvidia contiene 72 GPU Rubin e collega più GPU tramite NVLink di sesta generazione per supportare attività di addestramento e inferenza su larga scala dell'intelligenza artificiale.
Pertanto, anche se alcuni indicatori hardware sono inferiori rispetto agli obiettivi iniziali, Vera Rubin potrebbe comunque ottenere prestazioni più elevate attraverso l'architettura informatica, la capacità della memoria video e l'ottimizzazione a livello di sistema. Ciò che merita davvero attenzione è se Nvidia può espandere le spedizioni come previsto dopo aver modificato le specifiche e se l'effettivo addestramento del modello e le prestazioni di inferenza soddisfano le aspettative dei clienti.
Commenti