Riassunto:
Secondo l'analista della catena di fornitura Ming-Chi Kuo, il progetto dell'acceleratore AI "Rubin CPX" di NVIDIA, precedentemente accantonato, è stato ora riavviato e l'architettura della memoria è stata riprogettata. Questo prodotto era originariamente progettato per essere dotato di memoria video GDDR7 da 128 GB, ma ora è dotato di memoria a larghezza di banda elevata HBM4 da 168 GB.
Nvidia ha annunciato alla fine dello scorso anno l'intenzione di sviluppare un acceleratore dedicato basato sulla famiglia di GPU Rubin, principalmente per carichi di lavoro di intelligenza artificiale su larga scala. Dopo l'annuncio del progetto, è stato riferito che era stato temporaneamente accantonato, ma Nvidia sembra aver completato la ripianificazione. Rubin CPX verrà distribuito in rack indipendenti, ciascun rack può essere configurato con da 64 a 256 GPU CPX indipendenti.
A differenza delle GPU Rubin convenzionali responsabili delle attività di decodifica, le GPU CPX vengono utilizzate principalmente per la fase di "preriempimento" nel processo di inferenza di modelli linguistici di grandi dimensioni e sono responsabili dell'elaborazione del contesto di input e della cache KV. NVIDIA sta cercando di separare le attività di pre-compilazione e decodifica, con la GPU CPX che si occupa del lavoro di pre-riempimento e poi la normale GPU Rubin che si occupa della decodifica, migliorando così l'efficienza complessiva dell'inferenza.
Un vassoio rack dotato di 8 GPU CPX può gestire fino a 1,34 TB di dati di precompilazione a contesto lungo e relativa cache KV, il tutto basato sulla memoria HBM4. HBM4 può fornire una maggiore larghezza di banda della memoria, contribuendo ad accelerare l'elaborazione di dati contestuali lunghi. Poiché il progetto precedente non richiedeva l'HBM4 integrato, Nvidia deve anche riprogettare il packaging del chip e si prevede che utilizzerà la tecnologia di packaging avanzata CoWoS-S o CoWoS-L di TSMC.
In termini di prestazioni di elaborazione, Rubin CPX adotta un design del chip monolitico e può fornire 30 gigaflop di prestazioni di elaborazione NVFP4 o 30 PFLOPS. Il chip integra inoltre 4 motori di codifica video NVENC e 4 motori di decodifica video NVDEC, consentendogli di completare carichi di lavoro multimediali più efficienti senza fare affidamento su processori esterni.
Poiché la scala dei parametri dei modelli linguistici di grandi dimensioni si avvicina al livello di trilioni, si prevede che il trasferimento delle attività di precompilazione e di decodifica a rack diversi aumenterà significativamente la velocità di generazione e consegna dei token. Nvidia consiglia inoltre di mantenere un rapporto 1:1 tra GPU CPX e GPU Rubin normali nel rack di decodifica.
Commenti