Riassunto:
Groq, un'azienda di chip per inferenza AI acquisita da NVIDIA, sta pianificando di introdurre la tecnologia DRAM stacked 3D nei suoi prodotti LPU (Language Processing Unit) di prossima generazione per sostituire la soluzione SRAM attualmente ampiamente utilizzata. Questo adeguamento significa che in futuro l’azienda si concentrerà maggiormente sull’aumento della capacità di stoccaggio dei chip per adattarsi alla crescente domanda di modelli di intelligenza artificiale su larga scala.
All'inizio di quest'anno, NVIDIA ha annunciato il prodotto rack Groq LPX e lo ha incluso nell'ecosistema Vera Rubin per migliorare le prestazioni di inferenza dell'intelligenza artificiale. Il rack è entrato in produzione di massa nell'agosto di quest'anno. Secondo i primi risultati dei test, quando funziona insieme al server NVL72, il sistema può raggiungere una velocità di inferenza di 3.400 token al secondo, stabilendo un nuovo record di prestazioni.
L'attuale generazione di Groq LPU è progettata con 500 MB di SRAM e ha una larghezza di banda della memoria fino a 150 TB/s. Nel rack LPX, il sistema è configurato con 256 di questi chip, fornendo un totale di 128 GB di capacità SRAM e 640 TB/s di capacità di larghezza di banda estesa. Una singola LPU Groq può fornire circa 1,20 PFLOP di potenza di calcolo FP8.
Ma per la prossima generazione di prodotti, Groq si prepara a intraprendere una strada completamente diversa. L'azienda prevede di abbandonare la dipendenza esclusivamente dalla SRAM e adottare invece la DRAM e combinarla con la tecnologia di packaging 3D Stacked (3D stacked) per creare una nuova architettura. Rispetto alla SRAM, il più grande vantaggio della DRAM è che può fornire una capacità di archiviazione molto più elevata rispetto alla SRAM, ma a scapito di una larghezza di banda e di una velocità di accesso relativamente basse.
Una fonte del settore dei semiconduttori ha affermato che Groq ha in programma di introdurre la tecnologia di packaging 3D nella prossima generazione di chip e che l'oggetto di impilamento cambierà dall'attuale SRAM alla DRAM. Questa mossa è ampiamente interpretata nel settore come il desiderio di Groq di aumentare significativamente la capacità di stoccaggio dei chip. Sebbene la SRAM sia estremamente veloce, la sua espansione di capacità è limitata; in confronto, sebbene la DRAM sia più lenta, è più adatta alla realizzazione di sistemi di storage su larga scala.
Utilizzando la tecnologia di stacking 3D, Groq può impilare più strati di DRAM in un unico chip a struttura verticale e utilizzare la tecnologia TSV (Through Silicon Via) per ottenere connessioni tra strati. Questo concetto di progettazione è molto simile al modo in cui viene implementata l'attuale memoria HBM a larghezza di banda elevata. Rispetto al tradizionale packaging DRAM, la soluzione di impilamento 3D può non solo aumentare significativamente la densità di storage per unità di superficie, ma anche migliorare l'efficienza energetica e ridurre i requisiti di spazio.
A giudicare dalle informazioni divulgate finora, il focus dell'aggiornamento del prodotto Groq si è ovviamente spostato sulla capacità di archiviazione, sperando comunque di mantenere il più possibile alcuni dei vantaggi dell'elevata larghezza di banda apportati dalla sua architettura SRAM. Poiché la portata dei modelli di intelligenza artificiale generativa continua ad aumentare, la necessità di memoria ad alta capacità e ad alta velocità continua a crescere, quindi si prevede che la nuova generazione di chip Groq sarà utilizzata più ampiamente.
Il rapporto menziona anche che Groq potrebbe non abbandonare completamente la SRAM in futuro, ma svilupperà le linee di prodotti DRAM e SRAM in parallelo per fornire soluzioni differenziate in base ai diversi scenari applicativi. Per NVIDIA, che sta costruendo stabilimenti e piattaforme AI, si prevede che anche questo tipo di chip di inferenza a capacità maggiore svolgerà un ruolo più importante in futuro.
Commenti