Riassunto:
La rapida espansione del settore globale dell'intelligenza artificiale sta causando gravi carenze nella fornitura di chip di memoria, in particolare l'aumento della domanda di memorie a larghezza di banda elevata (HBM), che ha messo sotto pressione la tradizionale capacità di produzione di DRAM per riallocarla. In questo contesto, l’ex CEO di Intel Pat Gelsinger sta scommettendo su un nuovo tipo di tecnologia di memoria, sperando di risolvere i problemi a lungo termine di capacità, larghezza di banda e consumo energetico affrontati dai chip AI cambiando il modo in cui sono progettate le celle di memoria tradizionali.
La tecnologia si chiama Z2RAM ed è stata sviluppata dalla start-up statunitense Nagare Labs. L'azienda è stata fondata dai ricercatori del Georgia Institute of Technology Suman Datta e Shimeng Yu. La sua base di ricerca deriva da anni di esplorazione di nuove tecnologie di archiviazione come la memoria ferroelettrica e la memoria resistiva ad accesso casuale.
Playground Global, l'istituto di investimento in cui Kissinger è attualmente coinvolto, ha guidato il round di finanziamento iniziale da 5 milioni di dollari di Nagare Labs. Ha mostrato un notevole interesse per questa tecnologia e ritiene che Z2RAM abbia l'opportunità di combinare i vantaggi di SRAM, DRAM e memoria flash per creare un nuovo tipo di memoria ad alta densità, alta velocità e scalabilità.
Kissinger ha sottolineato che negli ultimi tre decenni, le principali tecnologie di storage ampiamente commercializzate non hanno subito cambiamenti fondamentali. La memoria flash SRAM, DRAM e NAND costituisce ancora la base di archiviazione delle moderne apparecchiature informatiche. Tuttavia, poiché le esigenze informatiche dell’intelligenza artificiale crescono rapidamente, i limiti delle architetture di storage tradizionali diventano sempre più evidenti.
La svolta più importante di questa tecnologia è la riprogettazione del modo in cui la cella di memoria immagazzina la carica.
La DRAM tradizionale utilizza solitamente una struttura 1T1C, ovvero un transistor è accoppiato a un condensatore e il condensatore immagazzina carica per rappresentare i dati. Poiché la carica nel condensatore si disperde nel tempo, la DRAM deve aggiornare periodicamente i dati e il processo di lettura è distruttivo e richiede la riscrittura dopo la lettura.
La SRAM utilizza un design diverso, che in genere richiede sei transistor per formare una cella di memoria. Non necessita di aggiornamento periodico come la DRAM e la velocità di lettura è molto elevata, quindi è ampiamente utilizzata come cache all'interno del processore. Tuttavia, il prezzo è che l’area dell’unità di archiviazione è più grande e il costo di produzione è elevato, rendendo difficile ottenere un’espansione su larga scala e ad alta densità come DRAM e NAND.
Z2RAM cerca di trovare un nuovo equilibrio tra i due. Utilizza due transistor per formare un'unità di memoria, invece di utilizzare un condensatore separato nella DRAM tradizionale. Utilizza invece la capacità di gate del secondo transistor per immagazzinare la carica.
Suman Datta, co-fondatore di Nagare Labs, ha spiegato che questo design consente una lettura non distruttiva. In altre parole, durante la lettura dei dati, non è necessario consumare la carica di storage e quindi eseguire un'operazione di riscrittura come la DRAM tradizionale, quindi si prevede che riduca la latenza di accesso e migliori l'efficienza complessiva dello storage.
In termini di densità, Nagare Labs prevede che la densità di archiviazione per unità di area della Z2RAM di prima generazione possa essere più di cinque volte quella della SRAM tradizionale. Ad esempio, se una SRAM della stessa area può fornire una capacità di 64 MB, utilizzando Z2RAM la capacità può teoricamente essere aumentata a circa 320 MB mantenendo un livello di larghezza di banda vicino a quello della SRAM.
Ciò è particolarmente importante per i processori di intelligenza artificiale. Attualmente, gli acceleratori AI si affidano sempre più alla HBM per fornire un'enorme larghezza di banda di memoria, ma la HBM richiede una complessa tecnologia di packaging impilabile, costi di produzione elevati e limitazioni nel consumo energetico e nell'area di packaging.
D'altra parte, alcuni processori utilizzati specificamente per l'inferenza dell'intelligenza artificiale utilizzano una grande quantità di SRAM su chip per ridurre al minimo il ritardo del processore nell'accesso alla memoria esterna. Tuttavia, la densità della SRAM è limitata, costringendo il chip a effettuare un compromesso tra capacità e unità di calcolo all'interno di un'area limitata.
Ad esempio, NVIDIA Groq 3 LPU utilizza una grande quantità di SRAM come risorse di archiviazione su chip e la capacità SRAM di un singolo chip è di circa 500 MB. Secondo la visione tecnica di Nagare Labs, se Z2RAM può raggiungere la densità cinque volte prevista, la stessa area può ospitare molte volte i dati della SRAM tradizionale. Ciò potrebbe ridurre il numero di processori necessari per i grandi sistemi di inferenza IA e ridurre la pressione sui dati da trasferire tra diversi chip.
Un'altra caratteristica importante di Z2RAM è l'uso di materiali semiconduttori di ossido, che sono progettati per essere integrati direttamente sul chip logico di calcolo attraverso la tecnologia di bonding ibrido 3D.
Ciò significa che non deve fare affidamento interamente sull'architettura tradizionale che separa il chip di memoria dal processore. Ha invece la possibilità di impilare strati di storage ad alta densità direttamente vicino al chip di elaborazione per ridurre la distanza di trasmissione dei dati. La sua idea progettuale è in qualche modo simile all'impilamento di cache SRAM aggiuntiva di AMD sul processore tramite la tecnologia 3D V-Cache, ma Z2RAM spera di fornire una maggiore densità di archiviazione.
In termini di tecnologia di produzione, Nagare Labs prevede inoltre di attingere all'idea di impilamento verticale della memoria flash NAND per creare più livelli di archiviazione strato dopo strato. A differenza di HBM e LPDDR, che si affidano a complessi pacchetti di memoria ad alta densità, l'azienda spera di ottenere una produzione multistrato relativamente semplice attraverso semiconduttori di ossido e processi back-end. Se questa soluzione avrà successo, avrà l’opportunità di ridurre i costi di produzione dello storage su chip di grande capacità.
Tuttavia, Z2RAM è ancora in una fase iniziale di sviluppo. Nagare Labs ha appena completato un round di finanziamento iniziale da 5 milioni di dollari. I risultati in questa fase sono principalmente prototipi di laboratorio e non sono ancora entrati nella fase matura di produzione dei chip.
L'azienda è alla ricerca di partner favolosi in grado di fornire capacità di ricerca e sviluppo e di produzione, nella speranza di far avanzare la tecnologia dall'ambiente della camera bianca di un laboratorio universitario alla verifica della produzione su larga scala. Secondo il piano attuale, Nagare Labs spera di fornire campioni funzionanti di chip di memoria Z2RAM entro i prossimi quattro anni e di impegnarsi a raggiungere le spedizioni commerciali entro i prossimi dieci anni.
Allo stesso tempo, questa tecnologia deve affrontare anche numerose sfide ingegneristiche.
Il primo è il problema dell'integrazione con i chip informatici. Z2RAM deve essere collegata al processore o all'acceleratore AI tramite bonding ibrido 3D, ma l'industria non ha ancora formato uno standard di interfaccia unificato adatto a questo nuovo tipo di memoria. I ricercatori della Georgia Tech hanno affermato che senza standard industriali maturi, Nagare Labs potrebbe dover sviluppare una propria tecnologia di interfaccia, che aumenterà la complessità della progettazione e della commercializzazione del prodotto.
Il secondo è l'affidabilità dei materiali. I semiconduttori di ossido presentano alcuni vantaggi in termini di stabilità termica e resistenza alle radiazioni, ma all'interno del materiale possono verificarsi difetti come i posti vacanti atomici. Questi difetti microscopici possono influenzare la tensione di soglia del transistor e anche piccole variazioni di tensione possono causare errori nei dati nella cella di memoria.
Per i prodotti di memoria, l'affidabilità è spesso più importante delle massime prestazioni in laboratorio. Qualsiasi nuova tecnologia di storage deve essere sottoposta a conservazione dei dati a lungo termine, durata in lettura e scrittura, variazioni di temperatura e verifica della coerenza della produzione prima di poter realmente entrare nel mercato commerciale.
Il co-fondatore di Nagare Labs ha anche ammesso che nella storia ci sono state numerose startup nel campo della memoria che hanno tentato di sfidare la tradizionale tecnologia DRAM e memoria flash, ma alla fine hanno fallito. Anche se una tecnologia funziona bene in laboratorio, ciò non significa che supererà i rigorosi standard di qualità dell'industria dei semiconduttori ed entrerà nella catena di fornitura dei sistemi informatici esistenti.
Il motivo per cui Kissinger è ottimista riguardo alla Z2RAM è strettamente legato al collo di bottiglia della memoria che l'attuale settore dell'intelligenza artificiale deve affrontare. L'addestramento e l'inferenza di modelli linguistici di grandi dimensioni non solo richiedono una potente potenza di calcolo, ma richiedono anche l'alimentazione continua di grandi quantità di dati al processore. Quando la velocità di elaborazione dell'unità di calcolo supera di gran lunga la capacità di fornitura dati della memoria, il processore deve attendere i dati, con il risultato che risorse di calcolo costose non possono essere completamente utilizzate.
Attualmente, HBM è la soluzione principale per risolvere il problema della larghezza di banda della memoria degli acceleratori AI, ma non è priva di difetti. Gelsinger ritiene che se Z2RAM riuscirà a raggiungere le prestazioni previste, avrà l'opportunità di fornire soluzioni diverse da quelle HBM esistenti in termini di densità di archiviazione, velocità e consumo energetico.
Vale la pena notare che Z2RAM non è una tecnologia in grado di risolvere la carenza globale di DRAM e HBM nel breve termine. Anche se i campioni tecnici dovessero diventare disponibili entro i prossimi quattro anni, la commercializzazione su larga scala è ancora molto lontana. L’attuale scarsa offerta di memoria globale è causata principalmente dall’aumento della domanda da parte dei data center AI e dal fatto che Samsung, SK Hynix e Micron stanno spostando una maggiore capacità produttiva verso HBM e prodotti di memoria per server.
Ars Technica
+2
Se Z2RAM potrà finalmente raggiungere la produzione di massa, il suo significato più importante potrebbe risiedere nel cambiare l'architettura di storage dei futuri processori, piuttosto che semplicemente nell'aumentare la fornitura di chip di memoria tradizionali. Si prevede che consentirà ai processori IA di ottenere uno spazio di archiviazione più ampio ad alta velocità all’interno del chip, di ridurre la dipendenza dalla larghezza di banda della memoria esterna e di fornire nuove opzioni di progettazione per la prossima generazione di acceleratori IA.
Dalla memoria SRAM alla DRAM fino alla memoria flash NAND, l'industria dei semiconduttori ha formato un sistema tecnologico di storage relativamente maturo. Z2RAM tenta di rompere il compromesso di lunga data tra prestazioni e densità tra queste tecnologie. Tuttavia, si tratta ancora di un concetto tecnico in fase di laboratorio. La possibilità di trasformarlo da risultato della ricerca scientifica in un prodotto commerciale competitivo richiederà tempo e test sul processo di produzione.
Commenti