Riassunto:
Un nuovo studio condotto dagli sviluppatori della community mostra che le schede grafiche NVIDIA GeForce RTX serie 30 e RTX serie 40 nascondono un potenziale di elaborazione che supera di gran lunga le specifiche ufficiali. Sbloccando la configurazione firmware e hardware sottostante, gli sviluppatori sono riusciti a liberare parte della potenza di calcolo originariamente limitata, consentendo ad alcuni modelli di ottenere fino a quasi il doppio del miglioramento delle prestazioni negli scenari di intelligenza artificiale e calcolo a matrice.
Secondo i rapporti, il core utilizzato nelle schede grafiche con architettura "Ampere" della serie RTX 30 è essenzialmente lo stesso silicio delle GPU di livello professionale NVIDIA, ma alcune delle capacità di elaborazione dei prodotti di livello consumer sono limitate dalle politiche software e firmware. Una soluzione di sblocco sviluppata da un ricercatore può aumentare il tasso di emissione delle istruzioni delle operazioni da FP/BF16 FMA a FP32 ed è adatta per i core GA102, GA103, GA104 e GA106.
Nei test effettivi, le prestazioni di moltiplicazione della matrice BF16 di RTX 3090 Ti sono state migliorate fino a circa l'80%. Poiché la moltiplicazione delle matrici è un’operazione di base importante per l’esecuzione della maggior parte dei modelli di reti neurali, questo miglioramento ha un ovvio significato per il ragionamento dell’IA locale e le attività di apprendimento automatico.
Allo stesso tempo, anche un altro progetto di sblocco per l'architettura "Ada Lovelace" della serie RTX 40 ha raggiunto una svolta. Questa soluzione raggiunge circa il doppio del throughput di calcolo di FP16 e BF16 Tensor pur mantenendo la precisione di accumulo di FP32.
Prendendo come esempio l'RTX 4090, nel test di throughput Tensor FP16, la scheda grafica poteva originariamente raggiungere 165,6 TFLOPS, ma dopo aver abilitato lo sblocco, le prestazioni sono aumentate a 331,6 TFLOPS, quasi raddoppiando. Questo livello è vicino o addirittura raggiunge la potenza di calcolo di alcuni prodotti di livello professionale, come RTX 6000 Ada.
I ricercatori ritengono che ciò indichi che il core AD102 presenta limitazioni computazionali artificiali nei prodotti di fascia consumer, in particolare nelle aree chiave del calcolo dell'intelligenza artificiale come la moltiplicazione e l'accumulo di matrici. Queste limitazioni influenzeranno direttamente l’efficienza operativa delle applicazioni di intelligenza artificiale come i modelli linguistici di grandi dimensioni. Attualmente, è stato confermato che il progetto di sblocco supporta i modelli core AD102, AD103 e AD106.
Vale la pena notare che due soluzioni di sblocco per le serie RTX 30 e RTX 40 sono apparse quasi contemporaneamente, coprendo rispettivamente le due generazioni di architetture GPU Ampere e Ada Lovelace. Lo sviluppatore ha affermato che queste modifiche possono superare il meccanismo di verifica completo del driver NVIDIA e aggirare con successo le restrizioni FLR (Function Level Reset) PCIe. Pertanto, è ancora possibile utilizzare il driver originale ufficiale e il software di test relativo a CUDA può essere eseguito normalmente.
I dati dei test mostrano che entrambe le schede grafiche GA102 e AD102 mantengono lo stesso limite di consumo energetico prima e dopo lo sblocco. Ad esempio, con l'impostazione del consumo energetico totale della scheda di 450 W, il miglioramento delle prestazioni deriva interamente dalla potenza di calcolo rilasciata piuttosto che da ulteriori aumenti del consumo energetico o della frequenza.
Per gli utenti che utilizzano modelli linguistici locali di grandi dimensioni, intelligenza artificiale generativa e altre attività di calcolo ad alta intensità, la potenza di calcolo aggiuntiva rilasciata da Tensor può migliorare l'efficienza delle fasi di preelaborazione e inferenza delle parole tempestive, ottenendo così una maggiore velocità di trasmissione dei token e una velocità di risposta più rapida.
Tuttavia, lo sviluppatore ricorda inoltre che tali modifiche non sono ufficiali e potrebbero invalidare la garanzia della scheda grafica. Inoltre, i relativi moduli devono essere caricati prima durante la fase di avvio del sistema in modo che l'operazione di sblocco possa essere completata prima che il driver NVIDIA prenda il controllo della GPU. Pertanto, questo tipo di soluzione è più adatta agli utenti avanzati che possiedono determinate capacità tecniche e sono disposti a correre dei rischi.
Commenti