Riassunto:
Qualcomm ha recentemente annunciato ulteriori dettagli sulle capacità di elaborazione AI di Snapdragon 8 Elite Gen 6 Pro, il più degno di nota dei quali è l'aggiornamento della nuova NPU Hexagon. Diversamente dal perseguire puramente la crescita della potenza di calcolo dell’intelligenza artificiale in passato, Qualcomm questa volta presta maggiore attenzione all’efficienza del funzionamento del modello di intelligenza artificiale, all’accesso alla memoria e al controllo del consumo energetico, sperando di consentire alla prossima generazione di telefoni cellulari di punta di eseguire modelli di intelligenza artificiale generativa su larga scala e agenti di intelligenza artificiale a livello locale.
Qualcomm ha affermato che man mano che l'intelligenza artificiale generativa diventa gradualmente una caratteristica importante degli smartphone, i modelli di intelligenza artificiale stessi continuano a diventare più grandi e complessi. Per i dispositivi mobili, il vero collo di bottiglia non è solo la potenza di calcolo, ma come elaborare in modo efficiente questi modelli con un consumo energetico e una larghezza di banda di memoria limitati. Pertanto, la NPU di Snapdragon 8 Elite Gen 6 Pro è stata riprogettata sotto molti aspetti.
Uno degli aggiornamenti importanti è il nuovo Element Accelerator. Questa unità di accelerazione hardware dedicata è ottimizzata per operazioni specifiche nell'elaborazione AI, che può migliorare l'efficienza della NPU durante l'esecuzione dei carichi di lavoro correlati. Rispetto al semplice aumento della potenza di calcolo di picco della NPU, questo design specializzato consente al chip di completare compiti specifici di intelligenza artificiale con meno risorse, riducendo così il consumo di energia nel processo di elaborazione.
La nuova generazione di Hexagon NPU guadagna anche una memoria condivisa più grande. Qualcomm ha affermato che la sua capacità di memoria condivisa di grandi dimensioni è aumentata del 50% rispetto alla generazione precedente. Questa parte della memoria condivisa ad alta velocità consente alla NPU di salvare più comodamente i dati richiesti durante l'esecuzione del modello AI, riducendo così la necessità di un accesso frequente alla memoria di sistema.
Questa modifica è particolarmente importante per i modelli linguistici di grandi dimensioni. Quando si esegue l’intelligenza artificiale generativa, i modelli devono elaborare costantemente grandi quantità di dati contestuali, alcuni dei quali devono essere persistenti durante l’inferenza. Se questi dati vengono trasferiti frequentemente avanti e indietro tra la NPU e la memoria di sistema, aumenterà la latenza e consumerà più energia. Aggiungendo memoria condivisa ad alta velocità che può essere utilizzata direttamente all'interno della NPU, Qualcomm spera di ridurre il più possibile la gestione dei dati.
Uno degli oggetti che ha beneficiato in modo significativo è KV Cache. Poiché gli utenti hanno conversazioni continue e sempre più lunghe con gli assistenti IA, i modelli devono salvare sempre più informazioni contestuali. Anche la dimensione della cache KV aumenterà di conseguenza e spesso diventa un carico di memoria importante quando si eseguono modelli di grandi dimensioni in locale. Una memoria condivisa più grande consente a dati più rilevanti di rimanere più vicini all’unità di calcolo, migliorando così l’efficienza dell’inferenza dell’IA.
Qualcomm ritiene che questa funzionalità sia particolarmente importante per gli agenti IA. Rispetto alla tradizionale intelligenza artificiale con domande e risposte, gli agenti AI devono completare più passaggi in modo continuo, come comprendere le esigenze degli utenti, formulare piani di esecuzione, richiamare diversi strumenti, analizzare i risultati restituiti e quindi procedere alla fase successiva. Durante tutto il processo, lo stato e il contesto del modello devono essere salvati continuamente, quindi ridurre l'accesso alla memoria può aiutare a ridurre la latenza e consentire un'esecuzione più fluida delle attività AI complesse.
I miglioramenti di Qualcomm alla NPU significano anche che quando i telefoni cellulari in futuro eseguiranno l'intelligenza artificiale, non dovranno necessariamente fare affidamento semplicemente sull'aumento della RAM di sistema per risolvere il problema. Man mano che i modelli di intelligenza artificiale locale diventano sempre più grandi, negli ultimi anni i produttori di telefoni cellulari hanno continuato ad aumentare la capacità di memoria dei prodotti di punta. Tuttavia, l’aumento della RAM non solo aumenterà i costi dell’hardware, ma aumenterà anche il consumo energetico e la pressione sulla fornitura di memoria. Qualcomm sta cercando di alleviare questo problema a livello architetturale inserendo più dati nella memoria condivisa ad alta velocità all'interno del chip.
Oltre alla NPU, anche la CPU e la GPU dello Snapdragon 8 Elite Gen 6 Pro sono state notevolmente aggiornate. Qualcomm ha precedentemente rivelato che la piattaforma di punta di nuova generazione avrà una frequenza della CPU fino a 5GHz. Se questa specifica verrà finalmente implementata secondo le informazioni attualmente annunciate, diventerà un nodo molto simbolico nei processori mobili, perché la frequenza più alta delle CPU degli smartphone entrerà ufficialmente nell'era dei 5GHz.
Qualcomm ha introdotto anche la tecnologia FlexCache per le CPU. L'idea centrale è anche quella di ridurre la dipendenza del processore dalla memoria di sistema esterna e di fare un uso più flessibile della cache interna del chip in modo che la CPU possa ottenere i dati in modo più efficiente. Per i moderni processori mobili, l’efficienza dell’accesso ai dati tra cache e memoria è diventata sempre più importante, quindi questo design può migliorare in una certa misura l’equilibrio tra prestazioni ed efficienza energetica.
Anche le GPU hanno subito cambiamenti architetturali significativi. Qualcomm descrive la nuova generazione di GPU Adreno come un aggiornamento architetturale molto importante che non solo migliora le prestazioni grafiche tradizionali, ma migliora anche ulteriormente la capacità della GPU di eseguire attività di intelligenza artificiale.
Uno dei cambiamenti importanti è l'aggiunta degli Adreno Matrix Cores, che sono core dedicati ai calcoli delle matrici. Le operazioni a matrice sono un tipo importante di calcolo nei moderni modelli di intelligenza artificiale, quindi i core a matrice dedicati possono aiutare le GPU a eseguire il lavoro relativo all'intelligenza artificiale in modo più efficiente.
Ciò significa che le future piattaforme di punta Snapdragon non consegneranno tutti i calcoli dell'intelligenza artificiale alla NPU. A seconda dei compiti specifici, CPU, GPU e NPU possono svolgere ciascuno diversi tipi di lavoro, formando così un sistema informatico eterogeneo più evidente. Per i giochi, la GPU può eseguire parte dei calcoli dell'IA completando al contempo il rendering grafico tradizionale; mentre per carichi di lavoro come l’intelligenza artificiale generativa, la NPU può svolgere un ruolo più importante.
Qualcomm ha inoltre lanciato la tecnologia Adreno Neural Fusion per rafforzare ulteriormente la combinazione tra intelligenza artificiale e rendering grafico. Questa tecnologia può utilizzare algoritmi AI per migliorare gli effetti visivi delle schermate di gioco e aiutare a ottenere effetti di elaborazione grafica più avanzati controllando al contempo il consumo energetico.
Questo design è particolarmente adatto per le tecnologie grafiche AI che si sono sviluppate rapidamente negli ultimi anni, come la super risoluzione e la generazione di frame. La risoluzione e la complessità delle immagini dei giochi per dispositivi mobili continuano ad aumentare. Se tutte le immagini si basassero su metodi tradizionali per il rendering nativo, il carico della GPU e il consumo energetico aumenterebbero rapidamente. Utilizzando l'intelligenza artificiale per generare parte delle informazioni sull'immagine è possibile ottenere una qualità dell'immagine finale più elevata a costi di rendering inferiori.
Dal punto di vista dell'architettura complessiva, l'aggiornamento AI di Snapdragon 8 Elite Gen 6 Pro non è semplicemente quello di rendere la NPU più veloce, ma di provare a riprogettare il metodo di elaborazione dei dati all'interno dell'intero SoC. La NPU ha una memoria condivisa più grande e acceleratori dedicati. La CPU riduce la dipendenza dalla memoria di sistema tramite FlexCache, mentre la GPU aggiunge funzionalità di calcolo a matrice specializzate e partecipa all'elaborazione grafica tramite la tecnologia AI.
Questo cambiamento riflette il fatto che i chip mobili stanno entrando in una nuova fase. In passato, quando si misuravano le prestazioni dei SoC di punta, le persone si concentravano principalmente sui punteggi di CPU e GPU, ma ora il carico di lavoro dell'intelligenza artificiale è diventato un fattore importante nel determinare l'effettiva esperienza del chip. Per la prossima generazione di telefoni cellulari, ciò che è veramente importante non è solo quanto elevata potrà essere la potenza di calcolo di picco del chip, ma anche se sarà in grado di eseguire modelli di intelligenza artificiale per un lungo periodo con un consumo energetico limitato e se sarà in grado di controllare efficacemente il movimento dei dati tra diverse unità di calcolo e memorie.
L'enfasi speciale di Qualcomm sulla memoria condivisa e sulla riduzione dell'accesso alla memoria mostra anche che la concorrenza dei chip nell'era dell'intelligenza artificiale si sta gradualmente spostando da una semplice "guerra per la potenza informatica" a una "guerra per l'efficienza del trasferimento dei dati". Per i modelli di intelligenza artificiale di grandi dimensioni, il calcolo stesso è importante, ma anche il modo in cui inviare tempestivamente i parametri del modello, il contesto e i risultati intermedi all’unità di calcolo corretta influirà direttamente sulle prestazioni finali e sul consumo energetico.
Pertanto, ciò che è veramente degno di nota nello Snapdragon 8 Elite Gen 6 Pro potrebbe non essere il miglioramento delle prestazioni IA individuali, ma il fatto che Qualcomm sta cercando di consentire ai telefoni cellulari di gestire attività IA sempre più complesse a livello locale attraverso una più stretta collaborazione tra NPU, CPU, GPU, cache e memoria condivisa.
Poiché gli assistenti AI, gli agenti AI, le applicazioni generative e le funzioni di gioco AI diventano gradualmente una parte importante dei telefoni cellulari di punta, questa idea architetturale potrebbe anche diventare una direzione importante per lo sviluppo di SoC mobili in futuro. Rispetto al continuo aumento della RAM di sistema, si prevede che la digestione dei modelli di intelligenza artificiale in continua espansione attraverso meccanismi di elaborazione dei dati e di memorizzazione nella cache più efficienti all’interno del chip consentirà di raggiungere un equilibrio più ragionevole tra prestazioni, consumo energetico e costi.
Se lo Snapdragon 8 Elite Gen 6 Pro riuscirà infine a raggiungere questi obiettivi tecnici dovrà essere verificato attraverso test completi dopo il lancio del dispositivo vero e proprio. Tuttavia, a giudicare dalle informazioni rilasciate finora, l'obiettivo dell'aggiornamento della piattaforma di punta di Qualcomm di questa generazione è stato molto chiaro: non solo rendere i calcoli dell'intelligenza artificiale più veloci, ma anche rendere i calcoli dell'intelligenza artificiale più efficienti e ridurre al minimo i costi di memoria e consumo energetico dei telefoni cellulari per eseguire l'intelligenza artificiale locale.
Commenti