Riassunto:
Apple’s latest A20 Pro chip is demonstrating its true potential in the field of on-device artificial intelligence. Un ultimo test reale mostra che l’iPhone 18 Pro dotato di A20 Pro può eseguire localmente un grande modello di intelligenza artificiale con 27 miliardi di parametri e la sua velocità di generazione è doppia rispetto a quella della generazione precedente di iPhone 17 Pro, innescando una nuova ondata di attenzione da parte del mondo esterno sulle capacità di intelligenza artificiale locale dei telefoni cellulari.
Questo test è stato condotto dallo sviluppatore Adrien Grondin. Nella dimostrazione, l'iPhone 18 Pro utilizzava un modello da 27 miliardi di parametri chiamato Bonsai 27B. Senza fare affidamento su server cloud, il dispositivo completa le attività di inferenza direttamente localmente e mostra una velocità di risposta che supera di gran lunga quella della precedente generazione di prodotti.
Il fattore chiave che guida questo salto di prestazioni deriva dalla nuova architettura hardware di intelligenza artificiale dell'A20 Pro. A differenza dei precedenti chip Apple che erano dotati solo di un singolo set di motori di rete neurale a 16 core, l’A20 Pro adotta per la prima volta un design a doppio motore di rete neurale a 16 core, con un totale di 32 core di elaborazione della rete neurale. Questa è anche la prima volta nella storia dei chip sviluppati internamente da Apple che adottano un’architettura a doppio motore di rete neurale.
Oltre all'aggiornamento dell'unità di rete neurale, anche il sistema di memoria svolge un ruolo importante nel miglioramento delle prestazioni. Sia iPhone 18 Pro che iPhone 18 Pro Max sono dotati di memoria LPDDR5X da 12 GB e 96 bit, che offre una velocità di trasmissione più elevata e una maggiore capacità di throughput dei dati rispetto ai prodotti della generazione precedente.
I risultati dei test mostrano che quando si eseguono modelli linguistici su larga scala, il nuovo motore di rete neurale e il sistema di memoria più veloce formano una sinergia, offrendo ad A20 Pro un chiaro vantaggio nella velocità di generazione dei token. Per le applicazioni IA che si basano sul ragionamento locale, ciò significa tempi di risposta più rapidi e un’esperienza interattiva più fluida.
Tuttavia, questa svolta non significa che gli smartphone possano già gestire tutti i modelli di grandi dimensioni senza limitazioni.
I ricercatori hanno sottolineato che, sebbene l'A20 Pro abbia spinto con successo l'iPhone nell'era del modello da 27 miliardi di parametri, l'intelligenza artificiale locale è ancora limitata dalla capacità di memoria. Ad esempio, anche dopo aver utilizzato la compressione di quantizzazione a 2 bit, il modello Bonsai 2 appena rilasciato è ancora troppo grande e non può essere caricato completamente nello spazio di memoria locale dell'iPhone 18 Pro, con conseguente degrado delle prestazioni.
Ciò riflette anche un problema pratico nell'attuale sviluppo dell'intelligenza artificiale dei telefoni cellulari: la potenza di calcolo sta crescendo rapidamente, ma esiste ancora la contraddizione tra capacità di memoria e dimensioni del modello. Anche se le prestazioni del chip continuano a migliorare, se il modello stesso non può essere caricato completamente nella memoria del dispositivo, ciò influenzerà comunque l'effettiva efficienza operativa.
Al contrario, il Bonsai di prima generazione è un modello di quantizzazione a 1 bit e presenta requisiti di risorse significativamente inferiori. Gli sviluppatori affermano che questo tipo di modello può funzionare anche su dispositivi con solo 4 GB di memoria e può raggiungere prestazioni più elevate su piattaforme di memoria da 8 GB o 12 GB.
Dal punto di vista delle specifiche hardware, l'A20 Pro non solo è dotato di doppi motori di rete neurale, ma ha anche una larghezza di banda di memoria unificata fino a 115,2 GB/s. Alcuni test mostrano che nei carichi di lavoro ottimizzati per le reti neurali, la capacità di throughput di picco del motore della rete neurale supera addirittura quella della GPU a 7 core all'interno del chip.
Questo risultato riflette il fatto che Apple sta accelerando la sua strategia di "intelligenza artificiale lato dispositivo". Unlike relying on cloud data centers, local AI can bring faster response times, better privacy protection and offline availability, which are the development directions that Apple has emphasized in recent years.
As generative artificial intelligence gradually becomes an important feature of smartphones, competition among mobile phone manufacturers is also shifting from imaging performance and processor benchmarks to local AI reasoning capabilities. The performance of the A20 Pro means that smartphones have begun to have the ability to run billions or even tens of billions of parameter models.
Tuttavia, poiché le dimensioni dei modelli continuano a crescere, la capacità di memoria potrebbe ancora diventare un importante fattore limitante per lo sviluppo futuro. Analysts believe that if Apple further improves the memory configuration of iPhones in the future, the device's ability to run larger-scale AI models is expected to continue to improve, and the role of mobile phones as independent AI computing platforms will become increasingly important.
Commenti