Riassunto:
Framework ha aperto ufficialmente i preordini per il nuovo Framework Desktop dotato di processore AMD Ryzen AI Max+ PRO 495 il 30 settembre. Sebbene questo mini computer desktop per l'elaborazione IA locale abbia un prezzo estremamente alto, con la versione fai-da-te che parte da 6.799 dollari, il primo lotto di prodotti è stato rapidamente esaurito poche ore dopo la sua messa online, dimostrando che esiste una forte domanda di memoria unificata di grande capacità per eseguire localmente modelli IA di grandi dimensioni.
La configurazione di punta lanciata da Framework utilizza AMD Ryzen AI Max+ PRO 495, un processore di nuova generazione con nome in codice "Gorgon Halo", ed è dotata di memoria unificata LPDDR5X-8533 da 192 GB. Rispetto alla configurazione massima di 128 GB del precedente Framework Desktop, la nuova versione aggiunge 64 GB di memoria alla volta, consentendo di caricare direttamente modelli IA locali su larga scala su una singola macchina senza la necessità di inserire frequentemente alcuni pesi di modello negli SSD o formare un cluster attraverso più computer.
Ryzen AI Max+ PRO 495 utilizza una CPU Zen 5 a 16 core con una frequenza di accelerazione massima di 5,2 GHz, dotata di cache di livello 3 da 64 MB, un TDP predefinito di 55 W, un cTDP fino a 120 W e una GPU Radeon 8065S integrata. La CPU e la GPU condividono la memoria unificata, che è uno dei motivi importanti per cui questo prodotto è particolarmente adatto per l'inferenza AI locale. Framework ha affermato che 192 GB di memoria consentono agli utenti di eseguire modelli di grandi dimensioni che in precedenza erano difficili da caricare completamente in memoria sui normali PC consumer.
Rispetto al precedente Ryzen AI Max+ 395, il PRO 495 non solo aumenta la capacità di memoria, ma ha anche frequenze di clock di CPU e GPU più elevate e aumenta la velocità di memoria unificata a 8533 MT/s. Framework ha affermato che questi cambiamenti possono migliorare ulteriormente la velocità di inferenza dell’IA.
La versione da 192 GB fornita da Framework questa volta include la DIY Edition e la versione host completa del sistema preinstallato. L'edizione DIY parte da $ 6.799 e include 192 GB di memoria unificata ma nessuno spazio di archiviazione preinstallato. Per gli utenti che dispongono già di un SSD o desiderano scegliere la propria soluzione di archiviazione, questa configurazione può ridurre alcuni costi.
Se scegli la versione completa preinstallata, il prezzo raggiunge $ 7.449. Questa versione aggiunge un SSD NVMe PCIe 4.0 da 2 TB e viene preinstallata con il sistema operativo Fedora 44 KDE Plasma Edition. In altre parole, aggiungendo solo un SSD da 2 TB e un sistema preinstallato, il prezzo dell’intera macchina è superiore di 650 dollari rispetto alla versione fai-da-te.
Per fare un confronto, l'attuale Framework Desktop con Ryzen AI Max+ 395 e 128 GB di memoria ha un prezzo di circa 3.449 dollari. La nuova versione da 192 GB ha il 50% di memoria in più e un processore aggiornato, ma la versione fai da te costa quasi il doppio della versione originale da 128 GB.
Un prezzo così elevato è direttamente correlato alla recente continua tensione nel mercato delle memorie. Framework ha affermato più volte in passato che il costo della memoria LPDDR5X ad alta capacità sta aumentando in modo significativo, in particolare la scarsità di particelle di memoria ad alta densità da 128 Gbit, che ha un impatto molto evidente sul costo dei dispositivi di memoria unificati di grande capacità. Il prezzo di questa versione da 192GB è quindi molto più alto rispetto alla precedente configurazione regolare di Framework Desktop.
In effetti, Framework ha dichiarato prima che il prodotto fosse ufficialmente aperto per il preordine che, a causa dell'inventario di memoria limitato, inizialmente sarebbe stato in grado di fornire solo un lotto di sistemi Gorgon Halo da 192 GB. Dopo l'inizio dei preordini il 30 settembre, il primo lotto di prodotti è andato esaurito rapidamente. Framework in seguito ha affermato che la società era riuscita a assicurarsi un lotto aggiuntivo di memoria, quindi ha aperto un secondo lotto limitato di preordini.
La spedizione del secondo lotto di prodotti è prevista a partire da novembre. Tuttavia, Framework ricorda anche ai consumatori che il prezzo e il tempo di commercializzazione dei prossimi lotti di prodotti dipenderanno dal costo e dall'offerta dei fornitori di memoria. L'azienda ha anche chiarito che il prezzo del Framework Desktop potrebbe continuare a salire nei prossimi mesi.
Per gli utenti IA locali, la memoria unificata da 192 GB è la più grande attrazione di questa macchina. I PC tradizionali di solito si affidano alla memoria della scheda grafica indipendente per eseguire modelli IA di grandi dimensioni, mentre la capacità di memoria delle GPU di fascia alta è solitamente limitata da una singola scheda. Se il modello non può essere inserito completamente nella memoria video, per lo scambio di dati è necessario utilizzare la memoria di sistema o anche l'SSD e le prestazioni potrebbero essere notevolmente influenzate.
Framework Desktop adotta un'architettura in cui CPU, GPU e elaborazione AI condividono una memoria unificata, che può allocare direttamente una grande quantità di memoria alla GPU. La capacità di 192 GB significa che gli utenti possono eseguire modelli locali molto grandi in un piccolo computer di circa 4,5 litri. Framework ha affermato che i 64 GB aggiuntivi di memoria possono non solo caricare un singolo modello più grande, ma anche salvare due modelli più piccoli in memoria contemporaneamente, consentendo a un modello più veloce di essere responsabile delle interazioni principali e lasciando che un altro modello più capace ma più lento si occupi di problemi complessi.
Il framework sottolinea inoltre specificamente che questa configurazione è interessante per gli utenti che desiderano eseguire l'intelligenza artificiale in modo completamente locale. Il modello può rimanere nel dispositivo locale senza caricare i dati nel cloud. Per scenari che coinvolgono privacy, codice sorgente o dati aziendali sensibili, il funzionamento locale può ridurre la dipendenza dai servizi AI cloud.
Tuttavia, la memoria unificata da 192 GB non significa che tutti i 300 miliardi di modelli a livello di parametri possano funzionare ad alta velocità. La dimensione del modello, il metodo di quantizzazione, la lunghezza del contesto e l'effettivo ingombro della memoria influiscono tutti sulle prestazioni finali. La memoria di grande capacità risolve il problema di "può essere installato il modello" e la velocità di inferenza del modello dipende anche dalla potenza di calcolo della GPU, dalla larghezza di banda della memoria e dall'ottimizzazione del software.
Il volume complessivo di Framework Desktop è di soli 4,5 litri circa, quindi questa macchina è più vicina a una workstation AI locale molto piccola che a un normale mini PC nel senso tradizionale. Oltre all'informatica basata sull'intelligenza artificiale, può anche svolgere attività come giochi, sviluppo e lavoro su desktop Linux e Framework continua a enfatizzare il suo concetto di design modulare.
Attualmente, Framework Desktop fornisce già diverse configurazioni di memoria come 32 GB, 64 GB e 128 GB, e la versione da 192 GB è diventata il modello di punta dell'intera linea di prodotti per gli utenti IA locali. Mentre AMD continua a migliorare la propria capacità di memoria unificata e le capacità di calcolo dell'intelligenza artificiale, questa architettura "CPU+GPU+memoria condivisa ad alta capacità" sta diventando anche un percorso importante per l'esecuzione locale di modelli linguistici di grandi dimensioni.
Il primo lotto di Framework Desktop da 192 GB è andato esaurito rapidamente nonostante il prezzo iniziale di 6.799 dollari, indicando che alcuni sviluppatori di intelligenza artificiale e appassionati di modelli locali hanno una domanda molto forte per dispositivi di memoria unificata di grande capacità. Tuttavia, il primo lotto di prodotti è di per sé limitato dalla fornitura di memoria, quindi il tutto esaurito non rappresenta direttamente la portata generale della domanda nell'intero mercato. La vera chiave per determinare se questo prodotto potrà essere ulteriormente reso popolare rimangono i prezzi futuri della memoria, l’offerta e la domanda di hardware locale per modelli di intelligenza artificiale su larga scala.
Commenti