Riassunto:
Meta ha rilasciato il modello di intelligenza artificiale a peso aperto Muse Spark Open il 15 ottobre e ha collaborato con Apple per ottimizzare la soluzione di esecuzione locale del modello per Mac Studio.
Meta ha affermato che il modello ha 816 miliardi di parametri totali, di cui circa 42 miliardi vengono effettivamente attivati per ciascuna inferenza, supporta una finestra di contesto fino a 1 milione di token ed è focalizzato sulla programmazione, sul ragionamento complesso e sulle attività dell'agente AI. Con due Mac Studio dotati di chip M5 Ultra e ciascuno dotato di 512 GB di memoria unificata, gli utenti possono eseguire questo modello su larga scala in un ambiente desktop senza dover fare affidamento interamente sui servizi AI cloud.
Questa collaborazione è piuttosto accattivante. In passato Apple e Meta avevano differenze significative nelle politiche sulla privacy, nelle regole della piattaforma e nell'ecologia delle applicazioni, ma questa volta entrambe le parti hanno promosso congiuntamente il funzionamento del modello openweight sull'hardware Apple. Il CEO di Meta Mark Zuckerberg ha ringraziato il CEO di Apple John Ternus per aver partecipato alla cooperazione. Ternus ha inoltre dichiarato pubblicamente che Muse Spark Open può essere eseguito in modo efficiente su dispositivi desktop, dimostrando il potenziale di Mac Studio nell'elaborazione IA locale.
Muse Spark Open è la versione a peso aperto della famiglia di modelli Meta Muse. A differenza dei modelli chiusi a cui è possibile accedere solo tramite servizi remoti, i modelli a peso aperto consentono agli utenti di ottenere i pesi del modello e distribuirli autonomamente, in base alle condizioni di licenza. Ciò offre a sviluppatori, ricercatori e imprese un maggiore controllo sull'ambiente operativo e la capacità di adattare i processi di inferenza alle proprie esigenze.
Il modello ha 816 miliardi di parametri totali, ma utilizza un progetto di attivazione sparsa, con solo circa 42 miliardi di parametri attivati per ciascuna inferenza. In altre parole, il modello non ha bisogno di coinvolgere tutti i parametri nel calcolo durante l'elaborazione di ciascun Token, ma chiama la parte corrispondente in base all'attività e al contenuto di input. Questa progettazione aiuta a ridurre la quantità di calcoli di inferenza, ma non significa che il modello possa essere eseguito utilizzando solo la memoria richiesta per 42 miliardi di parametri, poiché i pesi del modello completo devono ancora essere archiviati o gestiti in altro modo.
La finestra di contesto è un altro indicatore importante di Muse Spark Open. Questo modello supporta 1 milione di contesti Token e teoricamente può elaborare testi molto lunghi, basi di codice o più documenti in un'unica attività. Per le attività di ingegneria del software, ciò significa che i modelli hanno l'opportunità di fare riferimento simultaneamente a grandi quantità di codice sorgente e materiali correlati, riducendo il rischio di perdere informazioni critiche a causa di un contesto insufficiente. Tuttavia, la lunghezza effettiva del contesto disponibile, la velocità di elaborazione e l'impronta della memoria dipendono ancora dalla specifica configurazione di esecuzione e dal framework di inferenza.
Meta ha affermato che Muse Spark Open è stato ottimizzato per Mac Studio e può essere eseguito utilizzando l'architettura di memoria unificata dei chip Apple. I tradizionali sistemi grafici discreti richiedono in genere l'inserimento dei pesi dei modelli nella memoria video, mentre l'architettura di memoria unificata di Apple consente a CPU e GPU di condividere lo stesso pool di memoria. Su Mac Studio che supporta la memoria unificata ad alta capacità, la GPU può accedere fino a 512 GB di memoria unificata, fornendo una base hardware per l'esecuzione di grandi modelli open-weight.
Secondo Meta, due Mac Studio possono eseguire il modello in modo collaborativo attraverso il framework software corrispondente, in modo che il sistema disponga di circa 1 TB di memoria unificata. Il chip M5 Ultra equipaggiato su ciascun dispositivo ha una larghezza di banda di memoria fino a 1,2 TB/s. Meta ritiene che questa configurazione possa eseguire Muse Spark Open localmente utilizzando il meccanismo di attivazione sparsa per leggere solo alcuni dei parametri richiesti per ciascuna inferenza di token.
La chiave di questa soluzione non è semplicemente connettere due computer, ma lavorare insieme attraverso un'architettura di memoria unificata, partizionamento dei modelli e framework di inferenza, in modo che i modelli che originariamente richiedono un'infrastruttura informatica su larga scala possano essere eseguiti su dispositivi desktop. Il framework di machine learning MLX di Apple alimenta l’esecuzione del modello su Apple Silicon e Meta è ottimizzato di conseguenza per Muse Spark Open.
Tuttavia, è necessario distinguere tra i due concetti di modello in grado di caricare ed eseguire e modello in grado di funzionare ad alta velocità. Avere memoria sufficiente risolve solo uno dei principali ostacoli all'implementazione di modelli molto grandi. Lo sharding del modello, la comunicazione tra dispositivi, la larghezza di banda della memoria, l'utilizzo delle unità di calcolo e la lunghezza del contesto influiscono tutti sulla velocità di inferenza finale. Le informazioni rilasciate da Meta questa volta hanno enfatizzato la eseguibilità e la configurazione hardware del modello, ma non hanno fornito dati di test benchmark completi sufficienti per giudicare pienamente le prestazioni effettive.
Anche il prezzo è un limite importante di questo piano. Apple non ha ancora lanciato ufficialmente il Mac Studio dotato di 512GB di memoria unificata, la cui disponibilità è prevista per la fine di ottobre. I modelli esistenti di Mac Studio di fascia alta con 256 GB di memoria unificata costano già oltre $ 10.000, quindi un sistema composto da due versioni da 512 GB dovrebbe essere un investimento costoso. Per i singoli utenti ordinari, questa non è ovviamente una soluzione di intelligenza artificiale locale a basso costo, ma per i team di sviluppo e gli istituti di ricerca che devono eseguire modelli di grandi dimensioni e valorizzare il controllo dei dati, fornisce un’alternativa ai server tradizionali.
Meta ha affermato che Muse Spark Open non solo può essere eseguito su Mac Studio, ma può anche essere chiamato tramite più piattaforme AI cloud, tra cui Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter e Together AI. Per gli utenti che desiderano scaricare autonomamente i pesi dei modelli, i file pertinenti possono essere ottenuti tramite Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face e Microsoft Foundry Models.
Questo modello utilizza una licenza che consente un uso commerciale limitato, anziché una licenza open source generale senza restrizioni. Pertanto, prima di utilizzarlo in prodotti commerciali, gli sviluppatori e le aziende devono leggere attentamente i termini di licenza specifici e verificare se il metodo di distribuzione, la scala utente e gli scenari applicativi soddisfano i requisiti.
Questa cooperazione riflette anche la nuova direzione di sviluppo emergente dell'informatica basata sull'intelligenza artificiale locale. In passato, l'esecuzione di modelli di grandi dimensioni con centinaia di miliardi di parametri richiedeva solitamente più GPU professionali, grandi quantità di memoria video e cluster di server complessi. Apple sta cercando di utilizzare un'architettura di memoria unificata e chip ad alta larghezza di banda per consentire ai computer desktop di fascia alta di ospitare modelli su larga scala. Sebbene questo approccio sia ancora limitato in termini di costi e prestazioni di inferenza, apre nuove possibilità per gli utenti che non desiderano inviare tutti i propri dati nel cloud.
Per Apple, Muse Spark Open aiuta anche a dimostrare il posizionamento di Mac Studio nel campo dello sviluppo dell'intelligenza artificiale. Poiché sempre più sviluppatori tentano di eseguire modelli localmente, la capacità di memoria e la larghezza di banda unificate sono gradualmente diventate indicatori importanti per misurare le capacità di intelligenza artificiale dei computer di fascia alta. Apple spera che attraverso l'ecosistema M5 Ultra e MLX, il Mac non solo sarà adatto per l'editing video, la progettazione 3D e la produzione musicale, ma diventerà anche una piattaforma locale di sviluppo e ragionamento dell'intelligenza artificiale.
Per Meta, il rilascio di un modello a peso aperto e il supporto dell'esecuzione su hardware Apple contribuiranno ad espandere la copertura degli sviluppatori della serie Muse. Gli utenti possono scegliere l'API cloud o la distribuzione locale in base alle proprie esigenze e Meta può anche attrarre più sviluppatori per creare applicazioni e strumenti attorno al modello.
Nel complesso, l'importanza di Muse Spark Open non risiede solo nel numero di 816 miliardi di parametri, ma anche nel fatto che dimostra la possibilità di combinare modelli openweight su larga scala con hardware desktop di fascia alta. Due Mac Studio dotati di memoria unificata da 512 GB possono fornire circa 1 TB di spazio di memoria per il modello, rendendolo adatto all'esecuzione locale, ma l'esperienza effettiva dipende ancora dalla velocità di inferenza, dal costo dell'hardware e dall'ottimizzazione del software.
Questa cooperazione non è sufficiente per dimostrare che i normali personal computer possono facilmente eseguire modelli su larga scala, ma mostra che l'hardware di intelligenza artificiale locale si sta sviluppando verso una maggiore capacità di memoria e capacità di calcolo collaborativo più forti. Poiché l’architettura dei modelli e il software di inferenza continuano a essere ottimizzati, alcuni modelli di intelligenza artificiale che in passato potevano essere implementati solo in grandi data center potrebbero gradualmente entrare in studi, laboratori e ambienti desktop per sviluppatori in futuro.
Commenti