Riassunto:
Apple sta sviluppando una nuova applicazione chiamata Harbour che mira a trasformare i computer Mac dotati di chip Apple Silicon in server di inferenza AI privati. A differenza del tradizionale software di intelligenza artificiale locale, Harbour non solo può eseguire modelli linguistici di grandi dimensioni su un singolo Mac, ma può anche connettere più Mac tramite l’interfaccia Thunderbolt 5, integrando la memoria unificata di diversi dispositivi in un pool di risorse di elaborazione più ampio, eseguendo così modelli di intelligenza artificiale che un singolo computer non può ospitare in modo indipendente.
Secondo il rapporto MacRumors del 10 novembre, questa applicazione è attualmente in fase di test da Claris, una filiale di Apple, e non è stata ancora ufficialmente aperta al pubblico. Il prodotto più famoso di Claris è la piattaforma di database FileMaker per utenti aziendali, quindi Harbour potrebbe essere rivolto principalmente ad aziende, sviluppatori e utenti professionali che in futuro dovranno gestire dati sensibili.
Il posizionamento principale di Harbour è consentire agli utenti di implementare modelli di intelligenza artificiale aperti sui propri computer Mac senza fare affidamento su server cloud. Secondo l'introduzione del prodotto attualmente divulgata, tutti i processi di ragionamento basati sull'intelligenza artificiale possono essere completati sull'hardware locale e i documenti, le domande e gli altri dati inviati dagli utenti non devono essere caricati su servizi cloud esterni.
Ciò è di particolare importanza per gli utenti aziendali. Molte aziende desiderano utilizzare modelli linguistici di grandi dimensioni per analizzare documenti interni, scrivere codice o elaborare informazioni aziendali, ma non sono disposte a inviare dati dei clienti, informazioni finanziarie e segreti aziendali a fornitori di servizi di intelligenza artificiale di terze parti. Harbour tenta di semplificare il processo di distribuzione locale consentendo alle aziende di utilizzare direttamente il proprio hardware Mac per eseguire modelli di intelligenza artificiale.
La caratteristica più degna di nota di questa applicazione è che supporta la creazione di un cluster di elaborazione composto da più Mac tramite l'interfaccia Thunderbolt 5.
Apple ha aggiunto il supporto Remote Direct Memory Access (RDMA) basato su Thunderbolt 5 in macOS Tahoe 26.2. Con questa tecnologia, i Mac collegati tra loro possono accedere alle risorse di memoria fornite da altri dispositivi con un basso sovraccarico di comunicazione, creando le condizioni per l’inferenza dell’intelligenza artificiale distribuita.
Ad esempio, un Mac dotato di 64 GB di memoria unificata potrebbe non essere in grado di caricare in modo indipendente determinati modelli linguistici con parametri di grandi dimensioni. Tuttavia, se sono collegati più Mac con memoria sufficiente, Harbour può coordinare l'uso della memoria e della potenza di calcolo di questi dispositivi per eseguire modelli che altrimenti supererebbero la capacità di un singolo dispositivo.
Tuttavia, questo tipo di pooling della memoria non significa che la memoria di più Mac diventerà uno spazio di archiviazione completamente equivalente alla memoria unificata del computer locale a livello hardware. L'accesso tra dispositivi richiede ancora la trasmissione dei dati attraverso l'interfaccia Thunderbolt, la cui latenza e larghezza di banda sono diverse dall'architettura di memoria unificata all'interno del chip. Pertanto, le prestazioni effettive dipendono ancora da come il modello è distribuito sui diversi dispositivi e da come il sistema coordina le attività di elaborazione.
Oltre a eseguire modelli più grandi, i cluster multi-macchina possono anche aumentare le capacità di elaborazione simultanea. Per le aziende che devono fornire servizi di intelligenza artificiale a più dipendenti contemporaneamente, più Mac possono condividere richieste di inferenza senza dover fare affidamento interamente su un'unica workstation ad alta configurazione.
Harbor tenta inoltre di risolvere l'annoso e complesso problema di configurazione nella distribuzione dell'IA locale.
Attualmente, sebbene gli utenti possano eseguire modelli openweight su Mac tramite strumenti come LM Studio e Ollama, se desiderano connettere più computer in un cluster, in genere devono installare software aggiuntivo, configurare la rete, gestire il partizionamento del modello e risolvere problemi di comunicazione tra diversi dispositivi.
Secondo la descrizione della funzione divulgata, Harbour può identificare automaticamente i dispositivi Mac collegati tramite Thunderbolt 5 e assistere nella creazione di un cluster. Gli utenti devono solo connettere il dispositivo e avviare l'applicazione e il sistema completerà automaticamente la configurazione necessaria. Non è necessario utilizzare la riga di comando o avere esperienza professionale nella gestione del server.
In termini di gestione dei modelli, Harbour fornisce anche un'interfaccia operativa grafica, che consente agli utenti di sfogliare, scaricare e caricare direttamente i modelli a peso aperto. L'applicazione gestisce la gestione dei file del modello e la configurazione dell'esecuzione, consentendo agli utenti di concentrarsi sul lavoro effettivo.
Questo design equivale a combinare la facilità d'uso di LM Studio con le funzionalità di ragionamento distribuito su più macchine. Per gli utenti che non hanno familiarità con la complessa infrastruttura IA, se il prodotto finale sarà in grado di realizzare queste funzioni, la soglia per l’implementazione locale di modelli linguistici di grandi dimensioni sarà notevolmente abbassata.
Tuttavia, Harbour non è il primo progetto a provare a connettere più Mac per eseguire modelli di intelligenza artificiale. In precedenza è apparso uno strumento open source chiamato Exo, che può utilizzare più dispositivi per eseguire congiuntamente attività di inferenza AI. La differenza più importante tra Harbour sviluppato da Apple questa volta potrebbe essere la sua integrazione con le funzioni sottostanti di macOS e la fornitura di un'esperienza operativa più semplificata per i normali utenti aziendali.
Attualmente Harbour è ancora nella fase di test iniziale. In precedenza l'app era apparsa brevemente nell'App Store, ma la relativa pagina era stata successivamente rimossa. Apple deve ancora annunciare ufficialmente quando verrà rilasciato il prodotto o se alla fine sarà disponibile gratuitamente.
La pagina dell'applicazione di accesso anticipato di Harbour richiede il nome di un'azienda, suggerendo ulteriormente che Apple potrebbe lanciare il prodotto prima per il mercato aziendale, piuttosto che come strumento generale che tutti gli utenti Mac possono scaricare immediatamente.
Dal punto di vista hardware, questa applicazione può anche espandere ulteriormente gli scenari applicativi dei computer Mac con elevata capacità di memoria. L'architettura di memoria unificata di Apple consente a CPU e GPU di condividere lo stesso pool di memoria, quindi quando si eseguono modelli linguistici di grandi dimensioni, Mac Studio e Mac mini dotati di grandi quantità di memoria unificata sono diventati la scelta di alcuni sviluppatori per implementare l'intelligenza artificiale locale.
Se Harbour può consentire a più Mac di funzionare insieme in modo conveniente, le aziende possono aggiungere gradualmente apparecchiature in base alle esigenze senza dover acquistare ogni volta una workstation indipendente con una configurazione più elevata e più costosa.
Tuttavia, va notato che la funzione principale attualmente divulgata da Harbour è l'inferenza dell'intelligenza artificiale, non l'addestramento completo di modelli di grandi dimensioni. L'inferenza implica principalmente il caricamento di un modello addestrato e la generazione di risposte, mentre l'addestramento richiede molti calcoli aggiuntivi, sincronizzazione del gradiente e operazioni di aggiornamento dei parametri. Esistono evidenti differenze nei requisiti per l'hardware e i sistemi di comunicazione.
Questa tecnologia non significa che due Mac qualsiasi possano formare direttamente un cluster AI ad alte prestazioni. Secondo le presentazioni dei prodotti esistenti, la funzione di pooling della memoria su più macchine si basa su Thunderbolt 5, quindi solo i Mac dotati di interfacce compatibili possono utilizzare questo metodo di connessione. Per i dispositivi più vecchi che non supportano Thunderbolt 5, al momento non ci sono prove che Harbour fornisca le stesse funzionalità di clustering.
Se Harbour verrà finalmente lanciato ufficialmente, significherà che Apple inizierà a partecipare più direttamente al mercato locale del software per le infrastrutture IA. In passato, Apple forniva principalmente hardware e basi di sistema per strumenti di sviluppo AI di terze parti tramite chip Apple Silicon e macOS; mentre Harbour potrebbe consentire ad Apple di fornire una serie completa di soluzioni, dal download e implementazione dei modelli al funzionamento su più macchine.
Questo modello presenta un interesse pratico per le aziende che desiderano eseguire l'intelligenza artificiale all'interno della propria rete interna ed evitare che i dati sensibili lascino i dispositivi locali. Tuttavia, Apple o Claris devono ancora annunciare maggiori dettagli su quali modelli Harbour potrà supportare, quanti Mac possono formare un cluster, quali sono le effettive prestazioni di inferenza e se adotterà un modello di ricarica.
Commenti