Riassunto:
NVIDIA ha recentemente lanciato ufficialmente la versione beta del Personal AI Router (PAIR) durante l'IFA 2026. Si tratta di un software open source gratuito. Non è un router hardware di rete nel senso tradizionale, ma un "router virtuale" per l'inferenza dell'intelligenza artificiale locale. Può rilevare automaticamente computer compatibili nella stessa LAN, organizzare la potenza di calcolo inattiva di più dispositivi e fornire risorse di inferenza più sufficienti per agenti AI e attività di modelli locali di grandi dimensioni.
Nvidia ha affermato che PAIR può adattarsi dinamicamente allo stato del dispositivo. Quando un nuovo computer si unisce alla rete o un dispositivo esistente se ne va, il sistema può adattarsi automaticamente; il processo di instradamento prenderà in considerazione in modo completo fattori quali la disponibilità del nodo, lo stato del motore di inferenza, l'eventuale esistenza del modello e l'utilizzo della GPU, quindi selezionerà la macchina appropriata per gestire la richiesta. L'intero processo non richiede la costruzione di un cluster di server nel senso tradizionale, né richiede cavi dedicati, rack o configurazioni complesse di cluster.
In termini di sicurezza, i dispositivi che si uniscono al cluster PAIR devono prima completare l'accoppiamento tramite un codice di accoppiamento a sei cifre, quindi viene stabilito un canale di comunicazione crittografato tra i dispositivi tramite TLS bidirezionale (mTLS) per garantire che la connessione tra i dispositivi partecipanti sia protetta. NVIDIA ha sottolineato che uno degli obiettivi di progettazione di PAIR è mantenere il flusso di lavoro dell'IA locale nella rete dell'utente e non è necessario inviare parole, file e contesto dell'agente AI al servizio di inferenza cloud.
Attualmente, la versione beta di PAIR supporta Windows, macOS e Linux. In termini di hardware, la compatibilità include la serie NVIDIA GeForce RTX 20 e i modelli più recenti, GPU per workstation NVIDIA RTX PRO basate sull'architettura Turing e architettura più recente, NVIDIA DGX Spark e dispositivi Mac dotati di chip Apple M4 o più recenti. I requisiti di sistema indicati da NVIDIA includono anche almeno 8 GB di memoria e si consiglia di preparare 20 GB o più di spazio su disco; il software in sé non richiede una connessione Internet per funzionare, ma è comunque necessaria una connessione Internet quando si scarica il modello.
La dimostrazione fornita da NVIDIA mostra che PAIR è particolarmente adatto per flussi di lavoro multi-agente. Ad esempio, gli utenti possono chiedere a Hermes Agent di sviluppare un piano di "reset domenicale" per sistemare la casella di posta disordinata e determinare quali e-mail devono essere elaborate immediatamente, quali possono essere elaborate in seguito e quali possono essere ignorate direttamente. L'agente può suddividere le attività tra più subagenti e PAIR distribuisce le richieste di inferenza indipendenti generate da questi subagenti a diversi computer domestici, anziché far competere tutte le attività per la stessa GPU. In questo modo è possibile eseguire più attività in parallelo e il computer principale può anche trasferire parte dei calcoli dell'IA ad altri dispositivi durante il gioco, la creazione o altri lavori.
Anche una dimostrazione di cinque agenti annunciata da NVIDIA riflette l'effetto di questo approccio. Utilizzando Hermes Desktop e Ollama, un cluster PAIR composto da tre dispositivi ha impiegato 8 minuti e 48 secondi per completare l'attività, mentre un singolo notebook RTX Spark ha impiegato 18 minuti. NVIDIA ritiene che ciò dimostri che l'utilizzo della potenza di calcolo inattiva di più dispositivi nella rete domestica può migliorare significativamente il throughput dell'intelligenza artificiale multitasking locale.
Un giudizio importante alla base di PAIR è che gli utenti domestici spesso possiedono già più computer con determinate capacità di elaborazione, ma questi dispositivi sono inattivi per la maggior parte del tempo. I dati citati da Nvidia sottolineano che più della metà delle famiglie negli Stati Uniti possiede due o più computer, quindi un gran numero di GPU e altre risorse informatiche non vengono completamente utilizzate per una parte considerevole della giornata. Per le famiglie con computer da gioco, laptop e altri dispositivi ad alte prestazioni, PAIR tenta di trasformare questi dispositivi originariamente indipendenti in un pool di risorse informatiche che possono servire congiuntamente l’intelligenza artificiale locale.
Il team tecnico di NVIDIA stima addirittura che, in un caso estremo, potrebbero esserci circa 165 TFLOPS di potenza di calcolo inattiva all'interno di una famiglia. La persona interessata ha descritto questa potenza di calcolo locale che non è stata pienamente utilizzata come “risorse token gratuite inattive a casa”. Tuttavia, NVIDIA si aspetta che gli utenti tipici veramente adatti a PAIR non debbano avere un dispositivo di dimensioni così esagerate. Una configurazione più realistica potrebbe essere un MacBook o un notebook Windows, oltre a un PC da gioco.
Oltre a PAIR, questa volta NVIDIA ha anche annunciato di semplificare ulteriormente l'esperienza di implementazione degli agenti IA locali. Tre software di agenti AI, tra cui Perplexity Portable Computer, Hermes Agent e OpenClaw, forniranno metodi di configurazione locale più semplici per le GPU NVIDIA. In passato, gli utenti spesso avevano bisogno di selezionare modelli, trovare server di inferenza compatibili, regolare i parametri di quantizzazione e completare varie configurazioni. La nuova soluzione spera di comprimere questo processo in pochi clic.
Tra questi, Perplexity Portable Computer è stato precedentemente in grado di funzionare su GPU NVIDIA RTX dotate di almeno 24 GB di memoria video e DGX Spark su sistemi Linux, ed è in fase di realizzazione anche la versione Windows. Consente agli utenti di mantenere una parte maggiore dei propri flussi di lavoro in sede e di scegliere di utilizzare modelli cloud quando sono necessarie funzionalità di ricerca aggiuntive o di inferenza più potenti; il sistema otterrà il consenso dell'utente prima di consegnare il contenuto al cloud.
Hermes Agent, sviluppato da Nous Research, è un agente AI per scopi generici. La configurazione locale della versione Windows supporterà la distribuzione del modello con un clic. Il software è in grado di identificare automaticamente la GPU NVIDIA, selezionare il modello e la configurazione appropriati in base all'hardware ed eseguirlo tramite il file llama.cpp ottimizzato NVIDIA integrato. Il supporto Linux verrà lanciato in un secondo momento. Dopo l'esecuzione, Hermes può richiamare strumenti, mantenere il contesto tra le attività, ricordare informazioni da diverse sessioni e accumulare competenze riutilizzabili con l'uso.
OpenClaw ottiene anche una soluzione di distribuzione semplificata per Windows. Nvidia ha affermato che OpenClaw è diventato un progetto importante nell'ecosistema degli agenti AI aperti e che la portata del progetto su GitHub ha superato le 380.000 stelle. La nuova applicazione Windows abbasserà la soglia per la configurazione del modello locale, rendendo più semplice per gli utenti con almeno 24 GB di memoria video GPU NVIDIA RTX l'avvio degli assistenti IA locali.
Per migliorare ulteriormente la velocità di risposta dell'agente AI locale, NVIDIA ha annunciato contemporaneamente anche l'ottimizzazione dell'inferenza per llama.cpp e vLLM. Basato sulla nuova ottimizzazione del kernel, sulla decodifica speculativa più avanzata e sull'elaborazione della precompilazione più rapida, il throughput di llama.cpp su GeForce RTX 5090 può essere aumentato fino a 1,9 volte; Le prestazioni vLLM possono essere migliorate fino a 1,2 volte su RTX PRO 6000 Blackwell Workstation Edition e fino a 1,4 volte su un cluster composto da due DGX Spark. Queste ottimizzazioni sono già disponibili attraverso i backend di inferenza corrispondenti e sono disponibili anche in LM Studio e Ollama.
Nvidia ha anche rivelato questa volta che i nuovi piccoli computer Windows AI dotati della piattaforma RTX Spark dovrebbero essere lanciati in ottobre. Man mano che questi hardware, software di inferenza e strumenti di agenti AI locali orientati all'intelligenza artificiale maturano gradualmente, NVIDIA sta chiaramente promuovendo un modo diverso di utilizzare l'intelligenza artificiale tradizionale nel cloud: gli utenti non devono inviare tutte le attività a data center remoti, ma possono utilizzare direttamente GPU e altri dispositivi a casa per creare il proprio ambiente di elaborazione IA locale.
PAIR è ancora in fase beta e il progetto è stato rilasciato come open source. Gli sviluppatori possono visualizzare il codice sorgente, inviare problemi e partecipare ai miglioramenti. NVIDIA spera che attraverso PAIR l'intelligenza artificiale locale si sposti gradualmente da "un singolo computer ad alte prestazioni che esegue un modello" a "più dispositivi domestici che condividono il carico di lavoro dell'intelligenza artificiale", e questo potrebbe anche diventare un nuovo modello informatico dopo l'ulteriore divulgazione degli agenti di intelligenza artificiale locali.
Commenti