Riassunto:
In un tranquillo quartiere di Bellevue, Washington, il seminterrato della moderna casa di Gary Fleck è arredato come uno spazio per il tempo libero maschile completamente funzionale: un comodo divano è posizionato tra il monitor a grande schermo e il proiettore digitale, e c'è anche un filatoio e un vogatore. Ma il vero punto forte di questa stanza è un host su misura che sembra un gigantesco modello assemblato, con sette schede grafiche Nvidia ad alte prestazioni appese al rack.
Gli appassionati di tecnologia assemblano un host IA ad alte prestazioni a casa, e ciò che segue è uno spinoso problema di dissipazione del calore
Flake ha lavorato in precedenza presso Microsoft ed è anche il fondatore di diverse start-up. Ha costruito la macchina per addestrare modelli di intelligenza artificiale personalizzati basati su terabyte di dati dell'elettroencefalogramma, che registra i segnali elettrici nel cervello, come parte di una startup che non persegue più.
Per addestrare il modello di intelligenza artificiale, avrebbe potuto noleggiare la potenza di calcolo della GPU di livello industriale nel data center da un fornitore di servizi cloud. Ma ha detto che è molto più conveniente installarlo da soli con componenti scontati. Il costo totale dell'intera attrezzatura è inferiore a 6.000 dollari, ovvero molto inferiore al pagamento di una tariffa mensile ad Amazon Cloud o Microsoft Cloud.
Anche includendo il costo delle modifiche elettriche e di un nuovo sistema HVAC (per un totale di 1-20.000 dollari) per dissipare il calore nel seminterrato e compensare l'enorme calore generato dall'host AI, è comunque conveniente installarlo da soli. "Voglio che la potenza di calcolo sia nelle mie mani", ha detto Flake, che prevede di riutilizzare la macchina nei prossimi mesi per avviare nuovi progetti. "Non voglio affittare la potenza di calcolo di altre persone."
L'esecuzione di carichi di lavoro basati sull'intelligenza artificiale a livello locale in soffitte, scantinati e uffici domestici è diventato un fenomeno inaspettato in questa ondata di mania dell'intelligenza artificiale. Le principali aziende di intelligenza artificiale addestrano ed eseguono modelli di grandi dimensioni in grandi data center remoti pieni di decine di migliaia di GPU per soddisfare la domanda di enorme potenza di calcolo.
Apparecchiature GPU a casa di Gary Fleck
Allo stesso tempo, c'è un'
ondata di IA locale
sta emergendo. Un gran numero di piccoli sviluppatori e appassionati di hardware scelgono di eseguire l'intelligenza artificiale sui propri dispositivi domestici per motivi di costi, privacy e facilità d'uso. Alcuni sviluppatori che credono nel concetto di libertà credono che l’intelligenza artificiale locale possa evitare future restrizioni governative e interrompere il loro permesso di utilizzare la tecnologia AI. Le piattaforme di agenti locali come OpenClaw possono chiamare direttamente applicazioni native e file locali per completare attività complesse, anche questo ha contribuito a questa tendenza.A volte, i dispositivi IA domestici sono semplicemente fantastiche funzionalità domestiche. Il mese scorso, il CEO di Shopify, Toby Lütke, è diventato virale sulle piattaforme social dopo aver mostrato tre serie di armadietti per server verticali a casa sua. Gli armadietti erano avvolti con strisce luminose a LED rosa. La dotazione comprende un host Dell dotato della scheda grafica high-end di Nvidia, che il produttore definisce il "supercomputer desktop definitivo". Luedtke ha anche risolto abilmente il problema della dissipazione del calore delle apparecchiature.
L'ascesa delle console IA domestiche rappresenta un vantaggio inaspettato per i produttori di hardware. Mac mini e Mac Studio sono molto popolari tra gli sviluppatori di smartphone e le vendite sono in aumento; Dell ha anche affermato che il mercato per gli appassionati di intelligenza artificiale domestica sta vivendo una crescita esplosiva.
Mark Hammons, ingegnere senior presso Dell, ha dichiarato: "Questa è la tendenza dei tempi. Dopo l'avvento di OpenClaw quest'anno, la domanda di hardware correlato è salita alle stelle."
L'inserimento a casa di host ad alte prestazioni non è una novità e le comunità di appassionati di "homelab" sono già fiorite su piattaforme come Discord e Reddit. All'inizio del 21° secolo, gli audiofili costruivano server a casa, montavano enormi dischi rigidi e archiviavano musica e video MP3 scaricati. Successivamente, il boom del mining di criptovalute ha spinto la domanda di GPU ad alte prestazioni per uso domestico.
All'epoca Hitten Shah giocava con le criptovalute. Nel 2020 ha installato otto GPU sul server rack di casa per estrarre Ethereum. Oggi, Shah, CEO della startup di software Crazy Egg, si è rivolto allo sviluppo dell'intelligenza artificiale e ha notevolmente ampliato la potenza di calcolo della sua casa a Redwood Shores, in California, fino a un totale di 18 dispositivi, inclusi 14 Mac mini e Mac Studio.
Shah ha affermato che la potenza di calcolo locale gli consente di controllare le prestazioni del software di ottimizzazione del sito web da lui sviluppato. È normale che i modelli cloud di grandi dimensioni subiscano frequenti tempi di inattività e ritardi. "Ogni volta che un modello di grandi dimensioni viene aggiornato nel cloud, il sistema sarà instabile per diversi giorni e si verificheranno frequentemente errori."
Ma il prezzo è che il comfort abitativo è notevolmente ridotto. Tutta l'attrezzatura informatica è collocata nel suo ufficio a casa e il calore dissipato dalle macchine spesso fa salire la temperatura interna fino a 85 gradi Fahrenheit (circa 29,4 gradi Celsius). Spesso può restare nella stanza solo indossando pantaloncini. "Dovrei installare un condizionatore d'aria", ha detto Shah.
Molti appassionati locali di intelligenza artificiale sono diventati celebrità di Internet nel settore. Uno YouTuber con sede ad Austin che ha richiesto l'anonimato e utilizza solo il nome del canale Digital Spaceport. Ha costruito quello che lui chiama un "data center domestico" nel suo garage. L'hardware include cinque schede grafiche AMD, oltre a un gran numero di dispositivi di rete e di archiviazione. Attualmente, su questa macchina esegue il grande modello open source domestico Tongyi Qianwen Qwen-3.8-27B per modificare e analizzare i propri video di YouTube.
Un altro consulente tecnologico polacco e YouTuber, anche lui anonimo, utilizza l'ID canale 0xSero. Man mano che acquistava sempre più hardware, doveva spostare l'host AI in giro per casa sua. Quattro schede grafiche NVIDIA 6000 erano originariamente collocate nel suo ufficio di casa, ma facevano molto rumore, generavano un calore estremamente elevato e seccavano l'aria nella stanza. Credeva che questa fosse la causa della sua malattia l'anno scorso. Quindi l'intero set è stato spostato in soffitta.
0xSero è stato il primo a utilizzare modelli di intelligenza artificiale cloud. La svolta avvenne alla fine del 2024: il prezzo dello strumento di programmazione AI Cursor aumentò. "In quel momento ho deciso di sviluppare l'intelligenza artificiale locale."
Insiste su un punto di vista: la proprietà e il controllo dei sistemi di intelligenza artificiale dovrebbero essere nelle mani degli utenti. In futuro, potrebbero esserci controlli e restrizioni da parte del governo sui diritti di accesso all’IA. "Amo davvero l'intelligenza artificiale e voglio continuare ad avere il diritto di usarla."
Commenti