Ultraman: Installare memoria sul PC è troppo dispendioso ed è meglio lasciarlo al data center AI

Riassunto:

"Dal punto di vista dell'allocazione globale delle risorse, consentire a tutti di archiviare la scarsa DRAM nei propri computer e lasciarla inattiva per la maggior parte del tempo è una soluzione 'piuttosto terribile'. La memoria dovrebbe essere concentrata nei data center cloud."

Questo è tutto.

In un'intervista con il canale YouTube Cheeky Pint giovedì, il CEO di OpenAI Sam Altman ha bevuto birra e ha parlato in un'atmosfera rilassata del ragionamento locale dei grandi modelli di intelligenza artificiale e del problema esteso della memoria insufficiente nei computer domestici, che inavvertitamente è diventato un successo.

Sappiamo che l'attuale aumento dei prezzi delle memorie causato dall'ondata globale di intelligenza artificiale ha fatto salire alle stelle i prezzi dei PC e dei telefoni cellulari, che sono già inaccessibili per i singoli consumatori. Allo stesso tempo, ci vorrà del tempo prima che i principali produttori di memorie espandano la propria capacità produttiva. Mentre le aziende all’avanguardia nel campo dell’intelligenza artificiale stanno divorando la maggior parte della memoria, hanno iniziato a discutere se la memoria dei personal computer sia completamente utilizzata.

Altman ha menzionato l'ipotesi secondo cui le persone sarebbero in grado di eseguire l'intelligenza artificiale locale sui propri computer, che potrebbero essere computer che già possiedono o che desiderano assemblare a causa dell'avvento della tecnologia di intelligenza artificiale di grandi dimensioni. Pensava che fosse un'idea terribile.

"Dal punto di vista dell'allocazione globale delle risorse, è in realtà molto negativo lasciare che tutti lascino inattiva la memoria DRAM limitata del mondo nei propri computer con un tasso di utilizzo solo del 5%"

L'attività principale di OpenAI oggi si basa su un modello closed source eseguito in data center su larga scala e la sua difesa del suo modello di business ha acceso il dibattito nella comunità dell'intelligenza artificiale.

Ciò ha anche causato preoccupazione a molte persone: in futuro potrebbe essere più difficile per noi possedere il nostro hardware o software e possiamo solo prendere in considerazione l'idea di noleggiare agenti e computer intelligenti nel cloud.

Sebbene i normali PC, i telefoni cellulari e le schede acceleratrici dell'intelligenza artificiale utilizzino memorie diverse, la loro produzione competerà per una parte della capacità di produzione di wafer a monte. Altman stava discutendo dell'allocazione globale delle risorse DRAM. Quando si tratta di chi è qualificato a decidere dove utilizzare la capacità di memoria, nella maggior parte dei casi è naturalmente l'utente a fare l'ordine più grande.

Parte dell'argomentazione di Altman si basa sul presupposto che la costruzione dei data center non rallenterà. Inoltre, ha ipotizzato che la memoria utilizzata 24 ore su 24, 7 giorni su 7 in un data center AI sarebbe più preziosa della memoria utilizzata per fogli di calcolo, navigazione web, giochi e persino l’IA locale occasionale.

In effetti, questa intervista è stata molto lunga. Altman ha parlato anche della vulnerabilità di PHP che ha scatenato il panico globale nelle ultime due settimane, del sandboxing dei modelli di formazione e della ricerca sull’intelligenza artificiale nel campo della matematica.

Guarda cosa ha detto principalmente:

L'intelligenza artificiale sta facendo esplodere un'ondata di vulnerabilità

Per quanto riguarda le enormi vulnerabilità di PHP, il giudizio di Altman è: la capacità dei modelli di grandi dimensioni di scoprire le vulnerabilità continua a migliorare rapidamente e la superficie del codice su Internet è estremamente enorme. Quando le persone inizieranno a utilizzare sistematicamente l’intelligenza artificiale per scansionare tutti i codici, “ci troveremo in un mondo in cui le vulnerabilità gravi saranno molto maggiori del previsto”. Crede che le patch da sole non siano sufficienti, l'architettura deve essere ricostruita e i router, i sistemi operativi e i livelli applicativi devono essere tutti riprogettati per un mondo in cui "le vulnerabilità diventeranno sempre più intelligenti". Due anni fa, "riscrivere l'intero stack tecnologico" sembrava un discorso folle, ma ora ci sono startup che vogliono costruire un nuovo stack.

Ha fatto una rara autocritica nel settore: "Non penso che abbiamo fatto un buon lavoro nello spiegare alla gente perché valgono tutti i potenziali rischi negativi di questa tecnologia". Ha affermato che la narrativa dell’industria dell’intelligenza artificiale è una pessima pubblicità, che promette di curare il cancro e ridurre i costi mentre dipinge un futuro di disoccupazione, perdita di controllo e necessità di una forte regolamentazione. Ha ribadito l'insistenza di OpenAI sull'implementazione iterativa e sull'eccesso di capacità sulla base del fatto che "le persone in poche miglia quadrate a San Francisco non possono prendere tutte le decisioni".

Quando gli è stato chiesto se potesse costruire una "prigione di massima sicurezza" per il modello, Ultraman ha dato una risposta pessimistica: la sandbox è efficace solo fino a un certo punto e il monitoraggio (inclusa la revisione della catena di pensiero e il monitoraggio dell'attivazione) può andare oltre, ma alla fine deve essere altamente affidabile e allineato.

Ha chiesto retoricamente, di fronte a un modello che è un milione di volte più intelligente del più intelligente ricercatore di sicurezza e può scoprire nuove scienze che gli esseri umani ancora non comprendono, osi davvero fidarti di quella sandbox?

Ha chiarito che odia la parola "sciami di agenti" perché gli sciami ricordano le locuste, insistendo nel chiamarli team di agenti (team di agenti) e ritiene che la natura dei controlli e degli equilibri reciproci tra i team corrisponda al meccanismo per raggiungere la robustezza attraverso il pluralismo e sia una direzione sicura degna di avanzamento.

Esplosione intellettuale e prezzo della scoperta scientifica

Altman ha delineato una curva: nell'era GPT-4, era difficile investire in modo efficace 1 dollaro in potenza di calcolo su un singolo problema; la catena di pensiero permette al modello di "pensare intensamente", ma ora possiamo parallelizzare l'intero team di agenti decine di migliaia di volte. Il divario di utilizzo tra gli utenti ordinari e gli utenti più avanzati è in costante aumento.

Per quanto riguarda il modo in cui viene allocata la potenza di calcolo all'interno di OpenAI, ha affermato che i dipendenti godono di molta libertà, ma un elevato consumo di token non viene mai ricompensato. "In effetti è un po' imbarazzante essere in alto nella classifica dei token, e non è certo un motivo di promozione." Ha usato come esempio la dimostrazione dell'equazione di Navier-Stokes: una singola prova costava circa 10 milioni di dollari ed era "fuori controllo per una settimana" perché all'epoca nessuno sapeva nulla della legge di espansione della squadra di agenti. Ma si aspetta che venga rifatto a 1/100 del costo in un anno utilizzando modelli e metodi più intelligenti.

Ha anche mostrato emozioni rare: la situazione in quel momento era davvero sorprendente. Nel fine settimana in cui è stato lanciato internamente un nuovo modello, tutti hanno gettato tutti i problemi più difficili su questo modello e lui è riuscito a risolverli uno per uno. Le persone non si aspettavano affatto che il modello facesse questo. Tutti hanno potuto constatare che i problemi di ricerca scientifica più difficili nella carriera accademica di molte persone sono stati risolti uno per uno da questo modello e hanno coperto molti campi diversi. La scena era semplicemente fantastica.

"Sono rimasto sveglio quasi tutta la notte per due notti perché ero così emozionato che non riuscivo a dormire affatto. Molti dei risultati che abbiamo pubblicato in seguito erano in realtà i problemi che abbiamo risolto in quel momento."

Ultraman si sentiva estremamente emozionato e felice in quel momento, ma allo stesso tempo provava anche una tristezza e una malinconia inaspettate e la sensazione che "un'era sta finendo". Non si tratta solo di nostalgia, ma anche di una sorta di empatia per gli scienziati umani che "imparano la verità al mattino e muoiono la sera". Insiste sul fatto che gli esseri umani meritano una conoscenza di base, ma l’industria deve una soluzione ai professionisti di questi campi.

Sebbene sia troppo presto per parlare di superintelligenza, Ultraman ritiene che trilioni di piccoli superumani siano migliori di un trilione di QI:

"Preferirei di gran lunga, intuitivamente, che un trilione di IA con un'intelligenza leggermente sovrumana si unisca alla società piuttosto che un'IA con un trilione di QI si unisca alla società."

"Intuitivamente, preferirei che si unissero alla società mille miliardi di IA con un'intelligenza leggermente sovrumana piuttosto che mille miliardi di IA con QI."

La sua tesi è che la forte robustezza della società deriva dai pesi e contrappesi e dalla cooperazione di un gran numero di membri. Il mondo “a cervello singolo” non ha questo tipo di resilienza. Ma ha sottolineato che ciò non avverrà automaticamente e dovrà essere promosso in modo proattivo.

La regolamentazione del mercato non funzionerà più nell'era dell'IA?

Per quanto riguarda la carenza di memoria globale, Altman ha introdotto il layout di OpenAI: chip auto-sviluppati (per migliorare le prestazioni intelligenti per watt), data center autocostruiti, progetti robot e un concetto più audace di "data center autoreplicanti" che utilizzano robot controllati dall'intelligenza artificiale per gestire fabbriche di wafer, costruire turbine e pannelli solari e costruire data center. "Abbiamo tutto sotto controllo", ha detto.

Parlando del motivo per cui l'"autoregolamentazione del mercato" non è stata realizzata per molto tempo, ritiene che i progressi attuali siano pessimi e cita la logica comportamentale dei produttori di memorie: questo settore è stato a lungo un affare amaro in quanto investe 20 miliardi di dollari USA e guadagna 1,9 miliardi di capex. Nella storia, molti giganti sono quasi andati in bancarotta a causa dell’eccessiva costruzione di fabbriche. Oggi, ogni azienda può guadagnare circa 100 miliardi di dollari in flusso di cassa libero all’anno, ma i ricordi dolorosi le hanno rese estremamente conservatrici nell’espansione della produzione. Da ciò egli afferma che "la mano invisibile è ora fuori uso".

Ha distinto due tipi di capacità nel settore dei chip: la litografia "sembra che solo un'azienda al mondo sappia come farlo", ma la progettazione dei chip (il file che alla fine viene inviato alla fabbrica) è già un luogo eccellente per l'intelligenza artificiale.

Parlando del vero livello di auto-miglioramento ricorsivo (RSI), Altman ha affermato che il modello attuale può completare compiti come "trovare un miglioramento dell'efficienza computazionale del 5%", ma nessuno sa come consentire all'IA di scoprire nuove architetture a livello di trasformatore. Ciò che manca è un modello più intelligente. Ha anche previsto che la società potrebbe dover accettare di limitare il QI di un singolo modello per un periodo di tempo. “Se ci saranno progressi insufficienti in futuro, ciò deriverà da questa decisione, non dalla capacità dell’intelligenza artificiale di fare ricerca”.

Ha dimostrato di credere nella deflazione:

L'attuale costo totale di proprietà in cinque anni di ciascun GW di potenza di calcolo basata sull'intelligenza artificiale è di circa 70 miliardi di dollari USA. L’ideale sarebbe ridurlo a 20 miliardi. Allo stesso tempo, le prestazioni del modello devono essere migliorate altre 10 volte ogni anno. Il percorso per raggiungere questo obiettivo è rendere l’energia più economica e comprimere i profitti lordi accumulati tra “dalla sabbia ai gettoni di produzione”.

Per quanto riguarda l'ansia simbolica del budget delle imprese, ritiene che il problema più comune attualmente sia che l'intelligenza artificiale non viene utilizzata abbastanza, piuttosto che utilizzarne troppa.

Come valutare l'intelligenza personale?

Per quanto riguarda i recenti prodotti intelligenti personali (come Muse), il giudizio attuale di Ultraman è che "il momento Macintosh non è ancora arrivato". Alla gente piacciono questi prodotti, ma non al punto da "non poter immaginare la vita senza di essi". Il vincitore assomiglierà al prodotto attuale, ma "funzionerà e basta", affidabile e in grado di gestire compiti più complessi. Il gioco del gatto e del topo sull'uso del computer, a suo avviso, finirà per convergere al punto in cui "hai il diritto di lasciare che l'intelligenza artificiale gestisca il tuo computer per tuo conto".

Per quanto riguarda il metodo di commercializzazione degli agenti intelligenti, Altman ritiene che le aziende si attengano ai pop-up dell'intelligenza artificiale e all'HTML nei loro prodotti e si preoccupino di perdere le relazioni con i clienti, ma i consumatori vogliono lasciare che l'intelligenza artificiale faccia tutto per loro nella loro applicazione di chat principale. Crede che i veri fossati provengano dal marchio, dalle reti di selezione e di realizzazione, non dall'HTML. Ha rivelato in modo proattivo che sceglierebbe Amazon Pay 10 volte su 10, anche se il prezzo fosse più alto. Ha elogiato la rete logistica di Amazon e ha ammesso che la piattaforma di cooperazione all'interno di ChatGPT non era abbastanza buona. Ha anche definito tutti i moduli web "lavoro falso" e ha paragonato la situazione attuale all'era dell'App Store.

È proprio per questo motivo che, durante la progettazione dei prezzi, OpenAI ha quasi imitato i prezzi di AWS basati sulle attività e ha abbandonato completamente la fatturazione tramite token. Tuttavia, ha incontrato una forte opposizione da parte dei clienti: "Ho bisogno di sapere per cosa sto pagando". Anche se è di più, deve essere espresso in unità comprensibili come i gettoni.