Abstract:
OpenAI claims that its new "Jalapeno" chip performed better in tests than Nvidia's current product lineup, highlighting the progress the company has made in developing its own AI processors. Richard, capo del business dei chip OpenAI Ho said in an interview that the chip was compared to the Nvidia GB300, a test that considered the GB300 to be the most advanced product available. In the test, Jalapeno had the advantage in two indicators: the amount of AI workload it can handle per unit of power consumption, and the speed of response.
Quando OpenAI ha testato pubblicamente Jalapeno questa volta, ha utilizzato il proprio modello open source più piccolo GPT‑OSS 120B, nonché modelli di terze parti di DeepSeek e Moonshot AI. Sul modello Kimi K2.5 1T di Moonshot, i vantaggi di Jalapeno sono ancora più evidenti.
OpenAI ha affermato che nei test interni, Jalapeno ha ottenuto buoni risultati anche durante l'esecuzione di alcuni modelli avanzati su larga scala che non sono ancora stati rilasciati. Ciò suggerisce che il design del chip “aumenterà ulteriormente di valore” man mano che i carichi di lavoro diventeranno più grandi e complessi.
OpenAI ha collaborato con Broadcom per sviluppare Jalapeno. La società prevede di utilizzare il chip per supportare i suoi modelli di intelligenza artificiale a partire dalla fine dell’anno. Ciò fa parte del suo piano per costruire la propria infrastruttura di intelligenza artificiale e promuovere l’autoricerca di chip su scala più ampia.
Broadcom produce chip personalizzati per molti clienti. Le due società hanno annunciato la loro collaborazione lo scorso anno e nel giugno di quest'anno hanno promosso con vigore la velocità di sviluppo di questo processore, affermando che è stato sviluppato a una velocità record.
Attualmente, sempre più aziende stanno sviluppando chip AI sviluppati autonomamente e NVIDIA domina ancora questo campo.
Normalmente, alcuni chip hanno una maggiore potenza di elaborazione durante l'esecuzione di attività di intelligenza artificiale, mentre altri sono più bravi a rispondere rapidamente, ma Jalapeno ha il meglio di entrambi i mondi, ha detto Ho.
OpenAI will decide which AI models run on Jalapeno, allowing customers to choose lower-cost or higher-performance solutions based on their needs.
Ho said: "In laboratory tests, Jalapeno showed strong performance in the high-throughput field, which means it can serve a large number of customers at a lower cost; at the same time, it also performed well in the low-latency field, which means that for customers who value response speed, its response time will be very, very fast." Per i data center, l’elettricità è uno dei costi più importanti.
Va notato che Jalapeno non è stato testato con i chip Vera Rubin di ultima generazione di Nvidia, che hanno appena iniziato la spedizione. Inoltre, Jalapeno non è progettato per l'addestramento di modelli IA e l'addestramento è esattamente una delle aree in cui la tecnologia NVIDIA dà il meglio di sé.
Jalapeno is mainly oriented to the AI inference stage, that is, after the model completes training, it generates responses and performs tasks based on user prompts. Il vantaggio in termini di velocità significa che OpenAI può utilizzarlo per ottenere effetti che in passato potevano essere ottenuti solo da processori che utilizzavano diversi tipi di memoria e architetture di chip.
OpenAI si affida ancora alla tecnologia Cerebras per eseguire alcuni modelli e questo tipo di chip è più adatto per i modelli più piccoli. In confronto, Jalapeno è in grado di gestire modelli molto più grandi. Ho ha affermato che la tecnologia di OpenAI non sostituirà fornitori come Cerebras nel breve termine.
Ho said: "Our demand for computing power is very huge, which is why we have signed contracts with so many different suppliers. This situation will continue for some time." Ha detto che OpenAI spera di mostrare pubblicamente i suoi risultati di ricerca e sviluppo per promuovere l'innovazione nel campo dei chip AI.
Altre startup stanno esplorando direzioni simili. Etched ha dichiarato la scorsa settimana di essersi assicurata una valutazione di circa 21 miliardi di dollari in un round di finanziamento e di aver iniziato a spedire un chip a bassa tensione. MatX, fondata da due ex dipendenti di Google Chip, sta attualmente sviluppando un prodotto a semiconduttore con lo stesso obiettivo di combinare un throughput elevato e una bassa latenza.
OpenAI ha inoltre affermato che l'azienda ha utilizzato il proprio modello di intelligenza artificiale per accelerare il processo di sviluppo dei chip. Anche il chip di seconda generazione è entrato in una fase di ricerca e sviluppo più approfondita. Ho ha detto che la società prevede di completare la rimozione del chip "nei prossimi mesi", ovvero quando il design del chip entrerà nella fase di finalizzazione.
Allo stesso tempo, OpenAI ha iniziato a progettare i suoi chip di terza generazione, sperando di ridurre ulteriormente il costo dell'infrastruttura AI che sta costruendo su larga scala in tutto il mondo. Ho ha affermato: "Abbiamo ora raggiunto un livello di costi e di consumo energetico in grado di ridurre i costi dell'infrastruttura. Questo è solo il primo passo."
Sebbene OpenAI stia promuovendo attivamente chip sviluppati internamente e confrontando le loro prestazioni con i prodotti NVIDIA, Ho ha comunque sottolineato in modo specifico che OpenAI considera ancora NVIDIA un fornitore chiave di chip.
"NVIDIA è un ottimo partner e dobbiamo ancora utilizzare molti chip NVIDIA."
Commenti