Riassunto:
Di recente si è verificato un episodio drammatico nel circolo dell'AI: un tweet di annuncio ufficiale di DeepSeek, prima che tutti avessero il tempo di studiare attentamente i dettagli tecnici, è uscito dal cerchio a causa del testo di copertina.
Alcuni netizen hanno scoperto che la copertina dell'articolo dell'account pubblico "DeepSeek Open Source Inference Framework: Towards a Truly Inclusive Future" ha erroneamente digitato "Putt & Whitney" come "HP", che si è scontrato con il noto marchio di computer Hewlett-Packard (HP).
Molti utenti della rete hanno scherzato sul fatto che DeepSeek stesse involontariamente inviando gratuitamente un'ondata di annunci sul traffico ad HP; alcuni hanno anche scherzato sul fatto che i dirigenti HP avrebbero colto l'opportunità per discutere di cooperazione.
Questo interessante errore è stato subito scoperto dal funzionario. L'immagine di copertina è stata modificata urgentemente e il testo è stato ripristinato in "Verso un futuro veramente inclusivo". Il piccolo oolong si è concluso con successo.
Scherzi a parte, è proprio il peso di questo articolo il vero fulcro di questo incidente. DeepSeek ha recentemente rilasciato ufficialmente un tweet in cui annuncia che il suo framework di inferenza principale interno DeepInfer è completamente open source.
Gli sviluppatori che hanno familiarità con il ritmo di DeepSeek sanno che questo team ha continuato ad aumentare i propri sforzi nel percorso open source e ha precedentemente rilasciato una serie di modelli di grandi dimensioni, catene di strumenti di compilazione TileLang e librerie di operatori di inferenza di supporto.
Questa volta, hanno rivelato direttamente al mondo esterno il motore di inferenza sottostante che supporta servizi online su larga scala e hanno presentato un piano di implementazione completo perfezionato nell'ambiente di produzione, dimostrando la loro sincerità.
La citazione ufficiale "fallo per sempre e fallo per tutti, fallo per competenza e fallo per tutti" per chiarire l'intenzione originaria.
Per dirla in parole povere, se si deve implementare un modello di grandi dimensioni, non solo sono sufficienti parametri di modello forti, ma il quadro di inferenza è la chiave per determinare il throughput, la latenza e le bollette della potenza di calcolo.Molti team e imprese di piccole e medie dimensioni hanno ottenuto modelli open source di grandi dimensioni, ma sono bloccati nel processo di implementazione: non è possibile gestire elevate richieste simultanee, i ritardi variano notevolmente, il sovraccarico della potenza di calcolo rimane elevato e il costo dell'implementazione privatizzata e del lancio del cloud pubblico ha scoraggiato molti attori.
DeepInfer è open source e mira a risolvere questo problema.
DeepSeek spera di condividere con l'intera comunità l'esperienza di ottimizzazione dell'inferenza su larga scala accumulata nella pratica interna per aiutare gli sviluppatori e le imprese a ottimizzare gli indicatori dei servizi online, aumentare la produttività, ridurre i ritardi di risposta e creare senza problemi servizi di intelligenza artificiale su cloud privati o pubblici.
Una volta attuata l'ottimizzazione, le spese generali di potenza di calcolo e il consumo energetico diminuiranno contemporaneamente e la soglia per l'utilizzo dei servizi di intelligenza artificiale verrà abbassata, consentendo a più settori e a più utenti di utilizzare servizi di modello di grandi dimensioni con prestazioni in termini di costi più elevati e, in definitiva, raggiungere l'obiettivo di "AI inclusiva".
Commenti