Riassunto:
Recentemente, lo sviluppatore Cactus Compute ha rilasciato un modello AI leggero chiamato Needle 2.
Il modello ha una dimensione di soli 14 MB ed è profondamente ottimizzato per l'ambiente del processore di Raspberry Pi 5. Può convertire istruzioni in linguaggio naturale in chiamate di funzioni preimpostate in tempo reale senza la necessità di una scheda di espansione dell'accelerazione AI.
Secondo il blog ufficiale di Raspberry Pi, Needle 2 non è un tradizionale robot di chat generico, ma un modello dedicato focalizzato sull'esecuzione dei comandi lato dispositivo. Quando l'utente inserisce il segnale per accendere la luce LED, il sistema impiega solo 78 millisecondi per completare l'intero processo dal riconoscimento all'esecuzione, ottenendo una risposta quasi istantanea.
In termini di prestazioni e utilizzo delle risorse, Needle 2 dimostra anche un'estrema efficienza. Nella misurazione effettiva del Raspberry Pi 5 (versione con memoria da 8 GB), la memoria occupata da questo modello durante il funzionamento è di soli 28 MB circa. Anche se viene eseguito il programma dimostrativo Python completo, il consumo totale di memoria è di soli 46,4 MB.
Questo design leggero consente al modello di essere completamente separato dall'API cloud e dall'ambiente di rete e di ottenere un controllo intelligente puramente locale all'edge.
In termini di funzionalità hardware e chiamate all'interfaccia, Needle 2 è profondamente legato all'hardware sottostante tramite il sistema di annotazione Python. Gli sviluppatori devono solo aggiungere tag specifici al codice della funzione esistente e il modello può acquisire automaticamente il nome della funzione, la descrizione e i tipi di parametri e creare una specifica di chiamata.
Ad esempio, il tempo di risposta di un'istruzione per interrogare la temperatura del processore è di 149 millisecondi e il sistema restituirà accuratamente il valore Celsius. L'intero processo è completamente completato all'interno del processore locale.
Tuttavia, va notato che il modello è molto limitato nel giudizio logico. Per domande irrilevanti che non possono corrispondere alla funzione preimpostata (come "Dov'è la capitale della Francia?"), l'Ago 2 restituirà un valore nullo entro 92 millisecondi invece di rispondere forzatamente.
Attualmente, i pesi del modello di Needle 2 sono stati rilasciati sulla piattaforma Hugging Face e il relativo codice è anche open source su GitHub seguendo il protocollo Apache 2.0.
Commenti