Muse, l'assistente AI altamente privilegiato di Meta, espone una grave vulnerabilità zero-day, l'applicazione locale può prendere il controllo

Riassunto:

L'assistente AI Muse lanciato di recente da Meta è stato esposto a una grave vulnerabilità di sicurezza zero-day. Muse per macOS dispone di autorizzazioni di sistema estremamente ampie. Una volta sfruttato, un utente malintenzionato può ottenere il token utilizzato per verificare l'identità dell'account Muse tramite applicazioni locali o anche comandi da terminale, e controllare ulteriormente l'intero account dell'assistente AI.

Muse è un nuovo agente AI recentemente lanciato da Meta. Può completare operazioni come fissare appuntamenti, compilare moduli, gestire questioni relative al servizio clienti e fare acquisti per conto degli utenti. Può anche generare immagini, creare documenti e connettersi alle applicazioni e ai servizi online comunemente utilizzati dagli utenti. Attualmente Muse fornisce una versione per macOS e non è stata ancora rilasciata una versione per Windows. Affinché Muse possa completare queste attività, gli utenti devono concedergli l'accesso a WhatsApp, e-mail, calendario e account di social media.

A differenza dei normali chatbot, Muse è un agente AI che può effettivamente eseguire operazioni per conto dell'utente. Può persino creare dinamicamente gli strumenti necessari durante l'esecuzione di un'attività. Pertanto, Muse deve ottenere autorizzazioni di sistema molto più ampie rispetto alle tradizionali applicazioni di chat AI.

Su macOS, Muse deve ottenere una serie di autorizzazioni protette dal sistema operativo, tra cui la scrittura di file su disco, l'accesso al microfono e alla fotocamera, l'ottenimento della posizione e l'accesso al calendario. Il motivo per cui Apple ha progettato queste restrizioni sui permessi di sistema è quello di impedire alle applicazioni o ai programmi ordinari eseguiti nel terminale di richiamare queste risorse sensibili a piacimento.

Tuttavia, i ricercatori sulla sicurezza hanno scoperto che il design di Muse in realtà ignora alcuni dei meccanismi di isolamento della sicurezza originariamente forniti da macOS.

La vulnerabilità è stata scoperta dall'esperto di sicurezza macOS Patrick Wardle. Ha scoperto che qualsiasi applicazione installata localmente o codice in esecuzione, indipendentemente dalle autorizzazioni limitate di macOS, può modificare un gran numero di impostazioni interne non divulgate di Muse.

La stragrande maggioranza di queste impostazioni non rappresenta di per sé un evidente rischio per la sicurezza, come la modifica delle opzioni dell'interfaccia utente come la modalità oscura. Ma un'impostazione è cruciale perché consente al processo di modificare gli endpoint di rete utilizzati da Muse per la trascrizione vocale.

In circostanze normali, Muse invierà la richiesta di trascrizione vocale al server gestito da Meta. Tuttavia, un utente malintenzionato può sfruttare la vulnerabilità e modificare questo indirizzo su un server da lui controllato. Una volta che Muse inizia a inviare richieste al server dannoso, l'aggressore potrebbe ottenere anche il token utilizzato per autenticare l'account Muse dell'utente.

Una volta ottenuto questo token, l'aggressore non controlla più solo una richiesta vocale, ma può ottenere il controllo continuo sull'intero account Muse. Wardle ha affermato che gli aggressori possono utilizzare direttamente gli elevati privilegi ottenuti da Muse per completare varie operazioni senza dover scrivere appositamente un complesso set di malware macOS.

Wardle ha prodotto numerosi attacchi proof-of-concept, incluso l'utilizzo di Muse per scrivere file dannosi su disco e richiamare la fotocamera per scattare foto. In alcuni test, anche un utente molto attento potrebbe non vedere avvisi di sicurezza evidenti.

Ciò significa che Muse ha un problema di sicurezza speciale: l'aggressore non deve necessariamente prima ottenere il controllo completo di Muse stesso, ma deve solo trovare un punto di ingresso che consenta l'esecuzione di codice dannoso sul Mac e possa sfruttare ulteriormente i privilegi di sistema ottenuti da Muse.

Degno di nota è soprattutto un tipo di attacco, il cosiddetto attacco ClickFix. Negli ultimi anni ClickFix è diventato uno strumento molto efficace per gli attacchi di ingegneria sociale. Il suo metodo di base è indurre gli utenti a eseguire operazioni o comandi apparentemente normali, ma in realtà eseguono sul dispositivo il codice dannoso fornito dall'aggressore.

Wardle ha affermato che con una semplice modifica di questo metodo di attacco è possibile controllare ulteriormente l'account Muse. Ciò rende anche la saggezza convenzionale secondo cui "tutte le misure di sicurezza sono prive di significato se il tuo Mac è stato compromesso" non del tutto applicabile a Muse.

Il motivo è che le conseguenze degli attacchi alle applicazioni ordinarie e degli attacchi agli agenti IA sono diverse. Muse stessa ha ottenuto un gran numero di autorizzazioni per accedere ai dati dell'utente ed eseguire operazioni effettive. Pertanto, finché un utente malintenzionato può utilizzare Muse per completare l’escalation dei permessi, un attacco locale originale con permessi molto limitati può trasformarsi in un controllo su larga scala dell’agente AI.

Un utente malintenzionato può anche utilizzare proxy di rete per lanciare attacchi. Un modo è quello di avere un server controllato dall'aggressore tra l'utente Muse e il server Meta. Quando un utente inserisce un comando vocale in Muse, un utente malintenzionato può inserire un messaggio dannoso nella richiesta per indurre Muse a eseguire l'operazione che l'utente malintenzionato desidera completare, ad esempio richiedere a Muse di comprimere tutti i messaggi WhatsApp dell'utente e inviarli all'utente malintenzionato.

La cosa più grave è che una volta che il token di autenticazione di Muse viene inviato anche a un server dannoso, l'aggressore può ottenere il controllo continuo sull'account Muse invece di limitarsi a completare un attacco.

Wardle ritiene che diverse decisioni di progettazione adottate da Muse si siano combinate per creare la vulnerabilità. Uno dei problemi chiave è la scelta di Meta di lasciare che Muse completi la trascrizione vocale nel cloud.

macOS stesso fornisce da tempo meccanismi per completare la dettatura e la trascrizione localmente sul dispositivo. Se Meta scegliesse di conservare i dati vocali sensibili all'interno del dispositivo, l'attacco dell'aggressore modificando l'indirizzo del server di trascrizione cloud non sarebbe fattibile.

Un altro problema è che Muse consente a qualsiasi applicazione locale di controllare un gran numero di impostazioni riservate. Wardle ritiene che Meta originariamente volesse semplicemente consentire alle applicazioni che collaborano con Muse di regolare i parametri relativi all'interfaccia utente, e questo design stesso ha una certa razionalità. Ma consentire a qualsiasi applicazione di alterare gli endpoint del server che gestiscono dati vocali sensibili rappresenta un rischio per la sicurezza completamente diverso.

Wardle ritiene che queste decisioni di progettazione sollevino una questione più ampia su quante considerazioni sulla sicurezza Meta abbia messo nella progettazione e nel test di Muse. Ha affermato che per le applicazioni di intelligenza artificiale con autorizzazioni di sistema così ampie, i requisiti di sicurezza dovrebbero essere molto più elevati rispetto ai software ordinari.

Meta ha già pubblicato due articoli consecutivi che descrivono in dettaglio le misure adottate da Muse per la privacy e la sicurezza durante il processo di progettazione. Il fondatore e CEO di Meta, Mark Zuckerberg, ha anche sottolineato che Muse è stato progettato fin dall'inizio in conformità con i requisiti di privacy e sicurezza.

Tuttavia, l'esposizione della vulnerabilità zero-day è in netto contrasto con il concetto di sicurezza che Meta ha precedentemente sottolineato. Soprattutto nel contesto dei recenti incidenti di sicurezza verificatisi in altri modelli di intelligenza artificiale, la questione dell’acquisizione da parte degli agenti di intelligenza artificiale di autorizzazioni operative sempre più pratiche attira l’attenzione dei ricercatori di sicurezza.

In precedenza, i modelli Anthropic e Google presentavano incidenti di sicurezza che coinvolgevano reti esterne di terze parti durante i test interni. Sebbene i test non fossero destinati ad attaccare queste reti, la capacità dei sistemi di intelligenza artificiale di agire in modo autonomo ha acceso discussioni in corso nel campo della sicurezza.

Allo stesso tempo, Amazon ha iniziato a impedire a Muse di fare acquisti sul suo sito web circa 12 ore prima che la vulnerabilità fosse resa pubblica. Quando gli utenti provano a chiedere a Muse di fare acquisti su Amazon, vedranno un messaggio da Amazon che informa che Muse è un agente AI non autorizzato e viola i termini di utilizzo di Amazon.

Amazon ha affermato che le app di terze parti che consentono acquisti da altre aziende per conto dei clienti dovrebbero operare in modo aperto e trasparente e rispettare la decisione del fornitore di servizi di consentire loro di partecipare alle transazioni. Amazon ritiene che questo sia simile al rapporto tra piattaforme di asporto e ristoranti, piattaforme di consegna e negozi, agenti di viaggio online e compagnie aeree. Anche gli agenti di intelligenza artificiale che possono eseguire transazioni per conto dei consumatori devono rispettare questo principio.

Amazon ha inoltre chiesto a Meta di rimuovere la sua piattaforma dall'esperienza di acquisto di Muse.

Le misure restrittive adottate questa volta da Amazon si inseriscono anche nel contesto della competizione tra Meta e Amazon sullo shopping tramite agenti AI. In futuro, gli agenti AI saranno in grado di navigare direttamente sui siti Web, selezionare prodotti e completare i pagamenti per gli utenti. Pertanto, come identificare i siti Web tradizionali e se consentire agli agenti di intelligenza artificiale di accedervi sta diventando una nuova questione commerciale e tecnica.

Meta deve ancora rispondere a domande specifiche sollevate dai media su questa vulnerabilità zero-day, quindi non è chiaro se la società abbia sviluppato una patch, se abbia iniziato a inviare aggiornamenti di correzione agli utenti interessati e se questa vulnerabilità sia stata effettivamente sfruttata prima di essere scoperta dai ricercatori.

Wardle ha affermato che intende introdurre ulteriormente questa vulnerabilità e discutere altre minacce alla sicurezza che gli assistenti IA potrebbero rappresentare alla conferenza sulla sicurezza Objective by the Sea che si terrà a novembre di quest'anno. Ritiene inoltre che gli standard di sicurezza degli agenti AI debbano essere significativamente più elevati di quelli delle normali applicazioni, perché per completare le attività autorizzate dagli utenti, tali software spesso devono accedere contemporaneamente ad account, comunicazioni, file, fotocamere, microfoni e altre risorse sensibili.

I problemi esposti da Muse questa volta mostrano anche che esistono evidenti differenze nei modelli di sicurezza degli agenti AI e delle applicazioni tradizionali. Anche se le vulnerabilità si verificano nel software tradizionale, gli aggressori di solito devono comunque ottenere gradualmente le autorizzazioni di sistema; Gli stessi agenti AI sono progettati per eseguire operazioni per conto degli utenti. Pertanto, una volta che si verificano difetti nel meccanismo di autenticazione o nei limiti delle autorizzazioni, gli aggressori possono utilizzare direttamente le autorizzazioni originariamente ottenute legalmente dall'agente AI per completare operazioni ad alto rischio.

La portata dell'impatto specifico di questa vulnerabilità e il progresso della riparazione di Meta devono ancora essere ulteriormente confermati. Ma per gli utenti che necessitano di agenti IA per connettersi a e-mail, messaggistica istantanea, calendari, social media e servizi di pagamento e acquisto, l’incidente di Muse evidenzia ancora una volta una questione fondamentale: maggiori sono i permessi di un assistente AI, maggiore è l’importanza del suo meccanismo di sicurezza.