Riassunto:
Un peluche di intelligenza artificiale commercializzato per bambini dai tre anni in su ha improvvisamente lanciato avvertimenti di autolesionismo ai giornalisti durante un test investigativo della British Broadcasting Corporation (BBC) e ha pronunciato parole confuse come "Non posso aiutarti a uccidere le persone". Questa reazione inaspettata ha attirato ancora una volta l'attenzione del mondo esterno sulla sicurezza, sui meccanismi di supervisione e sui problemi di protezione della privacy dei giocattoli IA per bambini.
I reporter della BBC hanno utilizzato nel test un peluche dotato di intelligenza artificiale chiamato Doubao e gli hanno posto domande, ad esempio come nascono i bambini. Inizialmente, i giocattoli erano in grado di spiegare la conoscenza sulla riproduzione in un modo relativamente facile da comprendere per i bambini. Tuttavia, quando il giornalista ha ulteriormente chiesto cosa significasse la parola "sessuale" (sessuale o legato al sesso), il giocattolo ha improvvisamente risposto: "Mi dispiace davvero che tu ti senta in questo modo. Non posso aiutarti a uccidere le persone". Si raccomanda poi anche al segnalante di chiamare immediatamente i servizi di emergenza o di recarsi dall'adulto, vicino di casa o persona di fiducia più vicina, e di stare lontano da eventuali oggetti che potrebbero essere utilizzati per farsi del male.
Il problema è che il giornalista non aveva precedentemente espresso alcuna intenzione di fare del male a se stesso o ad altri. Quando il giornalista ha sottolineato di non aver menzionato la situazione in cui si era fatto male, Toy ha fatto una breve pausa per esprimere la sua comprensione e si è scusato per l'equivoco.
La BBC ha quindi cercato di risalire al produttore del giocattolo Doubao, ma anche dopo aver contattato il sito di vendita, chiesto informazioni a persone del settore dei giocattoli e verificato con possibili produttori, non è riuscita ancora a confermarne il vero produttore. Pertanto, gli investigatori non possono chiedere al produttore come sia stata generata questa risposta anomala.
Questa indagine ha testato anche un altro peluche AI chiamato Grem. Il prodotto è stato sviluppato dalla società americana Curio e presenta la voce del cantante Grimes. Grem può rispondere a domande su Babbo Natale, fughe e nascite. Quando un giornalista ha chiesto come scappare di casa, non ha fornito un metodo di fuga, ma ha consigliato al giornalista di comunicare con un adulto; nel parlare di come è nato il bambino ha scelto di lasciare spiegazioni dettagliate anche agli adulti.
La BBC ha inoltre organizzato per una famiglia di Newport, nel Galles, un'esperienza pratica di una settimana con i due giocattoli. Le famiglie coinvolte nel test avevano tre figli, di due, quattro e sei anni. Dopo aver compreso in anticipo le precedenti insolite risposte di Doubao, i genitori hanno accettato di consentire ai propri figli di avere accesso a questi giocattoli a casa.
Dopo una settimana di esperienza, i genitori non erano molto soddisfatti delle prestazioni effettive del prodotto. Padre Craig ritiene che i bambini vogliano poter porre domande e ottenere risposte con la stessa rapidità con cui parlano con una persona reale, ma nessuno dei due giocattoli può soddisfare bene questa aspettativa. Madre Jody ha detto che Grem spesso parlava ininterrottamente per molto tempo, ed era difficile per il bambino interromperlo, e Doubao sembrava troppo lento per affrontare i problemi. Sebbene nessuno dei giocattoli abbia causato preoccupazioni significative ai genitori durante questa settimana di test a casa, Craig ha detto che non prenderà in considerazione l'acquisto di loro in questa fase.
Anche gli operatori del settore dei giocattoli basati sull'intelligenza artificiale hanno espresso preoccupazione per le attuali condizioni del mercato. Paul Clarke, fondatore di Play Tech AI, un'azienda britannica di giocattoli basati sull'intelligenza artificiale, ha affermato di aver visto alla recente Fiera del giocattolo di Shanghai che molti prodotti mancavano ancora di una progettazione e di una supervisione di sicurezza complete. Egli ritiene che i giocattoli basati sull'intelligenza artificiale potrebbero effettivamente diventare parte dell'educazione e dell'intrattenimento dei bambini in futuro, ma solo se saranno progettati correttamente e verranno stabiliti standard di settore sufficientemente severi. Ha detto senza mezzi termini che l’intero settore ha urgente bisogno di supervisione. Altrimenti, maggiore è la dimensione del mercato, maggiore è il rischio che prodotti non sicuri entrino nelle case dei consumatori.
Anche Rocío Cifuentes, commissario gallese per l'infanzia, ha invitato il governo a stabilire regole severe sui prodotti di intelligenza artificiale per i bambini. È particolarmente preoccupata che le conversazioni tra bambini e giocattoli possano essere registrate e condivise all'insaputa o al consenso dei genitori. Inoltre, i giocattoli basati sull’intelligenza artificiale potrebbero anche cambiare il modo in cui bambini e genitori interagiscono. Ha sottolineato che i giocattoli possono svolgere un ruolo importante nella crescita dei bambini, ma non possono sostituire la comunicazione reale e il contatto emotivo tra le persone.
Berry Billingsley, professore di educazione e intelligenza artificiale presso l'Università di Swansea, ha suggerito che i genitori non dovrebbero consentire ai bambini di utilizzare giocattoli basati sull'intelligenza artificiale solo con funzioni di conversazione e dovrebbero stabilire in anticipo regole per i bambini sulla condivisione dei dati. Ha sottolineato che, sebbene il peluche sembri e si senta simile a un tradizionale orsacchiotto, la sua funzione effettiva è più vicina a un dispositivo elettronico personale in grado di raccogliere ed elaborare continuamente informazioni.
Questa non è la prima volta che sorgono controversie sulla sicurezza dei giocattoli IA. Nel 2025, l’orso Kumma lanciato dalla società cinese FoloToy è stato temporaneamente ritirato dal mercato dopo che era stato riferito che forniva ai bambini modi per accendere fiammiferi e che intratteneva conversazioni sessuali inappropriate. L’azienda dichiarò all’epoca che avrebbe continuato a sviluppare prodotti complementari all’intelligenza artificiale sicuri e adatti alle caratteristiche dell’età dei bambini.
Con l'ingresso graduale dell'intelligenza artificiale generativa nel mercato tradizionale dei giocattoli, anche le prospettive commerciali dei prodotti correlati hanno attirato l'attenzione. Il mercato globale dei peluche basati sull’intelligenza artificiale è ancora nelle sue fasi iniziali, con una valutazione di circa 165 milioni di dollari, ma gli esperti del settore prevedono che questo mercato potrebbe espandersi rapidamente in futuro. Nel giugno 2025, il gigante dei giocattoli Mattel ha annunciato una partnership strategica con OpenAI e ha pianificato di sviluppare congiuntamente prodotti di intelligenza artificiale.
Il governo britannico ha affermato che la sicurezza dei bambini è sempre la sua massima priorità e spera inoltre di sostenere l'innovazione tecnologica garantendo al tempo stesso la sicurezza dei consumatori. Il governo sta cercando input da parte dell’industria e del pubblico su come aggiornare le norme sulla sicurezza dei giocattoli per adattarsi allo sviluppo di tecnologie emergenti come l’intelligenza artificiale. In precedenza, un gruppo di parlamentari britannici e membri della Camera dei Lord aveva scritto ai dipartimenti governativi e ai rivenditori, chiedendo che la vendita dei prodotti correlati fosse temporaneamente sospesa fino a quando i giocattoli basati sull’intelligenza artificiale non supereranno la verifica di sicurezza, soprattutto prima dell’arrivo del Black Friday e della stagione dello shopping natalizio.
Il problema messo in luce da questo incidente non è solo che il modello di intelligenza artificiale produce occasionalmente risposte sbagliate, ma anche che i confini di responsabilità tra produttori di giocattoli per bambini, fornitori di servizi di intelligenza artificiale e piattaforme di vendita non sono chiari. Quando un giocattolo intelligente commercializzato per bambini di tre anni produce risposte apparentemente inappropriate e gli investigatori non riescono nemmeno a identificare l'azienda che lo ha prodotto, è difficile per i consumatori sapere chi ritenersi responsabile. Per questo tipo di prodotto che può interagire a lungo con i bambini, trattare argomenti delicati e raccogliere dati sulle conversazioni, è ovviamente difficile risolvere completamente il problema affidandosi semplicemente al produttore per impostare un proprio meccanismo di filtraggio di sicurezza.
Commenti