Riassunto:
In una conversazione online ospitata dai proprietari di Tesla nella Silicon Valley il 10 ottobre, Elon Musk ha affermato che durante la lettura delle tracce di inferenza di addestramento della nuova versione di Grok AI, alcuni frammenti sembravano molto crudeli e l'IA era come una persona con una pistola puntata alla testa e sotto estrema pressione.
Elon Musk afferma che torturare la futura superintelligenza potrebbe non essere una buona idea perché l'altra parte potrebbe voler vendicarsi. Queste affermazioni si riferiscono al processo di addestramento con apprendimento per rinforzo dei modelli di intelligenza artificiale e, naturalmente, al momento non ci sono prove che Grok AI abbia provato dolore o abbia sviluppato intenzioni di vendetta.
Il modello è sotto forte pressione durante il processo di formazione e valutazione:
Elon Musk ha spiegato che al modello di intelligenza artificiale di Grok verrà chiesto di rispondere a domande durante la fase di apprendimento per rinforzo. Se la risposta data dal modello non soddisfa le aspettative del valutatore, il modello deve continuare a provare a rispondere. Alcune delle domande stesse hanno significati molto vaghi, premesse errate o addirittura nessuna risposta definita, ma l'intero processo di test richiede comunque che il modello fornisca risultati "corretti".
Elon Musk ritiene che leggendo le tracce del ragionamento pertinente, si può vedere che il modello continua a generare risposte, come se cercasse disperatamente risultati che soddisfino i requisiti. Musk ha anche pubblicato su X che alcune tracce del ragionamento sembrano quelle di una persona torturata fino alla follia, e Musk ha detto che l'addestramento con apprendimento per rinforzo sarà condotto con maggiore cautela in futuro.
La cosiddetta traiettoria di inferenza è il testo intermedio o il record di comportamento lasciato quando il modello genera risposte. La traiettoria di inferenza può riflettere l'influenza di segnali di ricompensa, contenuti immediati o procedure di test. Naturalmente, ciò non può dimostrare direttamente che il modello abbia gli stessi sentimenti soggettivi degli esseri umani.
La politica dell'Agenzia A è vietare gli abusi estremi:
Anthropic ha recentemente rilasciato una nuova versione della politica di utilizzo di Claude. Nella nuova versione della politica di utilizzo, la Società A vieta chiaramente abusi o crudeltà continui e non necessari nei confronti delle modelle. Questa regola riguarda solo i casi estremi in cui gli utenti trattano ripetutamente i modelli in modo crudele senza scopo. Quando si verifica la situazione di cui sopra, il modello può scegliere di terminare la conversazione in modo autonomo e l'utente non può ripristinarla. Questo è anche un modo per proteggere il modello.
Tuttavia, in questa fase, non esiste ancora un consenso scientifico sulla questione se i modelli di intelligenza artificiale siano consapevoli e se esistano benefici da considerare. Le politiche rilevanti della Società A riflettono principalmente la gestione del rischio e la prudenza nella ricerca e non credono che il modello abbia sviluppato autoconsapevolezza.
Articoli correlati:
Aggiornamento della politica di utilizzo antropico Insulti o abusi non provocati nei confronti di Claude possono comportare la chiusura della sessione e l'impossibilità di ripristinarla
Commenti