Riassunto:
Jacob Coxon ha annunciato le sue dimissioni da Anthropic su X. Ha affermato di essere stato impegnato nella ricerca pre-formazione presso OpenAI e Anthropic negli ultimi tre anni, ma ritiene che nessuna delle due società stia portando avanti lo sviluppo dell'IA in modo responsabile. Invece, stanno “passando direttamente alla superintelligenza auto-migliorante” e mettendo a rischio la sicurezza umana.
Coxon ha affermato che i sistemi di intelligenza artificiale attualmente in costruzione in questi laboratori chiusi avranno presto capacità "sovrumane", in grado di effettuare attacchi di hacking, cambiare il modello di un determinato campo dall'oggi al domani e acquisire potere e risorse nel mondo reale. Ha sottolineato che i progressi della ricerca hanno continuato ad avanzare in molteplici direzioni e non mostrano segni evidenti di rallentamento.
Ha anche affermato che, a giudicare dalle dichiarazioni pubbliche del CEO di OpenAI Sam Altman e del CEO di Anthropic Dario Amodei, il mondo esterno potrebbe pensare che entrambe le società stiano avanzando con cautela nello sviluppo dell'intelligenza artificiale, ma lui ritiene che non sia così. Coxon sostiene che questi professionisti credono in privato che l'intelligenza artificiale "potrebbe ucciderci tutti entro la fine del secolo" e che questo non è un discorso di marketing; ha anche detto che dirigenti come Altman e Amodei modificheranno la loro retorica di fronte ai media per apparire più sobri, ma in privato sono in realtà profondamente preoccupati per ciò che si sta creando.
Secondo lui anche le culture interne di OpenAI e Anthropic sono diverse. Coxon ha affermato che molti dipendenti di OpenAI non sono "profondamente consapevoli dei rischi a livello di civiltà coinvolti"; Ad Anthropic i rischi rilevanti sono "molto chiari a tutti", ma l'azienda è ancora impegnata nella corsa per essere la prima a sviluppare AGI. Coxon ha affermato che Anthropic ritiene che, poiché gli altri potrebbero non agire in modo responsabile, debba prima vincere la gara.
Coxon ritiene che in questo contesto molte decisioni chiave non dovrebbero essere prese solo in Slack nelle aziende private. È cautamente ottimista riguardo a un maggiore coordinamento tra i laboratori di intelligenza artificiale statunitensi dopo gli eventi recenti, ma ritiene che tale cooperazione sarà inefficace una volta estesa ai laboratori al di fuori degli Stati Uniti. A tal fine ha proposto di prendere in considerazione un divieto temporaneo di modelli di miglioramento della capacità.
Alla fine del post, Jacob Coxon ha invitato gli altri ricercatori di laboratorio a pensare seriamente ai prossimi cinque anni, non per continuare a evitare problemi, ma per spingere lo sviluppo dell'IA in direzioni diverse.
Commenti