Gli ingegneri antropici avvertono: più forte è l’intelligenza artificiale, più facile sarà per gli esseri umani cadere nella “resa cognitiva”

Riassunto:

Il 4 novembre, Addy Osmani, un ingegnere del team Claude Code di Anthropic ed ex dirigente tecnologico di Google, ha recentemente pubblicato un lungo articolo sulla piattaforma social. Chiama questo fenomeno

"resa cognitiva"

(Resa Cognitiva).

Osmani lavora presso Google da più di 14 anni ed è stato responsabile dell'esperienza degli sviluppatori di Chrome e delle attività correlate all'intelligenza artificiale di Google Cloud. Attualmente sta lavorando a Claude Code presso Anthropic.

Osmani ha affermato di essere un convinto sostenitore del flusso di lavoro degli agenti basati sull'intelligenza artificiale e spesso utilizza più agenti contemporaneamente nel suo lavoro quotidiano. Ma ha scoperto un cambiamento che merita attenzione:

Mentre i modelli di intelligenza artificiale continuano a migliorare, ci sono sempre meno errori evidenti nei risultati di output, rendendo più difficile per gli esseri umani rimanere vigili.

In passato, le persone in genere dovevano passare attraverso il processo di raccolta delle informazioni, analisi, giudizio, ecc. per ottenere la risposta, ma ora questo processo può essere compresso in pochi secondi. I contenuti generati dall'intelligenza artificiale sono spesso ben strutturati, espressi in modo fluido e corretti nella maggior parte dei casi, rendendo sempre più facile per gli utenti saltare il pensiero e la verifica indipendenti.

Ha diviso lo stato dell'uso umano dell'IA in tre livelli: il primo è

"offload cognitivo"

(Cognitive Offloading), il che significa che il compito viene affidato all’IA per il completamento, ma è comunque responsabile dei risultati; il secondo è

"rinviare il giudizio"

(Deferral), ovvero l’output dell’AI non è più considerato come un’ipotesi da verificare, ma utilizzato direttamente come base per la fase successiva di lavoro; l'ultimo è

"Resa Cognitiva"

,

Cioè, il risultato dell'intelligenza artificiale diventa gradualmente il giudizio dell'utente e l'utente non pensa nemmeno più che sia necessario verificare.

Tra questi, il concetto di "resa cognitiva" è stato proposto per la prima volta dai ricercatori della Wharton School Steven Shaw e Gideon Nave.

Osmani ritiene che

questa trasformazione spesso non avviene all'improvviso, ma si forma gradualmente nel processo di uso continuo dell'intelligenza artificiale

.

Gli utenti possono leggere attentamente il primo rapporto AI, dare solo una rapida occhiata al secondo e anche solo controllare la struttura del terzo. Alla fine, quando viene chiesto loro una conclusione specifica, gli utenti potrebbero trovarsi incapaci di spiegare la logica.

Ha collegato questo fenomeno al "debito cognitivo". Nel campo dello sviluppo software, l'intelligenza artificiale può generare una grande quantità di codice e tutti i test possono superare, ma la comprensione dell'architettura del sistema e della logica di implementazione da parte dei membri del team diminuisce costantemente. Fu solo il giorno in cui fu necessario modificare il sistema che gli sviluppatori scoprirono che nessuno capiva veramente come funzionassero certe funzionalità.

Tuttavia, Osmani non crede che gli sviluppatori debbano ricordare tutti i dettagli di un'enorme base di codice. Ha sottolineato che il team di Claude Code utilizzerà anche l’intelligenza artificiale per ristabilire la comprensione di moduli di codice specifici quando necessario. Ciò che è veramente importante non è sapere sempre tutto, ma sapere quello che non sai e avere la capacità di ricomprenderlo.

Per quanto riguarda come evitare la "capitolazione cognitiva", ha suggerito Osmani,

Prima di porre domande complesse all'intelligenza artificiale, gli esseri umani dovrebbero formare le proprie ipotesi preliminari invece di affidarsi interamente all'intelligenza artificiale per fornire risposte.

Anche se l’ipotesi iniziale non è accurata, può aiutare gli utenti a mantenere una base per un giudizio indipendente quando ricevono i risultati dell’intelligenza artificiale.

Ha anche suggerito che

gli utenti dovrebbero cercare attivamente prove che possano ribaltare la conclusione dell'intelligenza artificiale, piuttosto che limitarsi a chiedere al modello quanto è sicuro della sua risposta.

Per questioni controverse, modelli diversi possono presentare argomentazioni da posizioni opposte e quindi gli esseri umani possono esprimere giudizi esaurienti.

Nel campo dello sviluppo software, Osmani ritiene che il collo di bottiglia nell'era dell'IA si stia spostando dalla scrittura del codice alla verifica se il codice è corretto.

Attualmente, gli agenti IA possono scrivere codice, eseguire test, leggere messaggi di errore e modificarli ripetutamente finché il test non viene superato. Ma il problema è che anche i test stessi potrebbero essere scritti dall’intelligenza artificiale. Se la logica e il codice del test presentano gli stessi errori, anche se tutti i test passano, non è possibile dimostrare che il software non abbia problemi.

Pertanto, ha sottolineato che gli sviluppatori non dovrebbero solo prestare attenzione al superamento del test, ma dovrebbero anche chiarire cosa dimostra il test e quali rischi non sono coperti. Per i risultati forniti dall’IA, i criteri di accettazione dovrebbero essere prove verificabili come risultati effettivi dei test, registri delle operazioni, schermate, ecc., piuttosto che un riepilogo apparentemente ragionevole generato dall’IA.

Osmani ha inoltre proposto che gli sviluppatori richiedano all'Agent di elencare chiaramente le decisioni prese autonomamente durante l'esecuzione del compito, le ipotesi che ha adottato e le condizioni che ha ignorato, perché questi contenuti solitamente non compaiono nel riassunto del lavoro finale.

Poiché l'intelligenza artificiale è in grado di eseguire sempre più attività contemporaneamente, inizia a sorgere un altro problema. Osmani la chiama

"tassa di orchestrazione"

(Orchestration Tax), ovvero il divario tra la velocità con cui l’intelligenza artificiale genera risultati e la velocità con cui gli esseri umani possono esaminarli attentamente ed essere disposti ad assumersene la responsabilità.

Quando i risultati del lavoro generati dall'IA continuano ad accumularsi e gli esseri umani non hanno più abbastanza tempo per esaminarli, continuare ad aumentare il numero di Agenti non risolverà il problema. Ritiene che in questo caso il team dovrebbe migliorare il meccanismo di verifica automatica o ridurre adeguatamente la velocità di generazione delle attività.

Osmani ha anche avvertito che

l'elevato grado di automazione dell'intelligenza artificiale potrebbe indurre gli esseri umani a rinunciare gradualmente a praticare le loro abilità originali.

Consiglia agli sviluppatori di provare a scrivere del codice senza utilizzare l'intelligenza artificiale ogni settimana, di rivisitare ogni mese le competenze che hanno smesso di praticare e di giudicare quali competenze vale ancora la pena conservare.

Ha anche citato la ricerca di Anthropic sull'uso dell'intelligenza artificiale da parte di ingegneri e ricercatori interni, sottolineando che esiste un "paradosso della supervisione": supervisionare Claude richiede capacità di programmazione, ma un uso eccessivo dell'intelligenza artificiale può degradare queste capacità.

Osmani ha sottolineato che queste opinioni non significano che l'uso dell'intelligenza artificiale debba essere ridotto. Non ci sono problemi nelle attività in cui il costo dell’errore è basso, completamente affidato all’intelligenza artificiale, ma quando si tratta di investimenti, scelte di carriera, sicurezza dei prodotti o decisioni importanti che riguardano altre persone, gli esseri umani dovrebbero comunque mantenere i diritti di giudizio chiave.

A suo avviso, i futuri modelli di intelligenza artificiale potrebbero essere più bravi degli esseri umani nel individuare gli errori, ma ciò non elimina la responsabilità umana.

Decidere quali prodotti sviluppare, perché vale la pena svilupparli, su chi avranno un impatto e quale prezzo sono disposti a pagare per ottenerli richiede ancora scelte umane.

Concludeva alla fine dell'articolo: "

Puoi affidare il lavoro e la maggior parte dei compiti di revisione all'intelligenza artificiale, ma non puoi delegare anche la responsabilità.

"