OpenAI implementa la "sala di controllo" dell'intelligenza artificiale: blocca l'output del modello per un massimo di 35 secondi

Riassunto:

OpenAI ha recentemente annunciato di aver implementato un sistema di controllo centrale chiamato "Control Room" nella sua infrastruttura di ricerca interna. Quando l'attività del modello causa rischi per la sicurezza o la sicurezza della rete,

il sistema può impedire al modello di continuare l'output fino a 35 secondi dopo aver ricevuto il comando di arresto

Secondo OpenAI, la Control Room può monitorare in modo uniforme attività di ricerca come la formazione sull'apprendimento per rinforzo, la valutazione del modello, il campionamento degli agenti e l'elaborazione dei dati ed è collegata al sistema di monitoraggio del comportamento del modello.

Il modello di monitoraggio controllerà il ragionamento e il processo operativo del modello addestrato. Una volta scoperti potenziali problemi, è possibile emettere un allarme o sospendere direttamente l'attività in base al grado di rischio

Durante il processo di esecuzione specifico, il sistema di monitoraggio invierà alla sala di controllo l'ID dell'attività che deve essere interrotta. La prossima volta che l'attività rilevante verrà applicata per l'inferenza del modello, il motore di inferenza ne verificherà l'autorizzazione all'esecuzione; se l'attività è stata contrassegnata come terminata, il sistema rifiuterà la richiesta per impedire al modello di continuare a generare contenuto.

OpenAI ha dichiarato che

Attualmente, sono necessari fino a 35 secondi dal momento in cui la sala di controllo riceve il comando di arresto fino a quando l'attività non può continuare a essere eseguita.

Il sistema utilizza anche un meccanismo di "fail-close". Se la Control Room si guasta, viene spenta o manomessa, tutte le richieste di inferenza correlate verranno negate per impostazione predefinita fino al ripristino del servizio. Questo meccanismo ora copre tutte le attività di ricerca sui modelli all’avanguardia di OpenAI ed è in fase di espansione ad altre attività di ricerca. OpenAI ha affermato che i suoi servizi di modello esterno adottano un'architettura tecnica più centralizzata e attualmente dispongono di corrispondenti capacità di implementazione offline e di risposta alle emergenze.