Riassunto:
Secondo gli sviluppatori del progetto, la funzione di interpolazione dei frame accelerata dalla GPU di Nvidia è stata integrata in FFmpeg tramite l'API Vulkan. FFmpeg è un insieme di strumenti software ampiamente utilizzato che supporta un gran numero di moderne piattaforme, servizi e applicazioni di elaborazione multimediale, incluso YouTube.
Con questa nuova funzionalità, FFmpeg può chiamare la scheda grafica NVIDIA GeForce RTX per prevedere e generare il fotogramma successivo senza passare attraverso il tradizionale processo di rendering grafico. NVIDIA sta estendendo questa funzionalità alla codifica video, consentendo agli utenti di aumentare la frequenza dei fotogrammi video attraverso la tecnologia di generazione dei fotogrammi. L'acceleratore di flusso ottico (NVOFA) nelle schede grafiche NVIDIA applica al video la logica del flusso ottico utilizzata nel rendering grafico, prevede il fotogramma successivo e migliora la frequenza dei fotogrammi video attraverso fotogrammi intermedi generati dall'intelligenza artificiale. NVIDIA chiama questo processo "Conversione di aumento del frame rate assistita dal motore (FRUC)".
FRUC non è solo un algoritmo di livellamento delle immagini nel senso tradizionale. Utilizza l'acceleratore di flusso ottico dedicato di NVIDIA per calcolare le informazioni sul movimento tra fotogrammi sorgente consecutivi. NVENC è responsabile della fornitura dei dati del fotogramma dal lato della codifica e l'hardware del flusso ottico genera vettori di movimento che descrivono il movimento degli oggetti nell'immagine. FFmpeg può quindi sintetizzare i fotogrammi intermedi in base a queste informazioni di movimento, aumentando efficacemente la frequenza dei fotogrammi video senza eseguire nuovamente il rendering del contenuto originale.
Questo schema è anche più efficiente dell'interpolazione dei frame implementata dal software. L'interpolazione software pura in genere impone alla CPU richieste di calcolo significativamente più elevate. La nuova implementazione Vulkan consente a FFmpeg di accedere direttamente all'hardware NVIDIA evitando le dipendenze del software proprietario che hanno impedito l'integrazione nel progetto delle patch precedenti presentate nel 2023.
NVIDIA ha lanciato originariamente l'acceleratore di flusso ottico nell'era dell'architettura "Turing" della serie GeForce RTX 20. Tuttavia, l'attuale implementazione basata sull'API Vulkan supporta ufficialmente solo la serie GeForce RTX 30 "Ampere" e i modelli più recenti. Pertanto, questa nuova funzionalità è disponibile per gli utenti delle schede grafiche delle serie GeForce RTX 30, RTX 40 e RTX 50.
Grazie all'interpolazione dei fotogrammi assistita da GPU, la frequenza dei fotogrammi video può essere raddoppiata: il video da 30 fotogrammi può essere visualizzato a 60 fotogrammi e il video da 24 fotogrammi comune nei film può essere aumentato a 48 fotogrammi. Gli utenti devono solo eseguire lo strumento FFmpeg localmente per utilizzare questa funzionalità.
Commenti