Aceeași tehnologie NVIDIA care a făcut posibilă multiplicarea cadrelor pe secundă în jocuri cu ajutorul AI ajunge și în soluția de encodare/streaming video FFmpeg.
Noua opțiune implementată cu ajutorul API-ului Vulkan va permite transformarea oricărui clip înregistrat la un framerate redus într-o filmare mai clară, inserând cadre suplimentare aproximate cu ajutorul algoritmilor dezvoltați de Nvidia.
Pentru cine nu știe, FFmpeg este o platformă software utilizată pe scară largă, care susține o mare parte din procesarea multimedia modernă, folosită inclusiv platforme precum YouTube și alte servicii de streaming și aplicații. De acum, FFmpeg va putea accesa capabilitățile GPU-urilor NVIDIA GeForce RTX pentru a prezice și genera următorul cadru fără a pune și mai multă presiune pe motorul de randare tradițional. NVIDIA extinde această capacitate la codarea video, permițând utilizatorilor să crească rata de cadre a videoclipurilor lor prin tehnologia de generare a cadrelor.
Acceleratorul de flux optic (NVOFA) din GPU-urile NVIDIA aplică aceeași logică de flux optic utilizată în randarea grafică la videoclipuri, prezicând următorul cadru și îmbunătățind cursivitatea mișcărilor inserând cadre generate de inteligența artificială. NVIDIA numește acest proces Conversie ascendentă a ratei de cadre asistată de motor (FRUC).
FRUC este mai mult decât un algoritm de netezire a cadrelor (ex. ceea ce întâlnești în echiparea majorității televizoarelor moderne), deoarece utilizează motorul Optical Flow Accelerator dedicat de la NVIDIA pentru a calcula mișcarea dintre cadrele sursă consecutive. NVENC furnizează datele cadrelor de la nivelul encoderului, în timp ce hardware-ul fluxului optic generează vectori de mișcare care descriu modul în care obiectele se mișcă între cadre. FFmpeg poate apoi utiliza aceste informații de mișcare pentru a sintetiza un cadru intermediar, crescând efectiv rata de cadre a videoclipului fără a reprocesa conținutul original. Acest lucru este, de asemenea, mai eficient decât interpolarea bazată pe software, care poate impune cerințe de calcul semnificativ mai mari asupra procesorului. Noua implementare Vulkan oferă FFmpeg acces direct la hardware-ul NVIDIA, evitând în același timp dependența de software proprietar care a împiedicat îmbinarea patch-ului anterior din 2023.
Optical Flow Accelerator a fost introdus inițial în era plăcilor video GeForce RTX seria 20 „Turing”. Cu toate acestea, implementarea bazată pe API-ul Vulkan este oficial compatibilă doar cu plăcile video GeForce RTX seria 30 „Ampere” de la NVIDIA și versiunile mai noi. Aceasta înseamnă că posesorii seriilor GeForce RTX 30, RTX 40 și RTX 50 pot beneficia de noua funcție.
În esență, dacă PC-ul tău este compatibil vei putea dubla framerate-ul nativ al clipurilor video (ex. de la 30 FPS la 60 FPS și a videoclipurilor cinematografice de 24 FPS la 48 FPS cu interpolare de cadre asistată de GPU). Pentru a beneficia de această capabilitate, trebuie doar să instalezi/folosești cea mai recentă versiune FFmpeg.
Autor
