Fényképek alapján hoz létre háromdimenziós modelleket az NVIDIA új mesterséges intelligenciája, mely a különböző irányból készült fotók és elkészítésük szögére vonatkozó információ, továbbá a fény viselkedésének lemodellezése alapján állít elő háromdimenziós modelleket – számolt be róla az Engadget. Az NVIDIA a NeRF, vagy ismertebb nevén a Neural Radiance Fields technológiát használta az új fejlesztéshez, melynek lényege, hogy a fentebb említett grafikai műveletet neurális hálózatok segítségével oldják meg. A cég Instant NeRF fejlesztése nagyjából ezerszer gyorsabban dolgozik a jelenlegi NeRF-technológiát használó programokhoz képest.

„Az Instant NeRF ugyanolyan fontos lehet a 3D-ben, mint a digitális fényképezőgépek és a JPEG-tömörítés a 2D-s fotózásban: ugyanis az új találmány jelentősen növeli a 3D-rögzítés és megosztás sebességét, egyszerűségét és elérhetőségét" – emelte ki David Luebke, az NVIDIA grafikai kutatásokért felelős alelnöke.

Mint ahogyan az NVIDIA GTC egyik előadásán is bemutatták, az Instant NeRF használható avatarok vagy jelenetek létrehozására virtuális világok számára, videokonferencia résztvevőinek és környezetük 3D-ben való rögzítésére, vagy jelenetek rekonstruálására 3D-s digitális térképekhez.

Optimális esetben egy NeRF lényegében kitölti az üres helyeket egy neurális hálózat segítségével, hogy rekonstruálja a jelenetet azáltal, hogy megjósolja a háromdimenziós tér bármely pontjáról bármely irányba sugárzó fény színét. Ami a NeRF-ek működéséhez szükséges fényképeket illeti, minél gyorsabban érdemes exponálni, ugyanis a mozgás miatti életlenség erőteljes elmosódást eredményezhet a háromdimenziós modellen is. Érdekes módon a takarásban lévő tárgyak egyes esetekben ugyanúgy hibátlanul megjelenítésre kerülnek.

A 3D-s életkép hagyományos módszerekkel történő létrehozása a vizualizáció összetettségétől és felbontásától függően órákig vagy még tovább tart. A mesterséges intelligencia bevonása felgyorsítja a dolgokat. A korai NeRF-modellek néhány perc alatt éles jeleneteket rendereltek le különösebb hibák nélkül, viszont ehhez órákig kellett tanítani előtte. Az Instant NeRF azonban több nagyságrenddel lerövidíti a renderelési időt.

Az NVIDIA által kifejlesztett NeRF a „többfelbontású hash grid kódolás”-nak fordítható technikára támaszkodik, amely az NVIDIA videókártyákon való hatékony működésre lett optimalizálva. Egy gyorsan működő, apró neurális hálózat segítségével és egy új bemeneti kódolási módszerrel sikerült a kutatóknak elérniük az eredményeiket. A modellt az NVIDIA CUDA Toolkit és a Tiny CUDA Neural Networks könyvtár felhasználásával fejlesztették ki. Mivel ez nem egy erőforrásigényes neurális hálózat, ezért egyetlen NVIDIA GPU-n is futtatható.

A technológia segítségével a későbbieken robotokat és önvezető autókat is ki lehet képezni arra, hogy megértsék a valóságban található tárgyak méretét és alakját, 2D-s képek vagy videofelvételek alapján. Az Instant NeRF az építészetben és a szórakoztatóiparban is felhasználható valódi környezetek digitális reprezentációinak gyors létrehozására, amelyeket az alkotók a szükségeik szerint módosíthatnak.

(Fotó: NVIDIA)