3D grafikos sritis išgyvena nuostabią evoliuciją, ypač kalbant apie sudėtingų scenų atvaizdavimo metodus. Šiame straipsnyje nagrinėjami trijų esminių technologijų, kurios formuoja šią sritį, sudėtingumai: NeRF (Neural Radiance Fields – neuroniniai spinduliavimo laukai), ADOP (Approximate Differentiable One-Pixel Point Rendering – apytikslis diferencijuojamas vieno pikselio taškų atvaizdavimas), Gaussian Splatting (Gausinis taškų sklaida) ir TRIPS (Trilinear Point Splatting for Real-Time Radiance Field Rendering – tritiesinis taškų sklaida realaus laiko spinduliavimo laukų atvaizdavimui). Kiekviena iš jų žymi šuolį į priekį mūsų kelyje kuriant vis tikroviškesnius virtualius pasaulius.
Neuroniniai spinduliavimo laukai (NeRF)
NeRF atsirado kaip novatoriškas metodas, paverčiantis 2D vaizdų rinkinį naršoma 3D scena. Jis naudoja neuroninį tinklą, kad išmoktų didelės raiškos 3D scenos vaizdavimą, leidžiantį atvaizduoti vaizdus iš skirtingų žiūros taškų su stulbinančiomis detalėmis ir fotorealizmu. Technologija pritaikoma įvairiose srityse, nuo virtualios realybės iki autonominės navigacijos.
Instant NeRF: kitas žingsnis
Žymus NeRF technologijos pažanga yra Instant NeRF. „NVIDIA“ sukurtas metodas žymiai pagreitina procesą, apmokydamas vos iš kelių dešimčių nuotraukų per kelias sekundes ir atvaizduodamas 3D sceną per milisekundes. Šis greitas atvaizdavimo pajėgumas atveria naujas galimybes realaus laiko aplikacijoms ir gali iš esmės pakeisti 3D turinio kūrimą.
ADOP: apytikslis diferencijuojamas vieno pikselio taškų atvaizdavimas
ADOP, kuris reiškia Approximate Differentiable One-Pixel Point Rendering (apyktikslis diferencijuojamas vieno pikselio taškų atvaizdavimas), yra taškais pagrįsta, diferencijuojama neuroninio atvaizdavimo vamzdynas, kurį pristatė Darius Rückert, Linus Franke ir Marc Stamminger. Ši sistema yra sukurta priimti kalibruotus kameros vaizdus ir scenos pakaitinę geometriją, paprastai taškų debesį, kaip įvestį. Taškų debesis tada rasterizuojamas su išmoktais požymių vektoriais kaip spalvomis, o gilusis neuroninis tinklas naudojamas užpildyti spragas ir šešėliuoti kiekvieną išvesties pikselį.
ADOP rasterizatorius atvaizduoja taškus kaip vieno pikselio „splatus“, kurie yra ne tik labai greiti, bet ir leidžia efektyviai apskaičiuoti gradientus visų atitinkamų įvesties parametrų atžvilgiu. Dėl to jis ypač tinka aplikacijoms, kurioms reikia realaus laiko atvaizdavimo spartos, net ir modeliams, turintiems gerokai daugiau nei 100 milijonų taškų.
Be to, ADOP apima visiškai diferencijuojamą fizika pagrįstą fotometrinį kameros modelį, kuris apima ekspoziciją, baltos spalvos balansą ir kameros atsako funkciją. Vadovaudamasis atvirkštinio atvaizdavimo principais, ADOP patikslina savo įvestį, kad sumažintų neatitikimus ir optimizuotų savo išvesties kokybę. Tai apima struktūrinių parametrų, tokių kaip kameros poza, objektyvo iškraipymai, taškų pozicijos ir požymiai, taip pat fotometrinių parametrų, tokių kaip kameros atsako funkcija, vinjetavimas ir kiekvieno vaizdo ekspozicija bei baltos spalvos balansas, optimizavimą.
Dėl savo gebėjimo sklandžiai apdoroti įvesties vaizdus su skirtinga ekspozicija ir baltos spalvos balansu, ir gebėjimo generuoti didelio dinaminio diapazono išvestį, ADOP yra reikšmingas pažanga neuroninio atvaizdavimo srityje. Jei jus domina kompiuterinė grafika, ypač alternatyvos Gausiniam taškų sklaidai, ADOP požiūris į taškų rasterizavimą ir scenos patikslinimą gali būti gana aktualus jūsų darbui ar tyrimams.
Gausinis taškų sklaida
Pereinant prie tradicinių metodų, Gausinis taškų sklaida yra patikrintas ir išbandytas tūrio atvaizdavimo ir taškais pagrįstos grafikos metodas. Jis projektuoja 3D duomenis į 2D plokštumą naudodamas Gauso skirstinius, sukuriant sklandžius perėjimus ir atvaizduojant tūrio duomenis, tokius kaip medicininiai skenavimai, su įspūdingu aiškumu.
Naujausi pokyčiai
Naujausi patobulinimai pristatė 3D Gausinį taškų sklaidą (3DGS), kuri pagreitina atvaizdavimo greitį ir suteikia aiškų scenų vaizdavimą. Tai palengvina dinaminę rekonstrukciją ir redagavimo užduotis, plečiant galimybių ribas, kurias galima pasiekti naudojant tradicinius taškų sklaidos metodus.
TRIPS: realaus laiko atvaizdavimo riba
TRIPS atstovauja pažangiausią ribą, sujungdamas Gausinio taškų sklaidos ir ADOP (Adaptive Density Point Clouds – adaptyvūs tankio taškų debesys) stipriąsias puses. Jis rasterizuoja taškus į ekrano erdvės vaizdų piramidę, leidžiantį atvaizduoti didelius taškus su vienu tritiesiniu įrašymu. Lengvas neuroninis tinklas tada rekonstruoja detalų, be skylių vaizdą.
Kodėl TRIPS išsiskiria
- Realaus laiko našumas: TRIPS palaiko 60 kadrų per sekundę greitį standartinėje techninėje įrangoje, todėl jis tinkamas realaus laiko aplikacijoms.
- Diferencijuojamas atvaizdavimo vamzdynas: vamzdyno diferencijuojamumas reiškia, kad taškų dydžiai ir pozicijos gali būti optimizuojami automatiškai, pagerinant atvaizduotos scenos kokybę.
- Kokybė sudėtingose situacijose: TRIPS puikiai atvaizduoja sudėtingas geometrijas ir plačius kraštovaizdžius, suteikdamas geresnį laiką stabilumą ir detales nei ankstesni metodai.
TRIPS vamzdynas
TRIPS ištekliai
Apibendrinimas
Kelionė nuo NeRF iki TRIPS apima spartų 3D scenų atvaizdavimo progresą. Mums judant link efektyvesnių ir aukštesnės kokybės metodų, potencialas kurti įtraukiančias virtualias patirtis tampa vis apčiuopiamesnis. Šios technologijos ne tik plečia grafikos galimybių ribas, bet ir atveria kelią inovacijoms įvairiose pramonės šakose, nuo pramogų iki urbanistikos planavimo.
Tiems, kurie siekia giliau pasinerti į šias technologijas, yra gausybė išteklių, įskaitant išsamias apžvalgas ir atvirojo kodo platformas, kurios palengvina NeRF projektų kūrimą. 3D atvaizdavimo ateitis yra šviesi, ir būtent tokios technologijos kaip NeRF, Gausinis taškų sklaida ir TRIPS apšvies kelią į priekį.
