3D 그래픽 분야는 특히 복잡한 장면을 렌더링하는 데 사용되는 기술에서 놀라운 발전을 이루어 왔습니다. 본 글에서는 이 분야의 지형도를 형성해 온 세 가지 핵심 기술, 즉 NeRF (Neural Radiance Fields, 신경 방사 필드), ADOP (Approximate Differentiable One-Pixel Point Rendering, 근사 미분 가능 원-픽셀 포인트 렌더링), Gaussian Splatting (가우시안 스플래팅), 그리고 TRIPS (Trilinear Point Splatting for Real-Time Radiance Field Rendering, 실시간 방사 필드 렌더링을 위한 삼선형 포인트 스플래팅)에 대해 자세히 살펴봅니다. 각 기술은 더욱 현실적인 가상 세계를 만들고자 하는 우리의 탐구에 있어 획기적인 도약을 나타냅니다.
Neural Radiance Fields (NeRF)
NeRF는 획기적인 접근 방식으로 등장하여 2D 이미지 컬렉션을 탐색 가능한 3D 장면으로 변환했습니다. 신경망을 사용하여 장면의 고해상도 3D 표현을 학습함으로써 다양한 시점에서 놀라운 디테일과 사진과 같은 사실감으로 이미지를 렌더링할 수 있습니다. 이 기술은 가상 현실부터 자율 주행 내비게이션까지 다양한 영역에서 응용 분야를 찾았습니다.
Instant NeRF: 다음 단계
NeRF 기술의 주목할 만한 발전은 Instant NeRF입니다. NVIDIA에서 개발한 Instant NeRF는 프로세스 속도를 크게 향상시켜 단 몇십 장의 사진으로 몇 초 만에 학습하고 밀리초 단위로 3D 장면을 렌더링합니다. 이러한 빠른 렌더링 기능은 실시간 애플리케이션을 위한 새로운 가능성을 열고 3D 콘텐츠 제작에 혁명을 일으킬 수 있습니다.
ADOP: Approximate Differentiable One-Pixel Point Rendering
ADOP, 즉 Approximate Differentiable One-Pixel Point Rendering은 Darius Rückert, Linus Franke, Marc Stamminger가 소개한 포인트 기반의 미분 가능한 신경 렌더링 파이프라인입니다. 이 시스템은 보정된 카메라 이미지와 장면의 프록시 지오메트리(일반적으로 포인트 클라우드)를 입력으로 사용하도록 설계되었습니다. 그런 다음 포인트 클라우드는 학습된 특징 벡터를 색상으로 사용하여 래스터화되고, 심층 신경망이 활용되어 간격을 채우고 각 출력 픽셀에 음영을 처리합니다.
ADOP의 래스터라이저는 포인트를 원-픽셀 스플랫으로 렌더링하는데, 이는 매우 빠를 뿐만 아니라 모든 관련 입력 매개변수에 대한 기울기를 효율적으로 계산할 수 있게 해줍니다. 따라서 1억 개가 넘는 포인트가 있는 모델에서도 실시간 렌더링 속도가 필요한 애플리케이션에 특히 적합합니다.
또한 ADOP에는 노출, 화이트 밸런스, 카메라 응답 함수를 포괄하는 완전 미분 가능한 물리 기반 측광 카메라 모델이 포함되어 있습니다. 역 렌더링 원칙에 따라 ADOP는 불일치를 최소화하고 출력 품질을 최적화하기 위해 입력을 개선합니다. 여기에는 카메라 포즈, 렌즈 왜곡, 포인트 위치, 특징과 같은 구조적 매개변수뿐만 아니라 카메라 응답 함수, 비네팅, 이미지별 노출 및 화이트 밸런스와 같은 측광 매개변수도 최적화하는 것이 포함됩니다.
다양한 노출 및 화이트 밸런스의 입력 이미지를 원활하게 처리하고 HDR(High-Dynamic Range) 출력을 생성하는 능력 덕분에 ADOP는 신경 렌더링 분야에서 상당한 발전을 나타냅니다. 컴퓨터 그래픽, 특히 Gaussian splatting의 대안에 관심이 있다면 포인트 래스터화 및 장면 개선에 대한 ADOP의 접근 방식이 귀하의 작업이나 연구에 매우 관련성이 높을 수 있습니다.
Gaussian Splatting
전통적인 방법으로 넘어가서, Gaussian Splatting은 볼륨 렌더링 및 포인트 기반 그래픽을 위한 검증된 기술로 자리매김하고 있습니다. 가우시안 분포를 사용하여 3D 데이터를 2D 평면에 투영하여 부드러운 전환을 만들고 의료 스캔과 같은 체적 데이터를 인상적인 선명도로 렌더링합니다.
최근 개발 동향
최근의 발전으로 렌더링 속도를 가속화하고 장면의 명시적 표현을 제공하는 3D Gaussian Splatting (3DGS)이 도입되었습니다. 이는 동적 재구성 및 편집 작업을 용이하게 하여 기존 스플래팅 방법으로 달성할 수 있는 경계를 넓힙니다.
TRIPS: 실시간 렌더링의 최첨단
TRIPS는 최첨단을 나타내며, Gaussian Splatting과 ADOP (Adaptive Density Point Clouds, 적응형 밀도 포인트 클라우드)의 강점을 결합합니다. 포인트를 화면 공간 이미지 피라미드로 래스터화하여 단일 삼선형 쓰기로 큰 포인트를 렌더링할 수 있습니다. 그런 다음 경량 신경망이 상세하고 구멍 없는 이미지를 재구성합니다.
TRIPS의 뛰어난 점
- 실시간 성능: TRIPS는 표준 하드웨어에서 60fps 속도를 유지하므로 실시간 애플리케이션에 적합합니다.
- 미분 가능한 렌더 파이프라인: 파이프라인의 미분 가능성은 포인트 크기와 위치를 자동으로 최적화하여 렌더링된 장면의 품질을 향상시킬 수 있음을 의미합니다.
- 까다로운 시나리오에서의 품질: TRIPS는 복잡한 지오메트리 및 광활한 풍경을 렌더링하는 데 탁월하며 이전 방법보다 더 나은 시간적 안정성과 디테일을 제공합니다.
TRIPS 파이프라인
TRIPS 관련 자료
마무리
NeRF에서 TRIPS까지의 여정은 3D 장면 렌더링의 빠른 발전을 요약합니다. 더욱 효율적이고 고충실도 방법으로 나아감에 따라 몰입형 가상 경험을 만들 가능성이 점점 더 구체화되고 있습니다. 이러한 기술은 그래픽 분야의 한계를 넓힐 뿐만 아니라 엔터테인먼트에서 도시 계획에 이르기까지 다양한 산업 분야의 혁신을 위한 길을 열어줍니다.
이러한 기술을 더 깊이 탐구하려는 사람들을 위해 종합적인 리뷰와 NeRF 프로젝트 개발을 용이하게 하는 오픈 소스 플랫폼을 포함하여 풍부한 자료가 제공됩니다. 3D 렌더링의 미래는 밝으며, NeRF, Gaussian Splatting, TRIPS와 같은 기술이 앞으로 나아갈 길을 밝혀줄 것입니다.