3D 繪圖領域見證了顯著的發展，尤其是在用於渲染複雜場景的技術方面。本文深入探討了塑造此領域的三項關鍵技術的複雜性：NeRF（神經輻射場）、ADOP（近似可微分單像素點渲染）、Gaussian Splatting（高斯潑濺）以及 TRIPS（用於即時輻射場渲染的三線性點潑濺）。每一項技術都代表著在我們創造更逼真的虛擬世界的道路上向前邁進了一步。
神經輻射場 (NeRF)
NeRF 作為一種突破性的方法而出現，將一系列 2D 圖像轉換為可導航的 3D 場景。它使用神經網路來學習場景的高解析度 3D 表示，從而能夠以驚人的細節和照片寫實感渲染來自不同視角的圖像。這項技術已在從虛擬實境到自主導航等多個領域中找到應用。
Instant NeRF：下一步
Instant NeRF 是 NeRF 技術方面的一項顯著進展。由 NVIDIA 開發，它顯著加快了處理速度，只需幾秒鐘即可在幾十張照片上進行訓練，並在幾毫秒內渲染 3D 場景。這種快速渲染能力為即時應用開啟了新的可能性，並可能徹底改變 3D 內容創作。
ADOP：近似可微分單像素點渲染
ADOP，即 Approximate Differentiable One-Pixel Point Rendering（近似可微分單像素點渲染）的縮寫，是由 Darius Rückert、Linus Franke 和 Marc Stamminger 引入的基於點的可微分神經渲染管線。此系統旨在接收校準的相機圖像和場景的代理幾何形狀（通常是點雲）作為輸入。然後，使用學習到的特徵向量作為顏色來柵格化點雲，並採用深度神經網路來填補間隙並為每個輸出像素著色。
ADOP 中的光柵化器將點渲染為單像素潑濺，這不僅非常快速，而且還可以有效地計算關於所有相關輸入參數的梯度。這使其特別適用於需要即時渲染速率的應用，即使對於擁有超過 1 億個點的模型也是如此。
此外，ADOP 還包括一個完全可微分的基於物理的光度相機模型，其中包括曝光、白平衡和相機響應函數。透過遵循逆向渲染的原理，ADOP 完善其輸入以最大限度地減少不一致性並優化其輸出品質。這包括優化結構參數（如相機姿態、鏡頭失真、點位置和特徵）以及光度參數（如相機響應函數、漸暈以及每張圖像的曝光和白平衡）。
由於 ADOP 能夠流暢地處理具有不同曝光和白平衡的輸入圖像，並且能夠產生高動態範圍輸出，因此 ADOP 代表了神經渲染領域的重大進展。如果您對電腦圖形感興趣，尤其是高斯潑濺的替代方案，那麼 ADOP 的點光柵化和場景優化方法可能與您的工作或研究非常相關。
高斯潑濺 (Gaussian Splatting)
轉向傳統方法，高斯潑濺 作為一種經過考驗的技術，用於體積渲染和基於點的圖形。它使用高斯分佈將 3D 資料投影到 2D 平面上，產生平滑的過渡並以令人印象深刻的清晰度渲染醫學掃描等體積資料。
近期發展
最近的進展引入了 3D 高斯潑濺 (3DGS)，它加快了渲染速度並提供了場景的明確表示。這有助於動態重建和編輯任務，突破了傳統潑濺方法可以實現的界限。
TRIPS：即時渲染的前沿
TRIPS 代表著最前沿技術，結合了高斯潑濺和 ADOP（自適應密度點雲）的優勢。它將點光柵化為螢幕空間圖像金字塔，允許使用單個三線性寫入來渲染大點。然後，輕量級神經網路重建詳細、無孔洞的圖像。
TRIPS 脫穎而出的原因
- 即時效能：TRIPS 在標準硬體上保持 60 fps 的速率，使其適用於即時應用。
- 可微分渲染管線：管線的可微分性意味著可以自動優化點大小和位置，從而提高渲染場景的品質。
- 在具挑戰性的情境中的品質：TRIPS 在渲染複雜幾何形狀和廣闊的景觀方面表現出色，提供比以前的方法更好的時間穩定性和細節。
TRIPS 管線
TRIPS 資源
總結
從 NeRF 到 TRIPS 的旅程概括了 3D 場景渲染的快速發展。隨著我們朝著更有效率和高保真度的方法邁進，創造身歷其境的虛擬體驗的潛力變得越來越真實。這些技術不僅推動了圖形領域的發展，也為從娛樂到城市規劃等各個產業的創新鋪平了道路。
對於那些希望深入研究這些技術的人來說，有大量的資源可供使用，包括全面的評論和開放原始碼平台，這些平台有助於 NeRF 專案的開發。3D 渲染的未來是光明的，而 NeRF、高斯潑濺和 TRIPS 等技術將照亮前進的道路。