2023 年圖形學頂會 Siggraph 中的一篇文章《3D Gaussian Splatting for Real-Time Radiance Field Rendering》一躍而出，跳脫出幾何重建-紋理映射-三維渲染的傳統建模管線的限制，第一次提出結合 3D 高斯橢球顯示表達與可微分渲染的全新框架，讓大家看到了真實感場景重建的康莊大道，一時間整個圖形學、計算機視覺圈子甚囂塵上，各種 3DGS 的改進方法宛如過江之鯽。隨即，其應用落地如雨后春筍般蔓延至各行業。

數字孿生、文物保護、影視游戲、工業檢測等領域紛紛引入，憑借 3DGS 高精度與實時性優勢，重塑場景重建與渲染范式。

3D Gaussian Splatting（3DGS）是一種用于 3D 場景重建和實時渲染的突破性技術。它的名字本身就揭示了其核心思想，可以分解為兩個部分來理解：“Gaussian”和“Splatting” 。

這兩個概念的結合，構成了 3DGS 強大能力的基石，使其能夠在不依賴任何神經網絡的情況下，實現照片級的實時渲染效果。3DGS 是一種用大量微小的、可學習的、半透明的“高斯橢球”作為基元來“繪制”整個 3D 場景的方法，并通過一種高效的投影渲染技術將這些 3D 基元呈現在 2D 屏幕上。

高斯橢球是 3DGS 技術中用于表示場景的核心元素。與傳統的基于 Mesh（三角形圖元）的渲染不同，高斯橢球本質是三維空間中的正態分布，其概率密度函數描述了空間中場景信息的分布規律。對于每個高斯橢球，以均值(μ)為中心，概率密度函數為：

Σ 是 3x3 的協方差矩陣，決定了高斯橢球的形狀、大小和朝向。對于空間中的任意點 x，G(x) 表示該點的高斯分布強度。

3DGS 使用一個完整的 3D 高斯分布來定義場景中的一個微小區域。一個 3D 高斯分布由兩個主要參數決定：均值（Mean, μ）和協方差矩陣（Covariance, Σ） 。

均值（μ）：這是一個三維向量，代表了高斯分布的中心位置，即這個“高斯橢球”在 3D 空間中的中心點坐標。這與三維重建中的點云點在概念上是相似的。

協方差矩陣（Σ）：這是一個 3x3 的對稱正定矩陣，它定義了高斯分布的形狀、大小和方向。在幾何上，一個 3D 高斯分布可以被可視化為一個橢球體（Ellipsoid）。

協方差矩陣的特征向量決定了橢球體的三個主軸的方向，而其特征值（或特征值的平方根）則決定了橢球體在這三個主軸方向上的半徑（即尺度）。通過這種方式，一個3D高斯點不僅僅是一個位置，而是一個具有明確體積、形狀和朝向的實體。除了位置和形狀，每個高斯點還關聯著另外兩個關鍵屬性：顏色（Color，c） 和不透明度（Opacity，α）。顏色決定了該高斯點在渲染時對最終像素顏色的貢獻，而不透明度則決定了它的“透明度”，這對于后續的混合渲染至關重要。高斯橢球的顏色信息通過球諧函數（Spherical Harmonics）表示，它可表示視角相關的顏色變化，如金屬反光、透明物體的折射等。

下圖展示了球諧函數Spherical Harmonics對三維形狀的近似/重構效果。可見低階球諧函數捕捉全局平滑特征，高階球諧函數捕捉局部細節。使用 SH 低階球諧函數可以近似場景的光照環境，使橢球能根據觀察方向動態調整顏色，實現高效的實時渲染。

3DGS 豐富的參化表示，使得單個高斯點能夠表達比傳統點云更復雜的幾何和光學信息，為高質量的場景重建奠定了基礎。

“Splatting”一詞源于計算機圖形學，指的是將 3D 空間中的點或體素“濺射”或“投影”到 2D 圖像平面上的過程。在 3DGS 中，Splatting 特指將 3D 高斯橢球投影到相機成像平面上的過程。這個過程是 3DGS 實現高效渲染的核心。具體來說，給定一個3D高斯點以及相機的內外參數，Splatting 過程會計算出這個 3D 橢球在 2D 圖像平面上的投影。這個投影結果是一個 2D 的橢圓，其中心、形狀和大小由 3D 高斯點的參數和相機視角共同決定。這個 2D 橢圓被稱為高斯點的“足跡”（Footprint）。渲染過程并非簡單地將這些橢圓畫在屏幕上。

相反，3DGS 采用了一種基于深度排序和 Alpha 混合的體素渲染思想。對于圖像上的每一個像素，算法會遍歷所有投影后與該像素相關的 2D 高斯橢圓。這些橢圓會根據其深度（即 3D 高斯點到相機的距離）進行排序。然后，從前到后（或從后到前）依次計算每個橢圓對該像素顏色的貢獻，并通過 Alpha 混合公式將它們累積起來，直到像素顏色達到飽和（不透明度接近1）或者所有相關的高斯點都被處理完畢。

這種基于 Splatting 的渲染方法，結合 GPU 的并行計算能力，使得 3DGS 能夠以極高的效率完成整個場景的渲染，從而實現實時交互 。

下圖一包含了數百萬個高斯橢球的未融合效果；

圖二是采用 Splatting 渲染后的效果。

首先采集多張不同視角的彩色圖片覆蓋待重建場景，然后構建初始點云。3D Gaussian Splatting 的訓練過程始于一個初始的場景表示。與 NeRF 等完全隨機初始化的方法不同，3DGS 需要一個相對準確的初始幾何結構來“播種”其高斯點。這個初始幾何結構通常包含一組 3D 點云，該點云可以是通過 Structure-from-Motion（SfM）算法從輸入的多張彩色圖片中計算得出的稀疏點云，也可以是通過激光傳感器掃描場景重建得到的稠密點云。這個初始化步驟至關重要，它為后續的優化過程提供了一個堅實的起點，大大縮短了訓練時間并提高了最終重建的質量。此外還要提供每張采集的彩色圖片對應的相機內參和外參（即相機位姿）。這些信息對于 3DGS 的訓練也是至關重要的。

下一步就是將點云中的每一個3D點初始化為一個3D高斯橢球。這個過程為每個高斯點賦予了初始的參數值。

• 位置（μ）：每個高斯點的初始位置 ，直接設置為點云中對應點的 3D 坐標。

• 顏色（c）：初始顏色可以通過將該 3D 點投影到所有能看到它的圖像上，然后對這些圖像上的像素顏色進行平均或中值濾波來得到。在簡化實現中，也可以隨機初始化。

• 不透明度（α）：不透明度通常初始化為一個較小的常數值，例如 0.1，表示初始時所有點都是半透明的。

• 協方差（Σ）：協方差的初始化更為關鍵。為了初始化橢球的形狀和大小，通常會利用點云的局部幾何信息。

除了使用點云中的點進行初始化，3DGS 還會在場景中隨機初始化一些額外的高斯點，以覆蓋那些可能被遺漏的區域。這些隨機初始化的點有助于填充場景中的空洞，并捕捉更完整的幾何細節。通過這種方式，3DGS 從一個由初始點云引導的、包含數萬個初始高斯點的場景表示開始，進入后續的優化和自適應密度控制階段。在迭代的過程中，3DGS 會識別出欠重建和過重建兩種情況：

• 欠重建（Under-Reconstruction）：現有高斯橢球無法覆蓋重建區域，對已有的高斯橢球進行克隆。

• 過重建（Over-Reconstruction）：現有高斯橢球覆蓋范圍超過重建區域，對已有的高斯橢球進行分割。

通過自適應密度控制的方法，3DGS 能夠有效地自動擬合復雜的幾何表面，重建模型接近真實物體，渲染真實感更強。下圖展示了采用 sfm 構建 3DGS 的全流程。

3DGS 擅長捕捉細節和復雜的光影效果，如反射和折射，實現高度逼真的渲染效果。

效率：與數據龐大的神經網絡（如 NeRF）相比，3DGS 更為簡潔，需要的存儲和計算能力更少。

速度：3DGS 能夠實現實時或接近實時的渲染速度，適合交互式應用。

可擴展性：能夠高效處理包含數百萬個濺射點的復雜場景，不影響性能。

3DGS 方法成功的關鍵在于不追求物體的顯示幾何表示，不需要點云、網格等形體表達，因為真實世界中恰恰有許多物體難以顯示、完整表達，例如樹葉、玻璃、煙霧、水面、發絲等等。

然而對于好的元宇宙體驗來說，只需要渲染逼真、具備可交互性就夠了，而這剛好是 3DGS 表示方法擅長的。其基本思想是在空間中分布大量的橢球體，每個橢球體形狀、大小、位置各異。每個橢球體上都定義了球諧函數, 可以方便地轉換任意角度的光照。因而將所有橢球體投射到某個視角，就能渲染出一張圖像，利用該圖像與輸入的拍攝圖像做比較，通過衡量其差異，就可以借此訓練出空間中各個橢球體的形狀、大小、位置、SH、透明度等參數。

無論場景中是人、車、水、樹還是其他物體，都能在同一個框架內完成訓練，使得場景重建的方法第一次高度統一、簡潔且優雅。

空間智能解決方案服務商眾趣科技正是利用了高斯潑濺技術的這一技術優勢，將它和經典三維重建技術進行融合，既發揮了高斯潑濺技術的優勢，同時也和經典三維技術的生態結合起來，綜合發揮各自的優勢，讓三維數字孿生技術行業落地更具現實意義。

3DGS 作為一種高效且高質量的三維重建與渲染技術，具有實時性好、重建質量高、可編輯性強等優點，在實際應用中具有廣闊前景。

（3DGS 漫游效果）

房產 VR：3DGS 可以提升房產 VR 體驗 、解決渲染慢、采集成本高的痛點。在采集側，使用普通相機就能快速生成高精度房源模型，同時支持無極漫游、動態光影模擬與個性化裝修預覽。此外 3DGS 還可以實現樓盤的全景展示，既提升用戶沉浸體驗和決策效率，又幫助企業降本增效，加速行業數字化轉型。

影視娛樂：傳統上高質量的 3D 渲染往往需要耗費大量時間和計算資源，而 3DGS 技術則能在保持高質量的同時，實現更快的渲染速度，這對于電影、動畫和游戲等需要快速迭代和實時反饋的場景尤為重要。在如今這個虛擬與現實交融的時代，虛擬制作、AI 輔助創作等技術都在持續突破，3DGS 也展示出卓越的新視角合成質量和實時渲染速度，讓影視娛樂的邊界無限延伸，創造出更多的可能性。

文旅產業：在文物數字化保護和互動傳播方面，高斯潑濺技術也能夠起到至關重要的作用。文物三維數字化成果是助力弘揚中華文化，保護歷史文物的重要載體，利用 3DGS 技術建立文物古跡的三維數據，精確還原文化和文物遺產作為數字資產，為文化遺產的保護修繕和古跡研究提供數據支撐。結合沉浸式 VR 體驗技術開展虛擬展覽、虛擬文化遺產體驗，實現千年文化與現代科技交相呼應，延續歷史文脈，堅定文化自信，推動中華優秀傳統文化創造性轉化和創新性發展。

自動駕駛：基于 3DGS 能夠實現精確的地圖構建，有助于自動駕駛系統更準確地感知周圍環境。還能快速渲染和更新車輛周圍的三維場景，幫助系統實時處理大量數據，做出快速反應，提升自動駕駛的安全性和可靠性。

建筑行業：3DGS 技術在建筑行業的應用廣泛，涵蓋建筑設計與可視化、虛擬現實與增強現實、施工規劃與管理、市場推廣與銷售、教育與培訓等多個環節，能提升制作效率和交付質量，推動了行業數字化發展。

工業領域：通過 3DGS 生成的高精度模型，可用于檢測產品缺陷，確保生產質量。結合機器視覺，實現自動化檢測，提高生產線的效率和精度。3DGS 技術能夠快速生成高質量的工業設計模型，幫助設計師在早期階段驗證設計概念，減少物理原型的需求。生成設備的三維模型，幫助技術人員遠程診斷和維護，減少停機時間。創建虛擬環境，用于培訓維修人員，提升操作熟練度。通過3D模型優化倉庫布局和庫存管理，提升物流效率。模擬運輸過程，優化路線和裝載方案，降低成本。