技術解析 · 三維重建
3D Gaussian Splatting:多視角重建與新視角渲染
3D Gaussian Splatting 將多視角影像中的空間與外觀信息組織為可渲染的三維表示,使場景能夠隨觀察位置生成新畫面。MakeWorlds Studio 將影像輸入、重建、檢查與整理納入同一創作流程。本文結合圖示與動畫,說明相機求解、高斯表示和新視角渲染之間的關係。

三維場景讓觀察者能夠選擇位置和方向來檢查內容。圍繞一件物體移動,或從門口靠近室內傢俱,都會改變前景與背景的相對位置。對空間記錄與展示而言,這種位置變化使外觀細節與場景佈局可以被一起觀察。
MakeWorlds Studio 的 Train 與室內實測文章提供了對應的照片和渲染結果,可以逐項檢查主體輪廓與紋理。理解這些結果,可以沿著三個環節展開:多視角照片建立相機關係,高斯基元表示場景,再由指定相機視點生成畫面。
多視角照片建立相機與空間關係
從不同位置拍攝同一場景,會得到互補的二維投影。門框角點、表面紋理等共同可見內容,為連接不同照片提供對應關係。
典型的多視角重建流程利用這些對應關係估計相機位置、朝向和初步空間點,稱為運動恢復結構,即 Structure from Motion(SfM)。這些相機與空間關係為後續重建提供座標依據。
採集時圍繞目標移動機位,並在相鄰畫面間保留共同內容,可以同時提供位置變化與視覺連接。先形成連續覆蓋,再補充需要近看的部位,有助於組織一組可用於重建的觀察。
相機關係建立後,場景表示便可利用這些已知觀察調整空間分佈與外觀,進而支持指定視點下的渲染。
高斯基元表達場景的空間分佈與外觀
3DGS 在三維空間中使用大量高斯基元,每個基元具有位置、尺度、方向、不透明度與顏色等信息。多個基元的貢獻共同構成場景外觀。
高斯分佈的影響由中心向外逐漸減弱,可以用柔和的橢球幫助理解。投影到圖像平面後,它形成邊緣漸淡的覆蓋區域。
渲染時,這些投影根據前後關係和不透明度合成像素顏色。下面的原理動畫以杯子為例,展示三維高斯基元如何投影並形成畫面。
訓練將已知訓練視點下的渲染與照片進行比較,並持續調整場景表示,使其在多個觀察方向上接近輸入圖像。
新視角渲染帶來視差與遮擋變化
當觀察位置或方向改變時,高斯基元在屏幕上的投影位置、大小與遮擋順序隨之變化。系統依據新的相機視點重新計算畫面,讓同一場景可以從多個位置被觀察。
在相機橫向平移的例子中,近處物體與遠處背景的投影位移不同,形成視差。視線也可能繞過原先的前景遮擋,露出後方內容。下面的俯視圖展示了這一空間關係。
單張全景圖主要提供固定位置周圍的方向觀察;三維場景還支持改變觀察位置,並重新計算前後關係。規劃採集範圍與觀看路線時,可以把這種位置變化納入設計。
面向使用場景組織採集與檢查
開始採集前,先明確主要觀看區域、預期移動路線和需要近看的細節。連續覆蓋、清晰圖像與相對穩定的光照,為重建提供一致的觀察依據;局部特寫則補充需要重點表達的紋理與結構。
檢查結果時,沿預期路線觀察輪廓、遮擋切換和新進入視野的區域。對玻璃、鏡面、弱紋理表面與移動物體重點複核,有助於判斷需要補充採集或繼續整理的部位。未被素材觀察到的區域,仍需要額外的重建依據。
本篇說明圖像重建與視角渲染的原理。尺寸測量、碰撞檢測和工程分析還需要相應的幾何數據與驗證,應按最終用途單獨驗收。
在 MakeWorlds Studio 中連接素材、場景與評估
MakeWorlds Studio 將影像輸入、重建、檢查與場景整理組織為連貫流程。用戶圍繞採集素材與重建結果開展工作,通過多個觀察位置檢查質量,再按展示目標整理場景。
公開實測提供了從原理到結果的具體參照:Train 展示機車主體細節與三平臺數據,室內案例展示櫃體、重複花紋和書架內容。通過原圖對照和完整測試集指標,可以進一步判斷這些技術環節最終保留了哪些結構與外觀。