跳到主要內容
返回博客

技術案例 · 室內新視角合成

室內三維重建:Dr Johnson 與 Playroom 的圖像對照與定量評估

MakeWorlds Studio 在 Dr Johnson 與 Playroom 兩個公開室內場景中,從輸入照片自行完成相機求解與場景重建,保留了櫃體輪廓、地毯重複紋樣和書架物品層次。本批次 Mac 結果在兩個場景上的 PSNR、SSIM、LPIPS 均優於原始 3DGS 論文報告的對應參考值。本文結合完整測試集數據與四組照片/渲染對照,說明這些結果具體體現在哪裡。

MakeWorlds Studio 團隊 ·

精選重建畫面展示。視頻採用新的重建批次,下文圖像與指標來自原評測批次。

1. 完整測試集結果

下表覆蓋 Dr Johnson 的全部 16 個測試視角與 Playroom 的全部 14 個測試視角。與文獻參考值相比,兩個場景均記錄了更高的 PSNR、SSIM 和更低的 LPIPS;四組配圖用於後文的細節分析。

以下數值採用已公開的論文對比口徑,未使用校色後分數;文獻參考值取自原始 3DGS 論文附錄的 30,000 步結果。相機與測試視角設置並非完全相同,差值作為與文獻報告值的參考比較。 [1] 查看比較條件與適用範圍

Dr Johnson · Mac · 全部測試視角均值 · 論文對比口徑
Δ = MakeWorlds Studio − 論文。PSNR / SSIM 越高越好,LPIPS 越低越好。
結果PSNR ↑ / dBSSIM ↑LPIPS ↓
3DGS 論文報告值28.7660.89900.2440
MakeWorlds Studio · Mac29.180Δ +0.4140.9124Δ +0.01340.2215Δ −0.0225
Playroom · Mac · 全部測試視角均值 · 論文對比口徑
Δ = MakeWorlds Studio − 論文。PSNR / SSIM 越高越好,LPIPS 越低越好。
結果PSNR ↑ / dBSSIM ↑LPIPS ↓
3DGS 論文報告值30.0440.90600.2410
MakeWorlds Studio · Mac30.385Δ +0.3410.9148Δ +0.00880.2264Δ −0.0146

PSNR 與 SSIM 上升、LPIPS 下降,在兩個場景中給出一致的正向結果。這三項指標分別從像素誤差、局部結構和感知特徵描述本批次的圖像表現。後面的場景對照進一步展示了櫃體輪廓、地板接縫與細密紋樣等具體內容。

2. 從輸入照片到測試視角

測試日期

Dr Johnson 與 Playroom 來自公開的 Deep Blending 數據集,也是原始 3DGS 論文使用的室內評測場景。本文采用 2026 年 10 月 1 日已公開測試批次中的 Mac 結果,圖像和指標來自同一平臺、同一批次。 [2]

項目Dr JohnsonPlayroom
輸入照片263225
測試視角數1614
本文展示視角數22
配圖分辨率1332 × 8751264 × 832

測試使用 Apple M4 Max,設置為 Medium、原始分辨率、30,000 步。MakeWorlds Studio 從輸入圖像自行求解相機,再進行場景訓練並輸出測試視角的渲染結果。測試視角在訓練前確定,對應圖像不參與場景訓練優化,評估時逐一與參考照片比較。

四組展示視角分別覆蓋櫃體與壁爐、玩具與地板、地毯花紋和書架細節,未按最高分篩選。每組照片與渲染保持相同的顯示方向和裁剪範圍,便於將表中的場景級結果落實到具體部位。

3. Dr Johnson:櫃體輪廓與裝飾分格

這組重建畫面同時保留了房間佈局和傢俱內部的結構層次。深色木櫃的外輪廓、櫃門拱形飾線及橫向分格,與參考照片中的位置和形態有明確對應;白色壁爐的檯面、立柱和牆面飾線也能連續追蹤。深色櫃體、綠色牆面和白色壁爐之間的交界,為檢查不同尺度的邊緣提供了直觀依據。

Dr Johnson 的木櫃、白色壁爐與綠色牆面的 MakeWorlds Studio 渲染
Dr Johnson 的木櫃、白色壁爐與綠色牆面的原始照片
原始照片MakeWorlds Studio 渲染

圖 1 · Dr Johnson,Mac,view-000040。櫃門拱形分格、木櫃外輪廓與壁爐飾線在重建中得到保留。左側為參考照片,右側為 MakeWorlds Studio 渲染。

櫃體外輪廓和內部裝飾在同一幅畫面中同時得到表達,展示了從主體結構到局部細節的保留情況。窗邊高亮與個別細邊緣仍有可見差異,可以沿對應區域移動滑塊查看。

4. Playroom:色彩、物體邊界與地板紋理

Playroom 展示了多個尺度的內容:彩色地毯的分帶和邊緣、拼接地墊上的字母、分散擺放的玩具,在渲染中都有對應的形狀與位置。右側木地板的接縫方向、局部木結與色差也得到表現。將這些區域一起觀察,可以看到重建保留了大面積色彩關係、獨立物體輪廓和表面紋理。

Playroom 中的彩色地毯、玩具與木地板的 MakeWorlds Studio 渲染
Playroom 中的彩色地毯、玩具與木地板的原始照片
原始照片MakeWorlds Studio 渲染

圖 2 · Playroom,Mac,view-000184。地毯條紋、地墊字母、玩具輪廓與地板接縫構成了從整體外觀到局部紋理的對照。

5. 局部細節:重複花紋與書架內容

地毯與書架進一步展示了細節保留的層次。Dr Johnson 的地毯邊框保留了連續排列的重複花紋,中央多個紋樣的形狀和位置也能與照片對應。Playroom 中,相鄰書脊的寬度與顏色、文件夾的傾斜關係和堆疊物品的層次得到保留;上層綠色書脊上的書名仍可辨認。下面兩組採用相同位置和比例放大,方便逐處核對已有細節。

Dr Johnson 的地毯、椅子與木地板的 MakeWorlds Studio 渲染
Dr Johnson 的地毯、椅子與木地板的原始照片
原始照片MakeWorlds Studio 渲染

圖 3a · Dr Johnson,view-000248。地毯邊框與中央重複紋樣能夠逐項對應;部分細紋和椅背邊緣仍有柔化。

Playroom 中的書架、文件夾與櫃門的 MakeWorlds Studio 渲染
Playroom 中的書架、文件夾與櫃門的原始照片
原始照片MakeWorlds Studio 渲染

圖 3b · Playroom,view-000089。書脊和文件夾保持各自的輪廓、色彩與排列,上層較大字號的書名仍可辨認,更小的文字有不同程度的柔化。

6. 如何把圖像細節與指標聯繫起來

前面的對照覆蓋了房間佈局與大色塊、物體邊界與遮擋、重複紋樣與文字筆畫三個觀察尺度。定量評估將圖像差異彙總為像素、局部結構和感知特徵層面的度量。將圖像與指標結合,可以同時保留可核對的數值和具體部位的觀察。

PSNR ↑
PSNR 根據像素均方誤差計算,數值越高,表示當前比較條件下的像素誤差越小。圖像對齊、亮度和顏色偏差都會影響這一指標。
SSIM ↑
SSIM 比較局部亮度、對比度和結構關係,數值越高,表示這些圖像特徵越接近參考。它為像素誤差補充了局部結構層面的觀察。 [3]
LPIPS ↓
LPIPS 用深層特徵比較感知距離,數值越低,表示與參考圖像越接近。特徵網絡和預處理方式會影響數值,因此跨實現比較需要統一口徑。 [4]

從公開的 3D Gaussian Splatting 圖像形成模型看,場景由空間高斯基元表示。渲染時,將這些基元投影到圖像平面,再按深度順序進行透明度合成。省略背景項後,像素顏色可寫為: [1]

C(u, d) = ∑i Ti(u) · αi(u) · ci(d)Ti(u) = ∏j<i [1 − αj(u)]

式中,u 為像素位置,d 為觀察方向;α 綜合了高斯投影的覆蓋與不透明度,T 表示光線經過前方基元后剩餘的透射率。多個基元的貢獻共同形成像素顏色,因此觀察室內圖像時,需要同時關注覆蓋範圍、前後遮擋和局部顏色變化。櫃門分格、玩具邊緣與重複花紋分別提供了這些現象的具體觀察位置。

7. 結論與適用範圍

在這兩個公開室內案例中,MakeWorlds Studio 的重建結果同時保留了場景佈局、傢俱結構和紋理細節,完整測試集指標也呈現出一致的正向表現。從輸入照片自行求解相機並完成重建後,產品輸出了細節豐富、能夠逐項核對的室內畫面。櫃門分格、地毯花紋和書架內容,都是這一能力的具體體現。

本文選用的是已公開評測中三項指標均優於論文參考值的兩個室內案例。MakeWorlds Studio 自行求解相機,相機估計、測試視角集合和完整處理流程未與論文實驗嚴格對齊。因此,表中差值用於參考已記錄結果與文獻報告值,不構成同條件算法排名,也不能隔離某個組件的貢獻。

本文結論針對這兩個場景和本次設置下的測試視角圖像保真度。用於尺寸測量時,需要補充獨立幾何真值、尺寸誤差與表面驗證;用於連續漫遊時,需要檢查相機運動中的閃爍、遮擋切換和新暴露區域。這些驗證未包含在本篇中。

本批次未報告重複運行的方差或置信區間,差值作為觀測結果呈現,不作統計顯著性聲明。

測試條件與數據來源
輸入
Dr Johnson:263 張輸入照片;Playroom:225 張輸入照片。
設置
Medium、原始分辨率、30,000 步;配圖與指標均取自同一測試批次的 Mac 結果。
配圖
Dr Johnson:view-000040、view-000248;Playroom:view-000184、view-000089。 配圖用於觀察佈局、邊界和紋理,未按最高分篩選。每張渲染圖都與對應參考照片配對,並保持相同的顯示方向與裁剪範圍。

公開數據集:Deep Blending。 Deep Blending

參考文獻與公開數據

圖像形成模型和指標解釋參考下列公開文獻;實驗數字來自 MakeWorlds Studio 已公開的場景評測記錄。

  1. Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
  2. Hedman et al. (2018). Deep Blending for Free-Viewpoint Image-Based Rendering.
  3. Wang et al. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity.
  4. Zhang et al. (2018). The Unreasonable Effectiveness of Deep Features as a Perceptual Metric.

查看完整三平臺實測 · 瞭解照片採集方法