コンテンツにスキップ
ブログに戻る

エンジニアリングノート・新たな視点の合成

屋内3D再構築の評価:Dr JohnsonとPlayroom

MakeWorlds Studioは、独自に推定したカメラ情報を用いて、写真からDr JohnsonとPlayroomを再構築しました。記録されたMacでの実行では、両シーンとも元の3DGS論文の対応する報告値より高いPSNRとSSIM、低いLPIPSを示しました。画像の比較では、キャビネットの輪郭、ラグの繰り返し模様、本棚に重なり合う物など、再構築で実際に保持された細部を確認できます。

MakeWorlds Studio チーム ·

新しい実行から選択された再構成されたビュー。以下の画像とメトリクスは、元の評価実行に属します。

1. テストセット全体にわたる結果

以下の平均は、Dr Johnson の 16 個のテスト ビューすべてと、Playroom の 14 個すべてをカバーしています。どちらのシーンでも、3 つのメトリクスはすべて、報告された 3DGS 値と比較して良好です。記事の後半にある 4 つの画像ペアは、それらの結果の背後にある目に見える詳細を示しています。

表では、色補正されたスコアを置き換えずに、公開された評価による研究論文の比較プロトコルを使用しています。参考値は、元の 3DGS 付録の 30,000 ステップの結果です。カメラの推定値とテストビューのセットは異なるため、デルタは制御された比較ではなく、文献に対するコンテキストを提供します。 [1] 比較条件と範囲

Dr Johnson · Mac · テストセット全体の平均 · 論文との比較条件
Δ = MakeWorlds Studio − 研究論文。 PSNR / SSIM が高く、LPIPS が低いほど優れています。
結果PSNR ↑ / dBSSIM ↑LPIPS ↓
3DGS 研究論文 (報告済み)28.7660.89900.2440
MakeWorlds Studio · Mac29.180Δ +0.4140.9124Δ +0.01340.2215Δ −0.0225
Playroom · Mac · テストセット全体の平均 · 論文との比較条件
Δ = MakeWorlds Studio − 研究論文。 PSNR / SSIM が高く、LPIPS が低いほど優れています。
結果PSNR ↑ / dBSSIM ↑LPIPS ↓
3DGS 研究論文 (報告済み)30.0440.90600.2410
MakeWorlds Studio · Mac30.385Δ +0.3410.9148Δ +0.00880.2264Δ −0.0146

方向は両方のシーンで一貫しています。高い方は PSNR と SSIM、低い方は LPIPS です。これらの尺度は、ピクセル誤差、局所的な画像構造、および知覚距離を表します。以下の比較は、シーンレベルの評価を、キャビネットのエッジ、床板の継ぎ目、繰り返しのパターンなどの特定の特徴に結び付けます。

2. 写真から評価ビューへ

テスト済み

Dr Johnson と Playroom は、オリジナルの 3DGS の評価でも使用された公開ディープ ブレンディング シーンです。ここにあるすべての MakeWorlds Studio 画像とスコアは、公開された 2026 年 10 月 1 日のバッチでの Mac 実行からのものです。 [2]

データセットとビューDr JohnsonPlayroom
写真の入力263225
テストビュー1614
ここに表示されるビュー22
画像サイズ(ピクセル)1332 × 8751264 × 832

Apple M4 Max で、ソース解像度で中プリセットを 30,000 の最適化ステップで実行しました。 MakeWorlds Studio は入力画像からカメラを推定し、シーンをトレーニングし、テスト ビューをレンダリングしました。それらの見解はトレーニング前に修正されました。彼らの画像はシーンの最適化から除外され、評価の参照として使用されました。

4 つのイラスト ビューには、キャビネット、遊び場、敷物パターン、混雑した本棚が含まれています。最高のビュースコアではなく、それらの機能を考慮してそれらを選択しました。各参照/レンダー ペアは一致する表示方向とトリミングを使用するため、シーン レベルの結果に対して個々の機能を確認できます。

3. Dr Johnson: キャビネットの輪郭から内部フレームまで

再構成では、同じビュー内の複数のスケールで詳細が保持されます。ダーク色のキャビネットは、その全体的な輪郭だけでなく、尖ったアーチやドアの水平分割も保っています。暖炉の炉棚、サイドサポート、および壁のモールディングは、さらに輪郭を描きます。これらの特徴を合わせて、復元された家具が周囲の部屋とどのように関係しているかを示します。

Dr Johnson 的木柜、白色壁炉与绿色墙面的 MakeWorlds Studio 渲染
元の写真: Dr Johnson の木製キャビネット、白い暖炉、緑の壁
オリジナル写真MakeWorlds Studio レンダリング

図 1. Dr Johnson、Mac、view-000040。キャビネットのアーチと内部の区画は、その外形や暖炉のモールディングと並んで、明確なままになっています。左は参考写真。 MakeWorlds Studio を右側にレンダリングします。

ここでの有益な証拠は、認識可能な部屋のレイアウトとその内部の小さな構造の組み合わせです。キャビネット上で仕切りをドラッグすると、これらの対応関係が表示されます。明るいウィンドウ領域といくつかの細かいエッジは、依然として参照と明らかに異なります。

4. Playroom: カラー領域、個別のオブジェクト、床のテクスチャ

Playroom は、1 つの画像内で複数のスケールの詳細を提供します。復元では、敷物の幅広のストライプとフォームマットの文字が再現され、散らばったおもちゃは識別可能な形状と位置を保っています。カラフルな遊び場とは別に、床板の継ぎ目や結び目が別の一連の対応を提供します。画像は、幅広い色領域、オブジェクトの境界、および表面テクスチャにわたる情報を保持します。

Playroom 中的彩色地毯、玩具与木地板的 MakeWorlds Studio 渲染
元の写真: Playroom の縞模様の敷物、おもちゃ、木の床
オリジナル写真MakeWorlds Studio レンダリング

図 2. Playroom、Mac、view-000184。ラグのストライプ、フォームマットのレタリング、おもちゃの輪郭、床板の継ぎ目など、徐々に細かいスケールでチェックが行われます。

5. 詳細な検査: 繰り返されるパターンと本棚の内容

Dr Johnson ラグでは、ボーダーのモチーフが連続して配置されており、中央の大きなパターンの形状と位置を写真に合わせることができます。 Playroom は、隣接する本の背の幅と色、バインダーの角度、積み重ねられたオブジェクトのレイヤーを保持します。上の棚には、緑色の本のタイトルが判読可能なままです。以下の両方のペアは参照とレンダリングに同じトリミングと倍率を使用するため、これらの機能を直接比較できます。

Dr Johnson 的地毯、椅子与木地板的 MakeWorlds Studio 渲染
元の写真: Dr Johnson の敷物、椅子、木の床
オリジナル写真MakeWorlds Studio レンダリング

図3a。 Dr Johnson、view-000248。ラグの境界線と中央のモチーフは、個別に識別できるままです。一部の細かいパターン要素と椅子の背もたれのエッジはより柔らかくなります。

Playroom 中的书架、文件夹与柜门的 MakeWorlds Studio 渲染
元の写真: Playroom の本棚、バインダー、食器棚のドア
オリジナル写真MakeWorlds Studio レンダリング

図3b。 Playroom、view-000089。本の背表紙とバインダーは、それぞれの輪郭、色、配置を保持します。大きなタイトル文字も読みやすくなりました。小さい文字はさまざまな程度の軟化を示します。

6. 目に見える詳細をメトリクスに結び付ける

例は、部屋のレイアウトと幅広い色の領域から、オブジェクトの境界、繰り返されるモチーフ、個々の文字のストロークに移ります。定量的評価では、ピクセルエラー、局所構造、知覚的特徴の観点から画像の違いを要約します。両方を使用すると、読者に比較のための数値結果と、検査のための具体的な画像特徴が提供されます。

PSNR ↑
PSNR は、ピクセルの平均二乗誤差を対数スケールで表します。値が大きいほど、選択した比較条件下での誤差が小さいことを示します。画像の配置、明るさ、色の違いはすべて影響します。
SSIM ↑
SSIM は、局所的な輝度、コントラスト、構造を比較します。値が大きいほど、これらの画像プロパティがより厳密に一致していることを示し、ピクセル エラーとともに類似性の構造ビューが追加されます。 [3]
LPIPS ↓
LPIPS は、深い画像特徴間の距離を測定します。値が低いほど、基準に近い一致を示します。機能ネットワークと前処理は値に影響を与えるため、実装間の比較には一貫したプロトコルが必要です。 [4]

公開されている 3D Gaussian Splatting モデルは、これらの画像について考える便利な方法を提供します。シーンはガウス プリミティブによって表され、画像に投影され、深さ順にブレンドされます。背景用語を省略すると、次のようになります。 [1]

C(u, d) = ∑i Ti(u) · αi(u) · ci(d)Ti(u) = ∏j<i [1 − αj(u)]

ここで、u はピクセル位置、d は視線方向です。アルファは、投影されたガウス フットプリントと不透明度を組み合わせます。 T は、前のガウス分布の後に残る透過率です。いくつかの要素が各ピクセルを形成し、カバレッジ、オクルージョン、および局所的な色の変化が最終的な画像に関連するようになります。キャビネットのフレーム、おもちゃの端、敷物のパターンは、それらの効果を検査するための具体的な場所を提供します。

7. 結論と範囲

これら 2 つの屋内ケース全体で、MakeWorlds Studio は、完全なテスト セット全体で良好な結果とともに、部屋のレイアウト、家具の構造、表面の細かいディテールを保持しています。その証拠は、部屋の全体的な配置、キャビネットの内部フレーム、シーン内のパターンや文字など、さまざまなスケールで見ることができます。これらの実行は、写真から始まり独自のカメラを推定するワークフローからの詳細な屋内の再構成を示しています。

この2つの屋内シーンは、3つの指標すべてが論文の参照値より良好だったため、公開評価から選ばれました。MakeWorlds Studioは独自のカメラ推定値を使用しており、テスト視点の集合と処理全体を論文の実験と同じ条件にはそろえていません。差分は文献の報告値との比較材料であり、条件を統制した優劣の順位や、個々の構成要素の寄与を示すものではありません。

結論は、これらのシーンおよび設定でテストされた視点での画像の忠実度に関するものです。測定アプリケーションには、独立した幾何学的なグラウンドトゥルース、寸法誤差テスト、および表面チェックも必要になります。ウォークスルーでは、カメラの動き中にフリッカー、オクルージョン遷移、新しく露出した領域を検査する必要があります。それらのテストはこの記事の範囲外です。

実行間の分散や信頼区間を使用せずに、記録された 1 つの評価バッチをレポートします。デルタは観察値であり、統計的有意性を主張するものではありません。

テスト条件とソース
入力
Dr Johnson の入力写真 263 枚。 Playroom の場合は 225。
設定
中程度のプリセット、ソース解像度、30,000 ステップ。画像とスコアは、同じ評価バッチでの Mac 実行からのものです。
画像
Dr Johnson: view-000040 および view-000248。 Playroom: view-000184 および view-000089。 ビューは、最高スコアを紹介するためではなく、レイアウト、エッジ、テクスチャを検査するために選択されました。各レンダリングはその参照写真とペアになっています。表示の向きと切り抜きが一致します。

データセット: ディープ ブレンディング。 Deep Blending

参考文献

レンダリング モデルとメトリックの定義は、以下のソースに従います。実験結果は、「MakeWorlds Studio」の公開されたシーン評価から抽出されています。

  1. Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
  2. Hedman et al. (2018). Deep Blending for Free-Viewpoint Image-Based Rendering.
  3. Wang et al. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity.
  4. Zhang et al. (2018). The Unreasonable Effectiveness of Deep Features as a Perceptual Metric.

3 つのプラットフォームのベンチマーク結果を調べる · 写真撮影を計画する