テクノロジーの説明 · 3D 再構築
写真から新たな視点へ:3D Gaussian Splattingの仕組み
Gaussian splatting は、シーンの観察を、新しい視点からレンダリングできる 3D 表現に変換します。 MakeWorlds Studio は、画像の入力、再構成、検査、シーンの準備を 1 つのワークフローにまとめます。この記事では、カメラのジオメトリ、シーン表現、およびそのプロセスの背後にあるレンダリング原理を結び付けます。

再構成されたシーンにより、視聴者はどこから見るかを制御できます。室内でオブジェクトの周りを移動したり、家具に近づいたりすると、前景と背景の関係が変化します。これにより、空間の記録やプレゼンテーションの際に、外観とレイアウトを一緒に検査することが可能になります。
MakeWorlds Studio Train および屋内のケーススタディでは、ペアの写真とレンダリングが示されており、読者は輪郭とテクスチャを直接検査できます。 3 つの接続されたステージでは、そのような結果がどのように生成されるかを説明します。つまり、カメラ関係の回復、シーンの表現、および選択したビューのレンダリングです。
複数のビューからカメラとシーンの関係を復元
異なる位置からの写真は、補完的な投影を提供します。共有されたコーナーとテクスチャにより、イメージを接続する対応関係が確立されます。
Structure from Motion (SfM) は、これらの対応関係を使用してカメラのポーズと 3D 点の初期セットを推定します。これらは再構築のための空間参照を提供します。
隣接するビュー間のオーバーラップを使用して、位置を変更してキャプチャします。まず関連性のあるカバレッジを構築し、次に重要な詳細の詳細なビューを追加します。
推定されたカメラにより、既知の観察に基づいてシーン表現を改良し、指定された視点からレンダリングすることができます。
空間ガウスプリミティブで外観を表現
3DGS は、多くの空間ガウスがあるシーンを表します。それぞれは、位置、スケール、方向、不透明度、および外観の情報を保持します。彼らの貢献が合わさってシーンのイメージが形成されます。
ガウスの影響は中心から離れます。柔らかい楕円体は便利な図解です。その投影は、エッジに向かって薄くなるフットプリントに寄与します。
レンダラーは、深さの順序と不透明度を使用して、これらの投影された寄与をブレンドします。以下のアニメーションでは、カップを使用して投影と画像形成を説明しています。
トレーニングでは、レンダリングされたトレーニング ビューを写真と比較し、複数の観察に合わせて表現を調整します。
新しい視差とオクルージョンを使用して新しい位置をレンダリングします
カメラの位置や方向を変更すると、投影される位置、サイズ、オクルージョンが変わります。そのカメラからレンダリングすると、同じ空間表現の新しいビューが生成されます。
横方向のカメラの動きにより、前景と背景は異なる量だけシフトします。視線が障害物を通過し、その背後にあるものが見えることもあります。平面図はその関係を示しています。
単一のパノラマでは、1 つのキャプチャ位置の周囲の方向ビューが提供されます。再構築されたシーンはその位置の変更もサポートしており、キャプチャ計画とプレゼンテーション ルートを別の次元で操作できるようになります。
使用目的を中心に計画のキャプチャとレビューを行う
主要な表示エリア、対象となるカメラ ルート、キャプチャ前に綿密な検査が必要な詳細を定義します。接続されたカバレッジ、鮮明な写真、適度に安定した照明により、有益な観察が可能になります。より近くで見ると、重要な質感や構造の証拠が追加されます。
計画されたルートに沿って輪郭、オクルージョンの変化、新しく表示された領域を確認します。どこを再キャプチャまたはリファインするかを決定する際には、反射面、ガラス、低テクスチャ領域、および移動オブジェクトに特に注意を払ってください。ソース資料で観察されていない領域には、依然として追加の証拠が必要です。
この記事では、画像の再構成とビューのレンダリングについて説明します。測定、衝突処理、エンジニアリング解析には、適切な幾何学的データと、その使用目的に応じた検証が必要です。
MakeWorlds Studio でソース画像、シーン、評価を接続します
MakeWorlds Studio は、画像の入力、再構成、検査、シーンの準備を接続されたワークフローにまとめます。ユーザーは、キャプチャしたマテリアルから再構築したシーンを作成し、さまざまな位置からそれを検査し、プレゼンテーションの目的に合わせて準備します。
公開されたケースでは、具体的な例が提供されています。 Train ペアの機関車の詳細と 3 つのプラットフォームの結果。屋内の研究では、家具、繰り返しのパターン、本棚の内容を調べます。一致した画像と完全なテストセットの測定基準により、読者は再構成がどの構造と視覚的な詳細を保持しているかを確認できます。