सामग्री पर जाएं
ब्लॉग पर वापस जाएँ

इंजीनियरिंग नोट्स · नया दृष्टिकोण संश्लेषण

इनडोर 3D पुनर्निर्माण का मूल्यांकन: Dr Johnson और Playroom

MakeWorlds Studio ने अपने स्वयं के कैमरा अनुमानों का उपयोग करके तस्वीरों से Dr Johnson और Playroom का पुनर्निर्माण किया। रिकॉर्ड किए गए मैक निष्पादन में, दोनों दृश्य मूल 3DGS शोध पत्र में रिपोर्ट किए गए संबंधित मूल्यों की तुलना में उच्च PSNR और SSIM और कम LPIPS लौटाते हैं। छवि जोड़े दिखाते हैं कि पुनर्निर्माण व्यवहार में क्या बरकरार रखता है: कैबिनेट प्रोफाइल, दोहराए जाने वाले गलीचे के पैटर्न और बुकशेल्फ़ की स्तरित सामग्री।

MakeWorlds Studio टीम ·

नए निष्पादन से चयनित पुनर्निर्मित दृश्य। नीचे दी गई छवियाँ और मेट्रिक्स मूल मूल्यांकन निष्पादन से संबंधित हैं।

1. संपूर्ण परीक्षण सेट में परिणाम

नीचे दिया गया औसत Dr Johnson में सभी 16 परीक्षण दृश्यों और Playroom में सभी 14 को कवर करता है। दोनों दृश्यों में, सभी तीन मीट्रिक रिपोर्ट किए गए 3DGS मानों के सापेक्ष अनुकूल हैं। लेख में बाद में चार छवि जोड़े उन परिणामों के पीछे दृश्यमान विवरण दिखाते हैं।

तालिकाएँ रंग-सुधारित अंकों को प्रतिस्थापित किए बिना, हमारे प्रकाशित मूल्यांकन से शोध-पत्र तुलना प्रोटोकॉल का उपयोग करती हैं। संदर्भ मान मूल 3DGS परिशिष्ट में 30,000-चरणीय परिणाम हैं। कैमरा अनुमान और परीक्षण-दृश्य सेट भिन्न होते हैं, इसलिए डेल्टा नियंत्रित तुलना के बजाय साहित्य के विरुद्ध संदर्भ प्रदान करते हैं। [1] तुलना की स्थिति और दायरा

Dr Johnson · Mac · पूरे परीक्षण सेट के औसत · शोध पत्र से तुलना की पद्धति
Δ = MakeWorlds Studio − शोध पत्र। उच्चतर PSNR / SSIM और निम्न LPIPS बेहतर हैं।
नतीजाPSNR ↑ / dBSSIM ↑LPIPS ↓
3DGS शोध पत्र (रिपोर्ट किया गया)28.7660.89900.2440
MakeWorlds Studio · Mac29.180Δ +0.4140.9124Δ +0.01340.2215Δ −0.0225
Playroom · Mac · पूरे परीक्षण सेट के औसत · शोध पत्र से तुलना की पद्धति
Δ = MakeWorlds Studio − शोध पत्र। उच्चतर PSNR / SSIM और निम्न LPIPS बेहतर हैं।
नतीजाPSNR ↑ / dBSSIM ↑LPIPS ↓
3DGS शोध पत्र (रिपोर्ट किया गया)30.0440.90600.2410
MakeWorlds Studio · Mac30.385Δ +0.3410.9148Δ +0.00880.2264Δ −0.0146

दिशा दोनों दृश्यों में सुसंगत है: उच्च PSNR और SSIM, निचला LPIPS। ये उपाय पिक्सेल त्रुटि, स्थानीय छवि संरचना और अवधारणात्मक दूरी का वर्णन करते हैं। नीचे दी गई तुलनाएँ उस दृश्य-स्तरीय मूल्यांकन को कैबिनेट किनारों, फ़्लोरबोर्ड सीम और दोहराए गए पैटर्न सहित विशिष्ट विशेषताओं से जोड़ती हैं।

2. तस्वीरों से लेकर मूल्यांकित दृश्यों तक

परीक्षण किया गया

Dr Johnson और Playroom सार्वजनिक डीप ब्लेंडिंग दृश्य हैं जिनका उपयोग मूल 3DGS मूल्यांकन में भी किया गया है। यहां सभी MakeWorlds Studio छवियां और स्कोर 1 अक्टूबर, 2026 बैच में प्रकाशित मैक निष्पादन से आते हैं। [2]

डेटासेट और दृश्यDr JohnsonPlayroom
फ़ोटो इनपुट करें263225
परीक्षण दृश्य1614
यहां दिखाए गए दृश्य22
छवि का आकार (पिक्सेल)1332 × 8751264 × 832

हमने Apple M4 Max पर 30,000 अनुकूलन चरणों के लिए स्रोत रिज़ॉल्यूशन पर मीडियम प्रीसेट चलाया। MakeWorlds Studio इनपुट छवियों से कैमरों का अनुमान लगाया गया, दृश्य को प्रशिक्षित किया गया, और परीक्षण दृश्यों को प्रस्तुत किया गया। उन विचारों को प्रशिक्षण से पहले तय किया गया था; उनकी छवियों को दृश्य अनुकूलन से बाहर रखा गया और मूल्यांकन के लिए संदर्भ के रूप में उपयोग किया गया।

चार सचित्र दृश्य कैबिनेटरी, खेल क्षेत्र, गलीचा पैटर्न और एक भीड़ भरे बुकशेल्फ़ को कवर करते हैं। हमने उन्हें उन सुविधाओं के लिए चुना है, उच्चतम दृश्य स्कोर के लिए नहीं। प्रत्येक संदर्भ/रेंडर जोड़ी मिलान डिस्प्ले ओरिएंटेशन और क्रॉपिंग का उपयोग करती है, जिससे दृश्य-स्तरीय परिणामों के विरुद्ध व्यक्तिगत विशेषताओं की जांच करना संभव हो जाता है।

3. Dr Johnson: कैबिनेट की रूपरेखा से लेकर उसकी आंतरिक रूपरेखा तक

पुनर्निर्माण एक ही दृश्य के भीतर कई पैमानों पर विवरण बरकरार रखता है। डार्क कैबिनेट अपनी समग्र प्रोफ़ाइल के साथ-साथ इसके दरवाजों के नुकीले मेहराब और क्षैतिज विभाजन को भी बनाए रखता है। फायरप्लेस मेंटल, साइड सपोर्ट और दीवार मोल्डिंग अनुसरण करने के लिए आगे की रूपरेखा प्रदान करते हैं। साथ में, ये विशेषताएं दर्शाती हैं कि पुनर्निर्मित साज-सामान आसपास के कमरे से कैसे संबंधित है।

Dr Johnson 的木柜、白色壁炉与绿色墙面的 MakeWorlds Studio 渲染
मूल तस्वीर: Dr Johnson में लकड़ी की कैबिनेट, सफेद चिमनी, और हरी दीवारें
मूल फोटोMakeWorlds Studio प्रस्तुत करना

चित्र 1. Dr Johnson, मैक, व्यू-000040। कैबिनेट के मेहराब और आंतरिक विभाजन इसके बाहरी प्रोफ़ाइल और फायरप्लेस मोल्डिंग के साथ अलग रहते हैं। बाईं ओर संदर्भ फ़ोटो; MakeWorlds Studio दाईं ओर प्रस्तुत करें।

यहां उपयोगी साक्ष्य एक पहचानने योग्य कमरे के लेआउट और उसके अंदर की छोटी संरचनाओं का संयोजन है। डिवाइडर को पूरे कैबिनेट में खींचने से वे पत्राचार सामने आ जाते हैं। चमकदार खिड़की क्षेत्र और कुछ बारीक किनारे अभी भी संदर्भ से स्पष्ट रूप से भिन्न हैं।

4. Playroom: रंग क्षेत्र, अलग-अलग वस्तुएं, और फर्श की बनावट

Playroom एक छवि में विवरण के कई पैमाने प्रदान करता है। पुनर्निर्माण में चौड़ी गलीचे की धारियों और फोम-मैट लेटरिंग को पुन: पेश किया गया है, जबकि बिखरे हुए खिलौने पहचानने योग्य आकार और स्थिति बनाए रखते हैं। रंगीन खेल क्षेत्र से दूर, फ़्लोरबोर्ड सीम और गांठें पत्राचार का एक और सेट प्रदान करती हैं। छवि व्यापक रंग क्षेत्रों, वस्तु सीमाओं और सतह बनावट में जानकारी बरकरार रखती है।

Playroom 中的彩色地毯、玩具与木地板的 MakeWorlds Studio 渲染
मूल तस्वीर: Playroom में धारीदार गलीचा, खिलौने और लकड़ी का फर्श
मूल फोटोMakeWorlds Studio प्रस्तुत करना

चित्र 2. Playroom, मैक, दृश्य-000184। गलीचे की धारियां, फोम-मैट लेटरिंग, खिलौने की रूपरेखा, और फ़्लोरबोर्ड सीम उत्तरोत्तर बेहतर पैमाने पर जांच प्रदान करते हैं।

5. बारीकी से निरीक्षण: दोहराए गए पैटर्न और बुकशेल्फ़ सामग्री

Dr Johnson गलीचे पर, बॉर्डर रूपांकनों को एक सतत अनुक्रम में व्यवस्थित किया जाता है, और बड़े केंद्रीय पैटर्न के आकार और स्थिति को तस्वीर से मिलान किया जा सकता है। Playroom पड़ोसी पुस्तक रीढ़ की चौड़ाई और रंग, बाइंडरों के कोण और खड़ी वस्तुओं की परतों को संरक्षित करता है। ऊपरी शेल्फ पर, हरी किताब का शीर्षक सुपाठ्य रहता है। नीचे दिए गए दोनों जोड़े संदर्भ और रेंडर के लिए समान क्रॉप और आवर्धन का उपयोग करते हैं, इसलिए इन सुविधाओं की सीधे तुलना की जा सकती है।

Dr Johnson 的地毯、椅子与木地板的 MakeWorlds Studio 渲染
मूल तस्वीर: Dr Johnson में गलीचा, कुर्सियाँ और लकड़ी का फर्श
मूल फोटोMakeWorlds Studio प्रस्तुत करना

चित्र 3ए. Dr Johnson, देखें-000248. गलीचे की सीमा और केंद्रीय रूपांकन व्यक्तिगत रूप से पहचाने जाने योग्य रहते हैं। कुछ बेहतर पैटर्न वाले तत्व और कुर्सी के पीछे के किनारे नरम हैं।

Playroom 中的书架、文件夹与柜门的 MakeWorlds Studio 渲染
मूल तस्वीर: Playroom में बुकशेल्व, बाइंडर और अलमारी के दरवाजे
मूल फोटोMakeWorlds Studio प्रस्तुत करना

चित्र 3बी. Playroom, देखें-000089. बुक स्पाइन और बाइंडर्स अपनी अलग रूपरेखा, रंग और व्यवस्था बनाए रखते हैं। बड़े शीर्षक अक्षर पठनीय रहते हैं; छोटा पाठ नरमी की अलग-अलग डिग्री दिखाता है।

6. दृश्यमान विवरण को मेट्रिक्स से जोड़ना

उदाहरण कमरे के लेआउट और व्यापक रंग क्षेत्रों से वस्तु सीमाओं, दोहराए गए रूपांकनों और व्यक्तिगत अक्षर स्ट्रोक की ओर बढ़ते हैं। मात्रात्मक मूल्यांकन पिक्सेल त्रुटि, स्थानीय संरचना और अवधारणात्मक विशेषताओं के संदर्भ में छवि अंतर को सारांशित करता है। दोनों का उपयोग करने से पाठक को तुलना करने के लिए संख्यात्मक परिणाम और निरीक्षण के लिए ठोस छवि सुविधाएँ मिलती हैं।

PSNR ↑
PSNR लघुगणकीय पैमाने पर पिक्सेल माध्य-वर्ग त्रुटि व्यक्त करता है। उच्च मान चुनी गई तुलना शर्तों के तहत कम त्रुटि का संकेत देते हैं। छवि संरेखण, चमक और रंग अंतर सभी इसे प्रभावित करते हैं।
SSIM ↑
SSIM स्थानीय चमक, कंट्रास्ट और संरचना की तुलना करता है। उच्च मान उन छवि गुणों में घनिष्ठ मिलान का संकेत देते हैं, जो पिक्सेल त्रुटि के साथ समानता का एक संरचनात्मक दृश्य जोड़ते हैं। [3]
LPIPS ↓
LPIPS गहरी छवि सुविधाओं के बीच की दूरी मापता है; निम्न मान संदर्भ के साथ घनिष्ठ मेल का संकेत देते हैं। फीचर नेटवर्क और प्रीप्रोसेसिंग मूल्यों को प्रभावित करते हैं, इसलिए कार्यान्वयन में तुलना के लिए एक सुसंगत प्रोटोकॉल की आवश्यकता होती है। [4]

सार्वजनिक 3D Gaussian Splatting मॉडल इन छवियों के बारे में सोचने का एक उपयोगी तरीका प्रदान करता है। एक दृश्य को गॉसियन आदिमों द्वारा दर्शाया जाता है, जिन्हें छवि में प्रक्षेपित किया जाता है और गहराई के क्रम में मिश्रित किया जाता है। पृष्ठभूमि शब्द को छोड़ने पर यह मिलता है: [1]

C(u, d) = ∑i Ti(u) · αi(u) · ci(d)Ti(u) = ∏j<i [1 − αj(u)]

यहां, यू पिक्सेल स्थिति है और डी देखने की दिशा है। अल्फ़ा प्रक्षेपित गॉसियन पदचिह्न को अस्पष्टता के साथ जोड़ता है; टी पूर्ववर्ती गाऊसी के बाद शेष संप्रेषण है। प्रत्येक पिक्सेल में कई योगदान होते हैं, जो अंतिम छवि के लिए कवरेज, रोड़ा और स्थानीय रंग भिन्नता को प्रासंगिक बनाते हैं। कैबिनेट फ़्रेमिंग, खिलौने के किनारे और गलीचे के पैटर्न उन प्रभावों का निरीक्षण करने के लिए ठोस स्थान प्रदान करते हैं।

7. निष्कर्ष और दायरा

इन दो इनडोर मामलों में, MakeWorlds Studio पूर्ण परीक्षण सेटों में अनुकूल परिणामों के साथ-साथ कमरे के लेआउट, फर्नीचर संरचना और बढ़िया सतह विवरण को संरक्षित करता है। साक्ष्य कई पैमानों पर दिखाई देता है: एक कमरे की समग्र व्यवस्था, एक कैबिनेट की आंतरिक रूपरेखा, और दृश्य के भीतर पैटर्न या अक्षरांकन। ये निष्पादन वर्कफ़्लो से विस्तृत इनडोर पुनर्निर्माण को प्रदर्शित करते हैं जो तस्वीरों से शुरू होता है और अपने स्वयं के कैमरों का अनुमान लगाता है।

इन दो इनडोर मामलों को प्रकाशित मूल्यांकन से चुना गया था क्योंकि तीनों मेट्रिक्स शोध पत्र संदर्भों के सापेक्ष अनुकूल थे। MakeWorlds Studio अपने स्वयं के कैमरा अनुमानों का उपयोग करता है, और परीक्षण-दृश्य सेट और पूर्ण पाइपलाइन शोध पत्र के प्रयोग से मेल नहीं खाते थे। मतभेद रिपोर्ट किए गए साहित्य मूल्यों के विरुद्ध संदर्भ प्रस्तुत करते हैं; वे एक नियंत्रित रैंकिंग स्थापित नहीं करते हैं या किसी व्यक्तिगत घटक के योगदान को अलग नहीं करते हैं।

निष्कर्ष इन दृश्यों और सेटिंग्स में परीक्षण किए गए दृष्टिकोण पर छवि निष्ठा से संबंधित हैं। मापन अनुप्रयोगों को स्वतंत्र ज्यामितीय जमीनी सच्चाई, आयामी त्रुटि परीक्षण और सतह जांच की भी आवश्यकता होगी। वॉकथ्रू को कैमरे की गति के दौरान झिलमिलाहट, रोड़ा संक्रमण और नए उजागर क्षेत्रों के निरीक्षण की आवश्यकता होगी। वे परीक्षण इस आलेख के बाहर हैं।

हम निष्पादन-से-निष्पादन भिन्नता या विश्वास अंतराल के बिना एक रिकॉर्ड किए गए मूल्यांकन बैच की रिपोर्ट करते हैं। डेल्टा अवलोकन हैं, जिनका सांख्यिकीय महत्व का कोई दावा नहीं है।

परीक्षण की स्थितियाँ और स्रोत
इनपुट
Dr Johnson के लिए 263 इनपुट फ़ोटो; Playroom के लिए 225।
सेटिंग्स
मध्यम पूर्व निर्धारित, स्रोत रिज़ॉल्यूशन, 30,000 चरण। छवियां और स्कोर एक ही मूल्यांकन बैच में मैक निष्पादन से हैं।
छवियाँ
Dr Johnson: देखें-000040 और देखें-000248। Playroom: देखें-000184 और देखें-000089। उच्चतम स्कोर दिखाने के बजाय लेआउट, किनारों और बनावट का निरीक्षण करने के लिए दृश्य चुने गए थे। प्रत्येक रेंडर को उसके संदर्भ फोटो के साथ जोड़ा गया है; डिस्प्ले ओरिएंटेशन और क्रॉप का मिलान किया जाता है।

डेटासेट: गहन सम्मिश्रण। Deep Blending

सन्दर्भ

रेंडरिंग मॉडल और मीट्रिक परिभाषाएँ नीचे दिए गए स्रोतों का अनुसरण करती हैं। प्रायोगिक परिणाम MakeWorlds Studio' प्रकाशित दृश्य मूल्यांकन से लिए गए हैं।

  1. Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
  2. Hedman et al. (2018). Deep Blending for Free-Viewpoint Image-Based Rendering.
  3. Wang et al. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity.
  4. Zhang et al. (2018). The Unreasonable Effectiveness of Deep Features as a Perceptual Metric.

तीन-प्लेटफ़ॉर्म बेंचमार्क परिणामों का अन्वेषण करें · फोटो खींचने की योजना बनाएं