엔지니어링 노트 · 새로운 관점 종합
실내 3D 재구성 평가: Dr Johnson과 Playroom
MakeWorlds Studio는 자체 카메라 추정을 사용하여 사진에서 Dr Johnson 및 Playroom를 재구성했습니다. 기록된 Mac 실행에서 두 장면 모두 원본 3DGS 연구 논문에 보고된 해당 값보다 높은 PSNR 및 SSIM 및 낮은 LPIPS를 반환합니다. 이미지 쌍은 캐비닛 프로파일, 반복되는 러그 패턴, 책장의 다층 내용물 등 실제로 재구성된 내용을 보여줍니다.
1. 전체 테스트 세트의 결과
아래 평균은 Dr Johnson의 16개 테스트 보기와 Playroom의 14개 모두를 포함합니다. 두 장면 모두에서 세 가지 측정항목 모두 보고된 3DGS 값에 비해 선호됩니다. 기사 뒷부분에 나오는 네 개의 이미지 쌍은 해당 결과 뒤에 눈에 보이는 세부 정보를 보여줍니다.
표는 색상 보정 점수를 대체하지 않고 게시된 평가의 연구 논문 비교 프로토콜을 사용합니다. 기준값은 원본 3DGS 부록의 30,000단계 결과입니다. 카메라 추정치와 테스트 뷰 세트는 다르기 때문에 델타는 통제된 비교보다는 문헌에 대한 맥락을 제공합니다. [1] 비교 조건 및 범위
| 결과 | PSNR ↑ / dB | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 3DGS 연구 논문(신고) | 28.766 | 0.8990 | 0.2440 |
| MakeWorlds Studio · Mac | 29.180Δ +0.414 | 0.9124Δ +0.0134 | 0.2215Δ −0.0225 |
| 결과 | PSNR ↑ / dB | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 3DGS 연구 논문(신고) | 30.044 | 0.9060 | 0.2410 |
| MakeWorlds Studio · Mac | 30.385Δ +0.341 | 0.9148Δ +0.0088 | 0.2264Δ −0.0146 |
방향은 두 장면 모두에서 일관됩니다. 더 높은 PSNR 및 SSIM, 더 낮은 LPIPS입니다. 이러한 측정값은 픽셀 오류, 로컬 이미지 구조 및 지각 거리를 설명합니다. 아래 비교는 장면 수준 평가를 캐비닛 가장자리, 바닥판 이음새 및 반복 패턴을 포함한 특정 기능과 연결합니다.
2. 사진부터 평가까지
Dr Johnson 및 Playroom은 원본 3DGS 평가에도 사용된 공개 딥 블렌딩 장면입니다. 여기에 있는 모든 MakeWorlds Studio 이미지와 점수는 게시된 2026년 10월 1일 배치의 Mac 실행에서 가져온 것입니다. [2]
| 데이터세트 및 뷰 | Dr Johnson | Playroom |
|---|---|---|
| 사진 입력 | 263 | 225 |
| 테스트 보기 | 16 | 14 |
| 여기에 표시된 조회수 | 2 | 2 |
| 이미지 크기(픽셀) | 1332 × 875 | 1264 × 832 |
Apple M4 Max에서 30,000개의 최적화 단계에 대해 소스 해상도에서 중간 사전 설정을 실행했습니다. MakeWorlds Studio 입력 이미지에서 카메라를 추정하고, 장면을 훈련하고, 테스트 뷰를 렌더링했습니다. 이러한 견해는 훈련 전에 수정되었습니다. 해당 이미지는 장면 최적화에서 제외되었으며 평가를 위한 참고 자료로 사용되었습니다.
네 개의 그림 뷰에는 캐비닛, 놀이 공간, 러그 패턴 및 붐비는 책장이 포함되어 있습니다. 가장 높은 조회 점수가 아닌 해당 기능을 위해 선택했습니다. 각 참조/렌더링 쌍은 일치하는 디스플레이 방향과 자르기를 사용하므로 장면 수준 결과에 대해 개별 기능을 확인할 수 있습니다.
3. Dr Johnson: 캐비닛 외형부터 내부 프레임까지
재구성은 동일한 보기 내에서 여러 축척의 세부 사항을 유지합니다. 어두운 캐비닛은 전체적인 윤곽뿐만 아니라 뾰족한 아치와 문의 수평 분할도 유지합니다. 벽난로 선반, 측면 지지대 및 벽 몰딩은 따라야 할 추가 윤곽을 제공합니다. 이러한 특징은 재구성된 가구가 주변 공간과 어떻게 관련되어 있는지 보여줍니다.


그림 1. Dr Johnson, Mac, view-000040. 캐비닛의 아치와 내부 구분은 외부 프로필 및 벽난로 몰딩과 함께 뚜렷하게 유지됩니다. 왼쪽 참고 사진; MakeWorlds Studio 오른쪽이 렌더링됩니다.
여기서 유용한 증거는 인식 가능한 방 레이아웃과 그 내부의 작은 구조의 조합입니다. 캐비닛을 가로질러 구분선을 드래그하면 해당 내용이 표시됩니다. 밝은 창 영역과 일부 미세한 가장자리는 여전히 참조와 눈에 띄게 다릅니다.
4. Playroom: 색상 영역, 개별 개체 및 바닥 텍스처
Playroom은 하나의 이미지에 여러 가지 세부 수준을 제공합니다. 재구성을 통해 넓은 양탄자 줄무늬와 폼 매트 글자가 재현되었으며, 흩어진 장난감은 식별 가능한 모양과 위치를 유지합니다. 다채로운 놀이 공간에서 벗어나 마루판 솔기와 매듭은 또 다른 대응 세트를 제공합니다. 이미지는 광범위한 색상 영역, 개체 경계 및 표면 질감에 대한 정보를 유지합니다.


그림 2. Playroom, Mac, view-000184. 러그 줄무늬, 폼 매트 문자, 장난감 윤곽선 및 바닥판 이음새를 통해 점점 더 미세한 크기로 검사할 수 있습니다.
5. 정밀검사 : 반복되는 패턴과 책장 내용
Dr Johnson 러그에는 테두리 모티프가 연속적인 순서로 배열되어 있으며 더 큰 중앙 패턴의 모양과 위치가 사진과 일치할 수 있습니다. Playroom은 인접한 책등의 너비와 색상, 바인더의 각도 및 쌓인 개체의 레이어를 유지합니다. 상단 선반에는 녹색 책의 제목이 여전히 읽을 수 있습니다. 아래 두 쌍 모두 참조 및 렌더링에 동일한 자르기 및 배율을 사용하므로 이러한 기능을 직접 비교할 수 있습니다.


그림 3a. Dr Johnson, view-000248. 러그의 테두리와 중앙 모티프는 개별적으로 식별 가능합니다. 일부 미세한 패턴 요소와 의자 등받이 가장자리는 더 부드럽습니다.


그림 3b. Playroom, view-000089. 책등과 바인더는 별도의 윤곽선, 색상 및 배열을 유지합니다. 더 큰 제목 글자는 여전히 읽을 수 있습니다. 작은 텍스트는 다양한 정도의 부드러워짐을 보여줍니다.
6. 눈에 보이는 세부정보를 측정항목에 연결
예는 방 레이아웃과 넓은 색상 영역에서 개체 경계, 반복되는 모티프 및 개별 문자 획으로 이동합니다. 정량적 평가는 픽셀 오류, 로컬 구조 및 지각 특징 측면에서 이미지 차이를 요약합니다. 두 가지를 모두 사용하면 독자가 비교할 수 있는 수치 결과와 검사할 구체적인 이미지 기능을 얻을 수 있습니다.
- PSNR ↑
- PSNR은 픽셀 평균 제곱 오차를 로그 척도로 표현합니다. 값이 높을수록 선택한 비교 조건에서 오류가 낮다는 것을 나타냅니다. 이미지 정렬, 밝기 및 색상 차이가 모두 영향을 미칩니다.
- SSIM ↑
- SSIM은 국지적 휘도, 대비 및 구조를 비교합니다. 값이 높을수록 해당 이미지 속성이 더 밀접하게 일치함을 나타내며 픽셀 오류와 함께 유사성에 대한 구조적 보기가 추가됩니다. [3]
- LPIPS ↓
- LPIPS는 깊은 이미지 특징 사이의 거리를 측정합니다. 값이 낮을수록 참조와 더 가깝게 일치함을 나타냅니다. 기능 네트워크와 전처리는 값에 영향을 미치므로 구현 간 비교에는 일관된 프로토콜이 필요합니다. [4]
공개 3D Gaussian Splatting 모델은 이러한 이미지에 대해 생각하는 유용한 방법을 제공합니다. 장면은 이미지에 투영되고 깊이 순서에 따라 혼합되는 가우스 기본 요소로 표현됩니다. 배경 용어를 생략하면 다음이 제공됩니다. [1]
여기서 u는 픽셀 위치이고 d는 보는 방향입니다. Alpha는 투영된 가우스 발자국과 불투명도를 결합합니다. T는 이전 가우스 이후에 남은 투과율입니다. 여러 기여가 각 픽셀을 형성하여 최종 이미지와 관련된 적용 범위, 폐색 및 로컬 색상 변화를 만듭니다. 캐비닛 프레임, 장난감 가장자리 및 러그 패턴은 이러한 효과를 검사할 수 있는 구체적인 장소를 제공합니다.
7. 결론 및 범위
이 두 가지 실내 사례에서 MakeWorlds Studio는 전체 테스트 세트에서 유리한 결과와 함께 방 레이아웃, 가구 구조 및 미세한 표면 세부 사항을 보존합니다. 증거는 방의 전체 배치, 캐비닛의 내부 프레임, 장면 내 패턴 또는 글자 등 여러 규모에서 볼 수 있습니다. 이러한 실행은 사진으로 시작하여 자체 카메라를 추정하는 워크플로우를 통해 상세한 실내 재구성을 보여줍니다.
이 두 실내 사례는 세 가지 지표 모두 논문의 기준값보다 양호했기 때문에 공개된 평가에서 선정했습니다. MakeWorlds Studio는 자체적으로 추정한 카메라 정보를 사용하며, 테스트 시점 집합과 전체 처리 과정을 논문 실험과 동일한 조건으로 맞추지 않았습니다. 이 차이는 문헌에 보고된 값과 비교할 수 있는 참고 자료이며, 조건을 통제한 순위나 개별 구성 요소의 기여도를 입증하지 않습니다.
결론은 이러한 장면과 설정에서 테스트된 시점의 이미지 충실도에 관한 것입니다. 측정 애플리케이션에는 독립적인 기하학적 실제값, 치수 오류 테스트 및 표면 검사도 필요합니다. 워크스루에서는 카메라 모션 중에 깜박임, 폐색 전환 및 새로 노출된 영역을 검사해야 합니다. 해당 테스트는 이 문서 외부에 있습니다.
실행 간 차이나 신뢰 구간 없이 기록된 평가 일괄 처리 하나를 보고합니다. 델타는 통계적 유의성을 주장하지 않는 관측치입니다.
테스트 조건 및 소스
- 입력
- Dr Johnson에 대한 입력 사진 263개; Playroom의 경우 225입니다.
- 설정
- 중간 사전 설정, 소스 해상도, 30,000단계. 이미지와 점수는 동일한 평가 배치의 Mac 실행에서 가져온 것입니다.
- 이미지
- Dr Johnson: view-000040 및 view-000248. Playroom: view-000184 및 view-000089. 가장 높은 점수를 표시하기보다는 레이아웃, 가장자리 및 질감을 검사하기 위해 뷰가 선택되었습니다. 각 렌더는 참조 사진과 쌍을 이룹니다. 디스플레이 방향과 자르기가 일치합니다.
데이터 세트: 딥 블렌딩. Deep Blending
참고자료
렌더링 모델 및 측정항목 정의는 아래 소스를 따릅니다. 실험 결과는 MakeWorlds Studio' 공개된 장면 평가에서 도출되었습니다.
- Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
- Hedman et al. (2018). Deep Blending for Free-Viewpoint Image-Based Rendering.
- Wang et al. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity.
- Zhang et al. (2018). The Unreasonable Effectiveness of Deep Features as a Perceptual Metric.