Pular para o conteúdo
Voltar ao blog

Notas de engenharia · síntese de novo ponto de vista

Avaliando a reconstrução 3D de interiores: Dr Johnson e Playroom

MakeWorlds Studio reconstruído Dr Johnson e Playroom a partir de fotografias usando estimativas de sua própria câmera. Nas execuções gravadas no Mac, ambas as cenas retornam PSNR e SSIM superiores e LPIPS inferiores aos valores correspondentes relatados no artigo de pesquisa 3DGS original. Os pares de imagens mostram o que as reconstruções mantêm na prática: perfis de armários, padrões repetidos de tapetes e o conteúdo em camadas de uma estante.

Equipe MakeWorlds Studio ·

Visualizações reconstruídas selecionadas de uma execução mais recente. As imagens e métricas abaixo pertencem à execução da avaliação original.

1. Resultados em todo o conjunto de testes

As médias abaixo cobrem todas as 16 visualizações de teste em Dr Johnson e todas as 14 em Playroom. Em ambas as cenas, todas as três métricas são favoráveis ​​em relação aos valores 3DGS relatados. Quatro pares de imagens posteriormente neste artigo mostram os detalhes visíveis por trás desses resultados.

As tabelas usam o protocolo de comparação de artigos de pesquisa de nossa avaliação publicada, sem substituir pontuações corrigidas por cores. Os valores de referência são os resultados de 30.000 etapas no apêndice 3DGS original. As estimativas das câmeras e os conjuntos de visualizações de teste diferem, portanto, os deltas fornecem contexto em relação à literatura, em vez de uma comparação controlada. [1] Condições de comparação e escopo

Dr Johnson · Mac · Médias de todo o conjunto de teste · Protocolo de comparação com o artigo de pesquisa
Δ = MakeWorlds Studio − trabalho de pesquisa. Maior PSNR / SSIM e menor LPIPS são melhores.
ResultadoPSNR↑ / dBSSIM ↑LPIPS ↓
3DGS artigo de pesquisa (relatado)28.7660.89900.2440
MakeWorlds Studio · Mac29.180Δ +0.4140.9124Δ +0.01340.2215Δ −0.0225
Playroom · Mac · Médias de todo o conjunto de teste · Protocolo de comparação com o artigo de pesquisa
Δ = MakeWorlds Studio − trabalho de pesquisa. Maior PSNR / SSIM e menor LPIPS são melhores.
ResultadoPSNR↑ / dBSSIM ↑LPIPS ↓
3DGS artigo de pesquisa (relatado)30.0440.90600.2410
MakeWorlds Studio · Mac30.385Δ +0.3410.9148Δ +0.00880.2264Δ −0.0146

A direção é consistente em ambas as cenas: PSNR e SSIM mais altos, LPIPS mais baixo. Essas medidas descrevem o erro de pixel, a estrutura local da imagem e a distância perceptiva. As comparações abaixo conectam essa avaliação em nível de cena a recursos específicos, incluindo bordas de gabinete, costuras de piso e padrões repetidos.

2. Das fotografias às vistas avaliadas

Testado

Dr Johnson e Playroom são cenas públicas de Deep Blending também usadas na avaliação 3DGS original. Todas as imagens e pontuações MakeWorlds Studio aqui vêm das execuções do Mac no lote publicado em 1º de outubro de 2026. [2]

Conjunto de dados e visualizaçõesDr JohnsonPlayroom
Insira fotos263225
Visualizações de teste1614
Visualizações mostradas aqui22
Tamanho da imagem (pixels)1332 × 8751264 × 832

Executamos a predefinição Média na resolução de origem para 30.000 etapas de otimização em um Apple M4 Max. MakeWorlds Studio estimou câmeras a partir das imagens de entrada, treinou a cena e renderizou as visualizações de teste. Essas opiniões foram fixadas antes do treinamento; suas imagens foram excluídas da otimização da cena e utilizadas como referência para avaliação.

As quatro vistas ilustradas cobrem os armários, a área de recreação, os padrões dos tapetes e uma estante lotada. Nós os selecionamos por esses recursos, não pelas pontuações de visualização mais altas. Cada par de referência/renderização usa orientação e corte de exibição correspondentes, tornando possível verificar recursos individuais em relação aos resultados em nível de cena.

3. Dr Johnson: do contorno do gabinete à sua moldura interna

A reconstrução retém detalhes em diversas escalas dentro da mesma vista. O armário escuro mantém o seu perfil geral, bem como os arcos pontiagudos e as divisões horizontais das suas portas. A cornija da lareira, os suportes laterais e as molduras das paredes fornecem contornos adicionais a seguir. Juntas, essas características mostram como o mobiliário reconstruído se relaciona com o ambiente circundante.

Dr Johnson 的木柜、白色壁炉与绿色墙面的 MakeWorlds Studio 渲染
Fotografia original: O armário de madeira, lareira branca e paredes verdes em Dr Johnson
Foto originalRenderização MakeWorlds Studio

Figura 1. Dr Johnson, Mac, visualização-000040. Os arcos e divisões internas do gabinete permanecem distintos ao lado do perfil externo e das molduras da lareira. Foto de referência à esquerda; MakeWorlds Studio renderizado à direita.

A evidência útil aqui é a combinação de um layout de sala reconhecível e as estruturas menores dentro dela. Arrastar a divisória pelo gabinete traz essas correspondências à vista. A área clara da janela e algumas bordas finas ainda diferem visivelmente da referência.

4. Playroom: regiões de cores, objetos separados e textura do piso

Playroom oferece diversas escalas de detalhes em uma imagem. A reconstrução reproduz as largas listras do tapete e as letras em espuma, enquanto os brinquedos espalhados mantêm formas e posições identificáveis. Longe da área de recreação colorida, as costuras e nós do piso fornecem outro conjunto de correspondências. A imagem retém informações em amplas regiões de cores, limites de objetos e textura de superfície.

Playroom 中的彩色地毯、玩具与木地板的 MakeWorlds Studio 渲染
Fotografia original: O tapete listrado, os brinquedos e o piso de madeira em Playroom
Foto originalRenderização MakeWorlds Studio

Figura 2. Playroom, Mac, visualização-000184. Listras de tapete, letras de espuma, contornos de brinquedos e costuras de piso fornecem verificações em escalas cada vez mais finas.

5. Inspeção mais detalhada: padrões repetidos e conteúdo da estante

No tapete Dr Johnson, os motivos das bordas permanecem dispostos numa sequência contínua e as formas e posições dos padrões centrais maiores podem ser combinadas com a fotografia. Playroom preserva as larguras e cores das lombadas dos livros vizinhos, os ângulos dos fichários e as camadas dos objetos empilhados. Na prateleira superior, o título do livro verde permanece legível. Ambos os pares abaixo usam o mesmo corte e ampliação para referência e renderização, para que esses recursos possam ser comparados diretamente.

Dr Johnson 的地毯、椅子与木地板的 MakeWorlds Studio 渲染
Fotografia original: Tapete, cadeiras e piso de madeira em Dr Johnson
Foto originalRenderização MakeWorlds Studio

Figura 3a. Dr Johnson, visualização-000248. A borda e os motivos centrais do tapete permanecem individualmente identificáveis. Alguns elementos de padrão mais finos e bordas do encosto da cadeira são mais suaves.

Playroom 中的书架、文件夹与柜门的 MakeWorlds Studio 渲染
Fotografia original: Estantes, pastas e portas de armário em Playroom
Foto originalRenderização MakeWorlds Studio

Figura 3b. Playroom, visualização-000089. As lombadas e os fichários dos livros mantêm seus contornos, cores e disposição separados. As letras maiores do título permanecem legíveis; o texto menor mostra vários graus de suavização.

6. Conectando detalhes visíveis às métricas

Os exemplos vão desde o layout da sala e amplas regiões de cores até os limites dos objetos, motivos repetidos e traços de letras individuais. A avaliação quantitativa resume as diferenças de imagem em termos de erro de pixel, estrutura local e características perceptivas. O uso de ambos fornece ao leitor resultados numéricos para comparar e recursos concretos da imagem para inspecionar.

PSNR ↑
PSNR expressa o erro quadrático médio do pixel em uma escala logarítmica. Valores mais altos indicam erros mais baixos nas condições de comparação escolhidas. O alinhamento da imagem, o brilho e as diferenças de cores afetam isso.
SSIM ↑
SSIM compara luminância, contraste e estrutura local. Valores mais altos indicam uma correspondência mais próxima nessas propriedades da imagem, adicionando uma visão estrutural de similaridade junto com o erro de pixel. [3]
LPIPS ↓
LPIPS mede a distância entre recursos de imagem profunda; valores mais baixos indicam uma correspondência mais próxima da referência. A rede de recursos e o pré-processamento afetam os valores, portanto, as comparações entre implementações exigem um protocolo consistente. [4]

O modelo público 3D Gaussian Splatting fornece uma maneira útil de pensar sobre essas imagens. Uma cena é representada por primitivas gaussianas, que são projetadas na imagem e mescladas em ordem de profundidade. A omissão do termo de fundo fornece: [1]

C(u, d) = ∑i Ti(u) · αi(u) · ci(d)Ti(u) = ∏j<i [1 − αj(u)]

Aqui, u é a posição do pixel e d é a direção de visualização. Alpha combina a pegada gaussiana projetada com opacidade; T é a transmitância restante após as gaussianas anteriores. Diversas contribuições formam cada pixel, tornando a cobertura, a oclusão e a variação local de cores relevantes para a imagem final. A moldura do gabinete, as bordas dos brinquedos e os padrões dos tapetes fornecem locais concretos para inspecionar esses efeitos.

7. Conclusões e âmbito

Nesses dois casos internos, MakeWorlds Studio preserva o layout da sala, a estrutura dos móveis e os detalhes finos da superfície, juntamente com resultados favoráveis em todos os conjuntos de testes. A evidência é visível em diversas escalas: a disposição geral de uma sala, a estrutura interna de um armário e padrões ou letras dentro da cena. Essas execuções demonstram a reconstrução interna detalhada a partir de um fluxo de trabalho que começa com fotografias e estima suas próprias câmeras.

Esses dois casos internos foram selecionados da avaliação publicada porque todas as três métricas eram favoráveis em relação às referências dos artigos de pesquisa. MakeWorlds Studio usa suas próprias estimativas de câmera, e os conjuntos de visualização de teste e pipelines completos não corresponderam ao experimento do artigo de pesquisa. As diferenças oferecem contexto em relação aos valores relatados na literatura; não estabelecem uma classificação controlada nem isolam a contribuição de um componente individual.

As conclusões dizem respeito à fidelidade da imagem nos pontos de vista testados nessas cenas e cenários. As aplicações de medição também precisariam de informações geométricas independentes, testes de erros dimensionais e verificações de superfície. As orientações precisariam de inspeção durante o movimento da câmera para detectar cintilação, transições de oclusão e regiões recentemente expostas. Esses testes estão fora deste artigo.

Relatamos um lote de avaliação registrado sem variação de execução para execução ou intervalos de confiança. Os deltas são observações, sem reivindicação de significância estatística.

Condições e fontes de teste
Entrada
263 fotos de entrada para Dr Johnson; 225 para Playroom.
Configurações
Predefinição média, resolução de origem, 30.000 passos. As imagens e pontuações são das execuções do Mac no mesmo lote de avaliação.
Imagens
Dr Johnson: visualização-000040 e visualização-000248. Playroom: visualização-000184 e visualização-000089. As visualizações foram escolhidas para inspecionar o layout, as bordas e a textura, em vez de mostrar as pontuações mais altas. Cada renderização é combinada com sua foto de referência; a orientação da exibição e o corte são combinados.

Conjunto de dados: combinação profunda. Deep Blending

Referências

O modelo de renderização e as definições de métricas seguem as fontes abaixo. Os resultados experimentais são extraídos das avaliações de cena publicadas pelo MakeWorlds Studio.

  1. Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
  2. Hedman et al. (2018). Deep Blending for Free-Viewpoint Image-Based Rendering.
  3. Wang et al. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity.
  4. Zhang et al. (2018). The Unreasonable Effectiveness of Deep Features as a Perceptual Metric.

Explore os resultados do benchmark de três plataformas · Planeje uma captura de foto