Note di ingegneria · sintesi di nuovi punti di vista
Valutare la ricostruzione 3D degli interni: Dr Johnson e Playroom
MakeWorlds Studio ricostruito Dr Johnson e Playroom da fotografie utilizzando le stime della propria fotocamera. Nelle esecuzioni Mac registrate, entrambe le scene restituiscono PSNR e SSIM più alti e LPIPS più bassi rispetto ai valori corrispondenti riportati nel documento di ricerca originale 3DGS. Le coppie di immagini mostrano ciò che le ricostruzioni conservano nella pratica: profili di armadietti, motivi ripetuti di tappeti e contenuti stratificati di una libreria.
1. Risultati dell'intero set di test
Le medie riportate di seguito coprono tutte le 16 visualizzazioni di prova in Dr Johnson e tutte le 14 in Playroom. In entrambe le scene, tutti e tre i parametri sono favorevoli rispetto ai valori 3DGS riportati. Quattro coppie di immagini più avanti nell'articolo mostrano i dettagli visibili dietro questi risultati.
Le tabelle utilizzano il protocollo di confronto degli articoli di ricerca della nostra valutazione pubblicata, senza sostituire i punteggi corretti per il colore. I valori di riferimento sono i risultati di 30.000 passi nell'appendice originale 3DGS. Le stime delle telecamere e i set di visualizzazioni di prova differiscono, quindi i delta forniscono un contesto rispetto alla letteratura piuttosto che un confronto controllato. [1] Condizioni e ambito di confronto
| Risultato | PSNR ↑ / dB | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 3DGS documento di ricerca (riportato) | 28.766 | 0.8990 | 0.2440 |
| MakeWorlds Studio · Mac | 29.180Δ +0.414 | 0.9124Δ +0.0134 | 0.2215Δ −0.0225 |
| Risultato | PSNR ↑ / dB | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 3DGS documento di ricerca (riportato) | 30.044 | 0.9060 | 0.2410 |
| MakeWorlds Studio · Mac | 30.385Δ +0.341 | 0.9148Δ +0.0088 | 0.2264Δ −0.0146 |
La direzione è coerente in entrambe le scene: PSNR e SSIM più in alto, LPIPS più in basso. Queste misure descrivono l'errore dei pixel, la struttura locale dell'immagine e la distanza percettiva. I confronti seguenti collegano la valutazione a livello di scena a caratteristiche specifiche, inclusi i bordi del mobile, le giunture delle assi del pavimento e i modelli ripetuti.
2. Dalle fotografie alle vedute valutate
Dr Johnson e Playroom sono scene pubbliche di Deep Blending utilizzate anche nella valutazione originale di 3DGS. Tutte le immagini e i punteggi MakeWorlds Studio qui provengono dalle esecuzioni Mac nel batch pubblicato il 1 ottobre 2026. [2]
| Set di dati e visualizzazioni | Dr Johnson | Playroom |
|---|---|---|
| Inserisci foto | 263 | 225 |
| Visualizzazioni di prova | 16 | 14 |
| Viste mostrate qui | 2 | 2 |
| Dimensioni dell'immagine (pixel) | 1332 × 875 | 1264 × 832 |
Abbiamo eseguito la preimpostazione Media alla risoluzione sorgente per 30.000 passaggi di ottimizzazione su un Apple M4 Max. MakeWorlds Studio ha stimato le telecamere dalle immagini di input, ha addestrato la scena ed ha eseguito il rendering delle viste di prova. Tali punti di vista sono stati fissati prima della formazione; le loro immagini sono state escluse dall'ottimizzazione della scena e utilizzate come riferimento per la valutazione.
Le quattro viste illustrate riguardano i mobili, l'area giochi, i modelli dei tappeti e una libreria affollata. Li abbiamo selezionati per queste funzionalità, non per i punteggi di visualizzazione più alti. Ogni coppia di riferimento/rendering utilizza l'orientamento di visualizzazione e il ritaglio corrispondenti, consentendo di confrontare le singole funzionalità con i risultati a livello di scena.
3. Dr Johnson: dal profilo del mobile alla sua cornice interna
La ricostruzione conserva i dettagli a diverse scale all'interno della stessa vista. Il mobile scuro mantiene il suo profilo complessivo così come gli archi a sesto acuto e le divisioni orizzontali delle ante. Il rivestimento del camino, i supporti laterali e le modanature delle pareti forniscono ulteriori contorni da seguire. Insieme, queste caratteristiche mostrano come gli arredi ricostruiti si relazionano con la stanza circostante.


Figura 1. Dr Johnson, Mac, view-000040. Gli archi e le divisioni interne del mobile rimangono distinti insieme al profilo esterno e alle modanature del camino. Foto di riferimento a sinistra; Rendering MakeWorlds Studio a destra.
La prova utile qui è la combinazione di una disposizione riconoscibile della stanza e delle strutture più piccole al suo interno. Trascinando il divisore attraverso l'armadietto vengono visualizzate queste corrispondenze. L'area luminosa della finestra e alcuni bordi sottili differiscono ancora visibilmente dal riferimento.
4. Playroom: regioni di colore, oggetti separati e struttura del pavimento
Playroom offre diverse scale di dettaglio in un'unica immagine. La ricostruzione riproduce le larghe strisce del tappeto e le scritte sul tappetino in schiuma, mentre i giocattoli sparsi mantengono forme e posizioni identificabili. Lontano dalla colorata area giochi, le cuciture e i nodi delle assi del pavimento forniscono un'altra serie di corrispondenze. L'immagine conserva le informazioni su ampie regioni di colore, confini degli oggetti e struttura della superficie.


Figura 2. Playroom, Mac, view-000184. Le strisce del tappeto, le scritte sul tappetino in schiuma, i contorni dei giocattoli e le cuciture del pavimento forniscono controlli su scale progressivamente più fini.
5. Ispezione più attenta: schemi ripetuti e contenuti degli scaffali
Sul tappeto Dr Johnson i motivi dei bordi rimangono disposti in sequenza continua e le forme e le posizioni dei motivi centrali più grandi possono essere abbinate alla fotografia. Playroom preserva le larghezze e i colori dei dorsi dei libri vicini, gli angoli dei raccoglitori e gli strati degli oggetti impilati. Sul ripiano superiore il titolo del libro verde resta leggibile. Entrambe le coppie di seguito utilizzano lo stesso ritaglio e ingrandimento come riferimento e rendering, quindi queste funzionalità possono essere confrontate direttamente.


Figura 3a. Dr Johnson, vista-000248. Il bordo del tappeto e i motivi centrali rimangono identificabili individualmente. Alcuni elementi del modello più fini e i bordi dello schienale della sedia sono più morbidi.


Figura 3b. Playroom, vista-000089. I dorsi e i raccoglitori dei libri mantengono contorni, colori e disposizione separati. I caratteri più grandi del titolo rimangono leggibili; il testo più piccolo mostra vari gradi di ammorbidimento.
6. Collegamento dei dettagli visibili alle metriche
Gli esempi spaziano dalla disposizione delle stanze e dalle ampie regioni di colore ai confini degli oggetti, ai motivi ripetuti e ai tratti delle singole lettere. La valutazione quantitativa riassume le differenze dell'immagine in termini di errore dei pixel, struttura locale e caratteristiche percettive. L'utilizzo di entrambi fornisce al lettore risultati numerici da confrontare e caratteristiche concrete dell'immagine da esaminare.
- PSNR ↑
- PSNR esprime l'errore quadratico medio dei pixel su scala logaritmica. Valori più alti indicano un errore più basso nelle condizioni di confronto scelte. L'allineamento dell'immagine, la luminosità e le differenze di colore influiscono tutti su di esso.
- SSIM ↑
- SSIM confronta la luminanza, il contrasto e la struttura locale. Valori più alti indicano una corrispondenza più stretta in quelle proprietà dell'immagine, aggiungendo una vista strutturale di somiglianza insieme all'errore dei pixel. [3]
- LPIPS ↓
- LPIPS misura la distanza tra le caratteristiche profonde dell'immagine; valori più bassi indicano una corrispondenza più vicina al riferimento. La rete di funzionalità e la preelaborazione influiscono sui valori, quindi i confronti tra le implementazioni richiedono un protocollo coerente. [4]
Il modello pubblico 3D Gaussian Splatting fornisce un modo utile per pensare a queste immagini. Una scena è rappresentata da primitive gaussiane, che vengono proiettate nell'immagine e mescolate in ordine di profondità. Omettendo il termine di fondo si ottiene: [1]
Qui u è la posizione del pixel e d è la direzione di visualizzazione. Alpha combina l'impronta gaussiana proiettata con l'opacità; T è la trasmittanza rimanente dopo le gaussiane precedenti. Diversi contributi formano ogni pixel, rendendo la copertura, l'occlusione e la variazione di colore locale rilevanti per l'immagine finale. La struttura dei mobili, i bordi dei giocattoli e i modelli dei tappeti forniscono luoghi concreti per ispezionare tali effetti.
7. Conclusioni e ambito
In questi due casi interni, MakeWorlds Studio preserva la disposizione della stanza, la struttura dei mobili e i dettagli fini della superficie, insieme a risultati favorevoli nell'intero set di test. Le prove sono visibili a diversi livelli: la disposizione generale di una stanza, l’inquadratura interna di un armadietto e modelli o scritte all’interno della scena. Queste esecuzioni dimostrano una ricostruzione interna dettagliata da un flusso di lavoro che inizia con fotografie e stima le proprie telecamere.
Questi due casi interni sono stati selezionati dalla valutazione pubblicata perché tutti e tre i parametri erano favorevoli rispetto ai riferimenti del documento di ricerca. MakeWorlds Studio utilizza le proprie stime della fotocamera e i set di visualizzazioni di prova e le pipeline complete non sono stati abbinati all'esperimento del documento di ricerca. Le differenze offrono contesto rispetto ai valori riportati in letteratura; non stabiliscono una classifica controllata né isolano il contributo di un singolo componente.
Le conclusioni riguardano la fedeltà dell'immagine dai punti di vista testati in queste scene e ambientazioni. Le applicazioni di misurazione necessiterebbero anche di verità geometriche di base indipendenti, test di errore dimensionale e controlli di superficie. Le procedure dettagliate richiederebbero un'ispezione durante il movimento della telecamera per individuare sfarfallio, transizioni di occlusione e regioni appena esposte. Questi test non sono presenti in questo articolo.
Riportiamo un batch di valutazione registrato senza varianza da esecuzione a esecuzione o intervalli di confidenza. I delta sono osservazioni, senza alcuna pretesa di significatività statistica.
Condizioni e fonti del test
- Ingresso
- 263 foto in ingresso per Dr Johnson; 225 per Playroom.
- Impostazioni
- Preimpostazione media, risoluzione sorgente, 30.000 passi. Immagini e punteggi provengono dalle esecuzioni Mac nello stesso batch di valutazione.
- Immagini
- Dr Johnson: vista-000040 e vista-000248. Playroom: vista-000184 e vista-000089. Le viste sono state scelte per esaminare layout, bordi e texture, piuttosto che per mostrare i punteggi più alti. Ogni render è abbinato alla sua foto di riferimento; l'orientamento del display e il ritaglio corrispondono.
Set di dati: fusione profonda. Deep Blending
Riferimenti
Il modello di rendering e le definizioni delle metriche seguono le fonti seguenti. I risultati sperimentali sono tratti dalle valutazioni delle scene pubblicate da MakeWorlds Studio.
- Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
- Hedman et al. (2018). Deep Blending for Free-Viewpoint Image-Based Rendering.
- Wang et al. (2004). Image Quality Assessment: From Error Visibility to Structural Similarity.
- Zhang et al. (2018). The Unreasonable Effectiveness of Deep Features as a Perceptual Metric.
Esplora i risultati dei benchmark su tre piattaforme · Pianifica uno scatto fotografico