Passer au contenu
Retour au blog

La technologie expliquée · Reconstruction 3D

Des photos aux nouveaux points de vue : comprendre le 3D Gaussian Splatting

Gaussian splatting transforme les observations d'une scène en une représentation 3D qui peut être restituée à partir de nouveaux points de vue. MakeWorlds Studio regroupe la saisie d'images, la reconstruction, l'inspection et la préparation de scènes dans un seul flux de travail. Cet article relie la géométrie de la caméra, la représentation de la scène et les principes de rendu derrière ce processus.

L'équipe MakeWorlds Studio ·

Un intérieur chaleureux avec un mur proche, une chaise au milieu et une porte plus loin
Illustration du concept : le mur, la chaise et l'embrasure de la porte établissent des relations au premier plan et à l'arrière-plan pour discuter de la parallaxe et de l'occlusion.

Une scène reconstruite donne au spectateur le contrôle de l’endroit d’où regarder. Se déplacer autour d’un objet ou s’approcher d’un meuble à l’intérieur d’une pièce modifie la relation entre le premier plan et l’arrière-plan. Cela permet d’inspecter ensemble l’apparence et la disposition lors de l’enregistrement ou de la présentation d’un espace.

MakeWorlds Studio Train et les études de cas en intérieur présentent des photographies et des rendus associés, permettant aux lecteurs d'inspecter directement les contours et les textures. Trois étapes connectées expliquent comment de tels résultats sont produits : récupérer les relations de la caméra, représenter la scène et rendre une vue choisie.

Récupérez les relations entre la caméra et la scène à partir de plusieurs vues

Des photographies prises depuis différentes positions fournissent des projections complémentaires. Les coins et les textures partagés établissent des correspondances qui relient les images.

Structure from Motion, ou SfM, utilise ces correspondances pour estimer les poses de la caméra et un ensemble initial de points 3D. Ils fournissent la référence spatiale pour la reconstruction.

Capturez à partir de positions changeantes avec chevauchement entre les vues adjacentes. Créez d’abord une couverture connectée, puis ajoutez des vues plus rapprochées des détails importants.

Les caméras estimées permettent d'affiner une représentation de scène par rapport aux observations connues et de la rendre à partir de points de vue spécifiés.

Représenter l'apparence avec des primitives gaussiennes spatiales

3DGS représente une scène avec de nombreuses gaussiennes spatiales. Chacun contient des informations sur la position, l'échelle, l'orientation, l'opacité et l'apparence ; leurs contributions combinées forment l’image de la scène.

L’influence d’une gaussienne s’éloigne de son centre. Un ellipsoïde doux en est une illustration utile : sa projection contribue à une empreinte qui s'estompe vers les bords.

Le moteur de rendu mélange ces contributions projetées en utilisant leur ordre de profondeur et leur opacité. L'animation ci-dessous utilise une tasse pour illustrer la projection et la formation de l'image.

Training compare les vues d'entraînement rendues avec leurs photographies et ajuste la représentation pour s'adapter à plusieurs observations.

Rendre une nouvelle position, avec une nouvelle parallaxe et une nouvelle occlusion

Une position ou une orientation modifiée de la caméra modifie les positions, les tailles et l'occlusion projetées. Le rendu à partir de cette caméra produit une nouvelle vue de la même représentation spatiale.

Avec le mouvement latéral de la caméra, le premier plan et l'arrière-plan se décalent de différentes quantités. Une ligne de vue peut également dépasser un obstacle et révéler quelque chose derrière. Le diagramme de vue en plan illustre cette relation.

Dans un diagramme descendant, une colonne bloque la ligne de vue de A vers un objet d'arrière-plan, tandis que la ligne de vue de B passe à côté de lui.
Colonne de premier planObjet d'arrière-planMême scène vue de dessus : en A, la colonne cache l'objet de fond ; en B, la ligne de vue passe à côté. Changer de position change l’occlusion.

Un seul panorama fournit des vues directionnelles autour d’une position de capture. Une scène reconstruite prend également en charge le changement de cette position, donnant ainsi une autre dimension à la planification de la capture et aux itinéraires de présentation.

Capturer et examiner le plan autour de l’utilisation prévue

Définissez les principales zones de visualisation, l'itinéraire prévu de la caméra et les détails qui nécessitent une inspection minutieuse avant la capture. Une couverture connectée, des photographies nettes et un éclairage raisonnablement stable fournissent des observations utiles ; des vues plus rapprochées ajoutent des preuves de textures et de structures importantes.

Examinez les contours, les changements d’occlusion et les régions nouvellement visibles le long de l’itinéraire planifié. Accordez une attention particulière aux surfaces réfléchissantes, au verre, aux zones à faible texture et aux objets en mouvement lorsque vous décidez où capturer ou affiner. Les zones non observées dans le matériel source nécessitent encore des preuves supplémentaires.

Cet article explique la reconstruction d'image et le rendu de vue. Les mesures, la gestion des collisions et les analyses techniques nécessitent des données géométriques appropriées et une validation pour leur utilisation prévue.

Connectez les images sources, les scènes et l'évaluation dans MakeWorlds Studio

MakeWorlds Studio organise la saisie, la reconstruction, l'inspection et la préparation des scènes dans un flux de travail connecté. Les utilisateurs travaillent à partir du matériel capturé vers une scène reconstruite, l'inspectent depuis différentes positions et la préparent en fonction de leurs objectifs de présentation.

Les cas publiés fournissent des exemples concrets : Train associe les détails d'une locomotive à des résultats sur trois plates-formes ; l'étude intérieure examine les armoires, les motifs répétés et le contenu des étagères. Les images correspondantes et les métriques complètes de l'ensemble de tests permettent aux lecteurs de vérifier les structures et les détails visuels conservés par les reconstructions.