Photomaillage 3D ou Gaussian Splats : quelle représentation de la réalité choisir ?
La cartographie de la réalité (Reality Mapping) entre dans une nouvelle ère.
Pendant des années, les photomaillages 3D (3D Textured Mesh) ont été la
méthode standard pour transformer les images aériennes, de drones et
terrestres en expériences 3D immersives. Puis sont apparus les projections
gaussiennes (Gaussian Splats), offrant des scènes 3D de votre jumeau
numérique d'un réalisme souvent étonnamment plus proches de la réalité que
les maillages que beaucoup d'entre nous ont mis des années à créer.
Cela signifie-t-il que les photomaillages 3D deviennent obsolètes ? Pas si
simple. Les deux représentations ont leurs avantages, leurs limites et leurs
cas d'usage optimum.
Dans cet article, je vous propose d'explorer ce qui les différencie, les
points forts de chacun et comment choisir celui qui correspond le mieux à
vos flux de travail.
Pourquoi les Gaussian Splats apparaissent-elles soudainement partout ?
Si vous avez suivi l'actualité et les échanges de
la communauté Reality Mapping Esri vous avez noté l'engouement pour ces nouvelles capacités de Gaussian
Splats introduites dans ArcGIS depuis presqu'un an. La raison est simple :
les rendus sont souvent visuellement époustouflants.
Lorsqu'un rendu par Gaussian Splats est comparé pour la première fois à un
maillage traditionnel, les différences sont souvent frappantes. La
végétation paraît plus dense, les lignes électriques les plus fines restent
visibles, les surfaces réfléchissantes semblent plus naturelles et les
scènes complexes donnent une impression de plus de réalisme. Ces
caractéristiques expliquent la popularité croissante des rendus par Gaussian
Splats notamment pour la visualisation, la communication avec les parties
prenantes d'un projet la valorisation du patrimoine culturel et bien
d'autres applications où le réalisme et le rendu des moindres détails sont
primordiaux.
Cependant, le réalisme n'est qu'une dimension de la cartographie de la
réalité (Reality Mapping). Un rendu convaincant, la prise en charge des flux
de travail analytiques et la possibilité d'une gestion des données à long
terme sont autant d'aspects importants de la capture de la réalité, mais les
différentes représentations les mettent souvent en avant de manières
différentes. C'est là que l'histoire devient plus intéressante.
Quelle est la différence fondamentale ?
Il est important de considérer ces deux produits cartographiques 3D comme
deux manières différentes de décrire un même monde. Bien qu'ils
proviennent des mêmes images, ils sont optimisés pour des résultats
fondamentalement différents. Les photomaillages 3D représentent la
géométrie sous forme de surfaces (triangulaires) fermées, ce qui les rend
idéaux pour l'analyse. Les Gaussian Splats, quant à elles, sont
optimisées pour le réalisme, la préservation des détails et une
représentation fidèle de la scène.
Cette distinction ne signifie pas que les Gaussian Splats se
limitent à la visualisation ni que les photomaillages 3D constituent la seule
option d'analyse. Les deux représentations peuvent prendre en charge un
large éventail de flux de travail et représenter, avec précision, les
dimensions et la forme des éléments du monde réel; mais elles y
parviennent grâce à des approches et des atouts fondamentalement
différents.
Cette différence concerne également leur rendu en fonction de la
couverture et de la densités d'images source. Les deux bénéficient
d'observations redondantes, mais les surfaces gaussiennes tirent davantage
profit d'images capturées sous des angles de vue variés, leur qualité
visuelle étant plus dépendante de la variété des points de vue de
l'observateur. Les maillages, en revanche, reconstruisent des surfaces
explicites et leur appliquent des textures, ce qui leur confère une
apparence plus homogène, quelle que soit la direction d'observation.
Pour connaître les meilleures pratiques et les conseils d'optimisation,
vous pouvez consulter l'article arcOrama Gaussian Splats :
Les bonnes pratiques pour un rendu optimal.
Les photomaillages 3D, reposant sur des surfaces et des textures
explicites, conservent une apparence stable même depuis des points de
vue très différents de ceux de l'acquisition de l'image originale. Les
Gaussian Splats excellent souvent dans la préservation des
détails fins, des structures complexes et des effets liés au point de
vue, difficiles à représenter par les approches surfaciques
traditionnelles.
En définitive, aucune représentation n'est universellement meilleure. Le
choix le plus approprié dépend des caractéristiques de la scène, du flux
de travail prévu et du résultat recherché.
Pourquoi les photomaillages 3D restent-ils la base de la cartographie
de la réalité ?
Les photomaillages 3D demeurent la base de nombreux flux de travail de
cartographie de la réalité, car ils représentent la réalité par le biais
de surfaces explicites que les logiciels peuvent analyser, mesurer et
avec lesquelles ils peuvent interagir directement. Derrière chaque toit,
route, pont et bâtiment se cache une surface structurée que les
logiciels peuvent comprendre, mesurer et avec laquelle ils peuvent
interagir.
Les organisations utilisent des maillages pour mesurer les distances et
les surfaces, extraire des caractéristiques, réaliser des analyses
d'ingénierie, s'intégrer aux modèles BIM et construire des jumeaux
numériques. Dans de nombreuses organisations, les maillages de la
réalité constituent le socle visuel et géométrique sur lequel reposent
les jumeaux numériques, fournissant le contexte réel nécessaire à
l'analyse et à la prise de décision.
Un photomaillage 3D n'est donc pas simplement quelque chose que l'on regarde.
C'est quelque chose sur lequel on peut construire des analyses, réaliser
des mesures, simuler des projets,...
Pour quels cas d'usage les Gaussian Splats sont-ils intéressants
?
La manière la plus pertinente de comparer les représentations de la
réalité consiste à examiner les problèmes qu'elles permettent de
résoudre. Plutôt que de se demander quelle technologie est la meilleure,
il est souvent plus utile de considérer les types d'applications et
d'environnements où chaque représentation peut offrir des avantages
distincts.
1. Végétation et milieux naturels
La végétation a toujours représenté un défi pour la reconstruction des
photomaillages 3D. Les branches qui se chevauchent, les feuilles en
mouvement et les structures très irrégulières rendent difficile la
génération de surfaces nettes sans perte de détails.
Parce que les Gaussians Splats se concentrent sur la reproduction de
l'apparence par des "tâches" plutôt que la construction de surfaces
explicites, elles préservent souvent la végétation de manière plus
naturelle, créant des scènes plus riches et plus réalistes.
Centre-ville de Dortmund. Contributeur : Aerowest GmbH
2. Petites structures complexes
Des éléments tels que les lignes électriques, les antennes, les
équipements et les mobiliers urbains, les clôtures, les échafaudages et
la végétation complexe sont souvent difficiles à représenter
efficacement sous forme de surfaces explicites, en particulier
lorsqu'ils n'occupent que quelques pixels dans l'image source.
Les Gaussian Splats conservent souvent mieux ces détails, ce qui les
rend particulièrement efficaces pour les environnements
d'infrastructures de services publics, industrielles et de
télécommunications.
Province de Quang Ngai, Vietnam. Contributeur : Portcoast Consultant Corporation
3. Expériences immersives
Lorsque la fidélité visuelle est explicitement mise en avant, en plus
de la précision géométrique.
Qu’il s’agisse de mettre en valeur le patrimoine culturel, de rendre
compte de l’avancement d’un projet ou de mobiliser les parties
prenantes, les "tâches gaussiennes" créent souvent un sentiment de
présence et de réalisme plus fort.
Château de Munster. Contributeur : Con terra GmbH/ Geolyser
GmbH
4. Visualisation rapide
Un autre avantage des Gaussian Splats réside dans l'efficacité. Ils permettent de représenter des environnements complexes et très détaillés avec une volumétrie de données relativement faible, réduisant ainsi les besoins en stockage et en transfert. Combinées aux capacités de niveau de détail proposées dans les Gaussian Splats générés par les applications ArcGIS Reality (Site Scan, Drone2Map, Reality Studio, Reality for Pro), elles offrent un chargement rapide et une visualisation fluide, y compris sur le web.
Pour quels cas d'usage les photomaillages 3D sont-ils intéressants ?
Bien que les Gaussian Splats excellent en matière de réalisme visuel et continuent de s'étendre à de nouveaux flux de travail, il existe encore de nombreux scénarios où les maillages offrent des avantages grâce à leur écosystème mature et à leur représentation explicite des surfaces.
1. Mesures de surface
Lorsque les décisions dépendent des surfaces, que ce soit dans le domaine de la construction, des services publics, des infrastructures, de l'inspection ou de la gestion d'équipements, la précision compte autant que l'apparence.
Les photomaillages 3D offrent une surface structurée qui permet des mesures fiables, des analyses précises et des flux de travail ultérieurs. Bien que des mesures puissent également être effectuées sur des surfaces gaussiennes, les maillages s'intègrent souvent plus naturellement aux flux de travail qui dépendent de surfaces explicites.
2. Intégration aux flux de travail SIG existants
L'industrie géospatiale a passé des années à élaborer des normes, des outils et des flux de travail autour des représentations de données 3D photomaillées notamment avec les 2 standards OGC "I3S" et "3D Tiles".
De ce fait, les photomaillages 3D s'intègrent naturellement aux couches SIG 3D, aux écosystèmes BIM, aux jumeaux numériques et aux flux de travail SIG analytiques, ce qui les rend particulièrement adaptés aux déploiements en entreprise. La prise en charge des Gaussian Splats est un peu avancées mais progresse également rapidement dans l'ensemble des applications géospatiales, avec l'émergence continue de nouveaux outils, normes et flux de travail au fur et à mesure de leur adoption.
3. Édition et extraction
Lorsque vous avez besoin d'extraire des données : extraire des bâtiments, générer des emprises au sol, modifier des géométries, de créer des données topographiques dérivés, .. les photomaillages 3D sont clairement plus adaptés.
De nombreux flux de travail d'édition et d'extraction ayant été initialement conçus pour des géométries de surface explicites, ces opérations sont aujourd'hui plus abouties et largement prises en charge pour les maillages. Avec l'évolution constante des écosystèmes de Gaussian Splats, de nouvelles approches et de nouveaux outils commencent à émerger.
Avez-vous réellement besoin de choisir ?
En deux mots : "pas nécessairement". De nombreuses organisations évaluent les deux représentations en fonction de leurs applications et flux de travail spécifiques, et constatent souvent que chacune apporte une valeur ajoutée unique au même projet.
Une même collection d'images peut produire à la fois un photomaillage 3D et des Gaussian Splats, chaque représentation apportant des avantages différents au sein d'un même flux de travail. Le choix dépend souvent moins de l'utilisateur des données que de l'objectif visé.
Les jumeaux numériques en sont un excellent exemple. Un jumeau numérique d'une métropole, d'une ville, d'un campus ou d'une infrastructure peut utiliser un photomaillage 3D comme base géométrique de référence pour l'analyse, les mesures, les simulations et l'intégration avec les données SIG ou BIM, tout en utilisant simultanément des Gaussian Splats pour préserver les détails visuels, communiquer le contexte et fournir des représentations très réalistes de l'environnement.
L'avenir n'est pas celui des photomaillages 3D contre les Gaussian Splats : c'est celui des photomaillages 3D et des Gaussian Splats combinés.
En résumé, comment choisir la bonne représentation ?
Bien que chaque projet soit différent, les conseils suivants peuvent vous aider à déterminer quelle représentation constitue le meilleur point de départ pour votre flux de travail :
Envisagez les Gaussian Splats lorsque vous en avez besoin :
- Préserver la complexité de la végétation et les détails de la canopée
- Inspectez les lignes électriques, les pylônes d'antennes ou autres structures minces.
- Créer des expériences de visualisation immersives
- Capturez les reflets, la transparence et les effets dépendants du point de vue.
- Produire rapidement des représentations de scènes très réalistes
Envisagez l'utilisation de maillages lorsque vous en avez besoin :
- Effectuer des calculs de volume et une analyse de surface
- Prise en charge de la modélisation des inondations et d'autres flux de travail nécessitant des surfaces continues
- Extraire des entités, des emprises ou des dérivés topographiques supplémentaires
- Intégration aux flux de travail SIG, BIM et d'ingénierie établis
- Maquettes 3D de bâtiments, de terrains et autres structures solides utilisées dans les simulations
Considérez les deux ensemble lorsque vous en avez besoin :
- Créer des jumeaux numériques
- Soutenir la mobilisation des parties prenantes et l'analyse technique au sein d'un même projet
- Associer une visualisation réaliste à une géométrie faisant autorité
- Environnements modèles contenant à la fois des structures solides et une végétation complexe
- Maximiser la valeur d'une seule collection d'images
Pour terminer, le visuel ci-dessous résume quelques points techniques relatifs aux différences entre les deux modèles représentation :
Expérimentez et restez connectés
Dans ArcGIS Reality, une même collection d'images peut générer à la fois des photomaillages 3D et des Gaussian Splats, vous permettant d'évaluer chaque représentation en fonction de vos propres exigences et flux de travail.
Que votre priorité soit la mesure, l'analyse, les jumeaux numériques, la communication avec les parties prenantes de votre projets ou la visualisation immersive, la meilleure façon de comprendre les atouts de chaque approche est de les expérimenter côte à côte.
Pour en savoir plus sur ArcGIS Reality, vous pouvez consulter la page produit et les ressources disponibles.
Si vous avez des questions, des idées ou si vous souhaitez simplement partager les résultats de vos expériences, n'hésitez pas à contacter les équipes d'ArcGIS Reality via la page de la communauté Esri et faites part de votre avis.