Gaussian Splats : Une nouvelle technologie de rendu 3D pour votre SIG

Dans le domaine de la 3D, de la réalité augmentée (AR), de la réalité virtuelle (VR) et des Jumeaux Numériques, on observe l’émergence d’une technologie de rendu 3D qui commence à faire beaucoup parler d’elle dans notre domaine du Geospatial: le Gaussian Splatting. 

Cette approche, plus récente que les modèles classiques de photomaillages 3D (3D Textured Meshes) ou de champs de radiance implicites (NeRF), ouvre de nouveaux horizons en matière de rendu photoréaliste et de capture de la réalité qui nous entoure.

Gaussian Splats dans ArcGIS Pro

Cet article a pour objectif de vous donner un panorama complet sur ce qu'est le Gaussian Splatting :  comment ça marche ? pourquoi c’est important ? quels usages peut-on en faire ? et enfin, les défis qui restent à relever.

Le Gaussian Splatting

Le Gaussian Splatting (ou Gaussian Splats) est une technique de rendu quasi-volumétrique. Au lieu de modéliser une scène 3D uniquement par des mailles 3D triangulaires, on la modélise comme une collection d'éclaboussures (splats) de formes ellipsoidales (gaussians), c'est à dire un assemblage des petits nuages flous dont la distribution gaussienne décrit comment la couleur et la densité se diffusent à partir du centre du splat. Au centre, la valeur est forte (opaque, colorée), puis elle diminue progressivement en s’éloignant, selon une courbe en cloche de type gaussiennes. Ces petits nuages sont positionnés dans l’espace 3D, chacun avec des paramètres de position, orientation, taille, couleur, transparence, etc... pour ne former au final qu'une seule image 3D ressemblant au monde réel.

Cette technique de visualisation permet notamment de modéliser des scènes avec des matériaux complexes (transparences, reflets) mais aussi avec un niveau de détail impressionnant (structures fines, feuillages, antennes, tuyau, etc.,.).

Chez Esri, le concept des Gaussian Splats se matérialise sous la forme d’un type de couche 3D spécifique que l'on appelle tout simplement une couche de Gaussian Splats. Elle est stockée au format 3D Tiles (fichiers .3tz) spécifique et peut être utilisée de la même façon que les autres données dans ArcGIS. Pour l'instant, cette donnée est en lecture seule, c'est à dire qu'aucune modification ne peut lui être apportée après sa création. Dans les versions suivantes, Esri travaille à étendre les fonctionnalités pour offrir une intégration complète des Gaussian Splats dans ArcGIS, y compris des capacités d'analyse ou de modification.

Quelle différence avec les autres structures de données 3D ?

Avant de faire un point sur les avantages et les inconvénients des Gaussians Splats, regardons un peu comment le réalisme 3D est arrivé progressivement dans les SIG.

Avec les évolutions technologiques liées aux capacités de rendus des cartes graphiques, le réalisme des données 3D dans le SIG n'a fait qu'augmenter ces dernières années. 

En effet, avec l'arrivée des techniques de photogrammétrie avancée dans les années 2010, la visualisation 3D à l'aide de photomaillage 3D à permis de construire des jumeaux numériques en 3D d'une grande précision. Constitué de sommets, arêtes et faces, les photomaillages 3D permettent une représentation claire et précise des formes et volumes, ce qui les rends idéal pour les objets ayant des contours nets (bâtiments, machines, mobilier, etc.).

En 2020, c'est l'arrivée du format NeRF. Les NeRF, ou Neural Radiance Fields, marquent une nouvelle étape dans la modélisation 3D. Basé sur l’intelligence artificielle pour reconstruire une scène en trois dimensions à partir de photos, le réseau neuronal apprend comment la lumière interagit avec la matière et peut ensuite reproduire la scène sous n’importe quel point de vue. Les NeRF s’appuient sur le rendu volumétrique, une méthode qui simule directement la circulation de la lumière dans l’espace. Le résultat permet des rendus d’un réalisme saisissant, capables de reproduire des nuances subtiles d’éclairage, de transparence et de texture. 

Principes de fonctionnement des NeRF

Le NeRF est la voie de l’IA pour le réalisme absolu, mais difficile à exploiter en production sur de vastes zones comme c'est le cas dans les SIG. Esri se focalise donc à ce moment là sur l'amélioration des rendus de photogrammétrie dense afin de capter des détails de plus en plus fins à l'aide de la reconstruction photogrammétrique.

C'est en 2025 que l'arrivée des Gaussians Splats dans le SIG crée une nouvelle révolution. Le rendu par Gaussian Splatting représente un compromis intéressant entre le rendu photoréaliste et la rapidité de création. Le tableau ci-dessous synthétise les avantages et les inconvénients de ces 3 méthodes de rendu 3D.

Dans la vidéo ci-dessous, vous pouvez voir une couche de photomaillage 3D (3D Mesh) et une couche de Gaussian Splats, toutes les deux générées avec Drone2Map à partir de la même collection de photos de drone (mon drone perso DJI Mini 5 Pro).

Les couches Gaussian Splats dans ArcGIS 

L'arrivée de cette nouvelle technique de représentation est disponible dans les outils de la gamme ArcGIS Reality depuis la mise à jour d'automne 2025. 

Les utilisateurs ayant accès à ArcGIS Pro 3.6 et versions ultérieures peuvent visualiser les couches Gaussian Splats directement dans ArcGIS Pro. 

Malgré les promesses, il reste encore un certain nombre de défis pour cette technologie de rendu 3D :

• Consommation mémoire / données : bien que plus efficient que certains formats, les scènes complexes peuvent représenter de gros volumes de données.
• Alignement / qualité de capture : la qualité dépend fortement des images de départ, des poses de caméra, de l’éclairage, etc. Un mauvais alignement génère des “artefacts”.
• Artefacts visuels : parfois des “splats” mal ajustés provoquent des effets de scintillement, des zones floues ou “flottantes”.
• Optimisation en temps réel + contraintes matérielles : pour avoir un rendu fluide sur des appareils modestes (smartphones, tablettes), il faut optimiser, simplifier ou adapter le modèle.
• Normes & compatibilité : étant encore en plein essor, les formats, outils, meilleurs pratiques sont en évolution.
• Sensibilité à l’éclairage / matériaux : bien qu'elle soit meilleure que d'autres techniques, certaines zones (reflets complexes, transparence) restent difficiles à représenter.
• Traitement “post-capture” : il peut être nécessaire de nettoyer les données (suppression de Splats isolés ou non-cohérents, retouches).

En conclusion

Vous l'avez compris, à mesure que les technologies immersives évoluent, de nouvelles approches redéfinissent les standards pour des rendus 3D toujours plus réalistes. Pour résumer, on peut retenir les points suivants :

• Le rendu par Mesh 3D reste la référence pour la modélisation structurée et mesurable.
• Le rendu par NeRF est la voie de l’IA pour le réalisme absolu, mais encore difficile à exploiter en production.
• Le rendu par Gaussian Splatting constitue un compromis puissant : il marie la capture photoréaliste et le rendu rapide, ouvrant la voie à des applications immersives dans les SIG, le BIM et les Jumeaux Numériques.