Dans
la première partie de cet article, je résumais en quelques lignes la vision d'Esri présentée par Rony Gal (PDG d'Esri France) lors de la plénière de SIG 2015. Dans cette deuxième partie, je vous propose une synthèse des évolutions technologiques de la plateforme ArcGIS présentées par Christophe Tourret (Directeur des Technologies d'Esri France).
La plateforme ArcGIS
La stratégie technique d'Esri est à la fois simple et ambitieuse. Depuis plusieurs années Esri construit la plateforme ArcGIS, un écosystème technologique homogène et évolutif permettant de répondre à la vision du Web SIG.
On peut décrire cette plateforme autour de ses 3 principales composantes:
- Les services web qui alimentent la plateforme en termes de contenus et de capacités fonctionnelles. Ces services sont mis en oeuvre par les technologies serveur d'Esri (ArcGIS for Server ou ArcGIS Online) via des standards ouverts Rest-JSON ou SOAP-XML. Ces services peuvent également provenir de serveurs normalisés (WMS, WCF, WFS, GeoJSON,...).
- Le portail qui permet le catalogage, la découverte et le partage des ressources géospatiales. Dans une logique collaborative et sécurisée, le portail permet la diffusion des ressources dans l'organisation où chaque utilisateur dispose d'une identité. Grâce à des modèles de GéoInformation qui constituent une abstraction et une organisation de ces ressources, le portail facilite leur usage par n'importe quelle application et profil d'utilisateur.
- Les apps qui permettent la collecte, la maintenance, l'exploration et l'analyse des ressources de la plateforme. Ces applications proposent des capacités des plus simples au plus avancées et fonctionnent en mode connecté ou déconnecté. Ces applications s'exécutent sur différents environnements et appareils: bureautiques, web (navigateurs) et mobiles. Il peut s'agir d'apps prêtes à l'emploi, d'apps configurées à partir des générateurs d'applications ou encore d'apps étendues ou développées à partir des SDKs de la plateforme.
Un modèle de GéoInformation, clé de la simplification
Construire une plateforme SIG ne consiste pas seulement à connecter des briques technologiques existantes bureautiques, serveurs, web ou mobiles existantes. Au cœur de la plateforme ArcGIS, Esri a mis au point un modèle de GéoInformation qui permet aujourd'hui de rendre véritablement plus simple et plus rapide le partage d'information géographique à travers toute l'organisation.
Ce modèle de GéoInformation est une façon d'abstraire différents types de contenus géographiques et les organiser. Il permet à la fois d'organiser des données SIG vectorielles, des données tabulaires de l'entreprise ou encore des données d'imagerie. Quelles soient issues de bases de données ou de flux temps-réel, le modèle de GéoInformation permet de les résumer en Couches simples et de les exploiter à travers des Cartes Web (2D) et des Scènes Web (3D).
Cette abstraction vis à vis des types et des origines des sources de données entraine une véritable simplification sur la manipulation de l'information géographique. Elle constitue le média simple et porteur d'intelligence qui est diffusé dans l'ensemble de l'organisation. C'est un des points clé de la plateforme ArcGIS qui rend désormais le SIG si accessible. Ces notions de couches, de cartes ou de scènes sont naturelles pour tous les utilisateurs qui se connectent au portail.
Dotés des outils de conception en ligne du portail, les utilisateurs sont autonomes et peuvent créer leur propres cartes (ou scènes) puis décider de les partager avec les utilisateurs de leur choix. Qu'il s'agisse du grand public, d'utilisateurs métiers, de décideurs, de développeurs ou d'experts en géomatique, tous les profils peuvent exploiter et collaborer autour de ces cartes, à travers les innombrables applications mis à leur disposition par la plateforme. Le SIG s'ouvre ainsi plus que jamais.
Les grands thèmes d'innovation de la plateforme ArcGIS
Après avoir exposé comment le Web SIG était implémenté aujourd'hui dans les solutions ArcGIS, Christophe a ensuite évoqué les principaux thèmes d'évolution de la plateforme ArcGIS. J'en reprends ici quelques unes.
Les Contenus
Un aspect important de la stratégie d'Esri est de fournir à ses utilisateurs des contenus pertinents pour compléter ou enrichir leurs données métiers. C'est ce qu'Esri regroupe sous le terme d'atlas vivant (Living Atlas) et qui se traduit par la fourniture de contenus via des services web ou des bases de données sur étagère, qu'ils soient élaborés par Esri, par ses distributeurs ou par ses partenaires.
Au delà des contenus ajoutés ces derniers mois sur la plateforme ArcGIS Online (fonds de carte, nouveau géocodeur, géo-enrichissement, couches thématiques,...) un focus sur les contenus français a été fait par Christophe autour de France50®, FranceIRIS® et plus particulièrement France2025®. Unique et innovante, cette base de données conçue par l'équipe de Data Scientist d'Esri France contient une description très fine de la population française dans 10 ans.
Une autre illustration de l'investissement d'Esri France autour des contenus socio-éco-démographiques et de l'Open Data a été démontrée durant la plénière. Il s'agit de l'application
Observatoire des Métropoles réalisée par Esri France pour combiner et mettre en valeur différentes bases de données sur des thématiques variées dans l'optique de pouvoir comparer les 14 Métropoles françaises. Je reviendrai sur cette application prochainement dans arcOrama.
Gestion des données
La gestion des données est la fondation de toute plateforme SIG et Esri continue à investir de manière importante sur ce thème. Plusieurs évolutions récentes ont été soulignées par Christophe. Par exemple, la possibilité d'accéder à des bases de données ALTIBASE, SAP HANA ou Teradata depuis ArcGIS for Desktop ou ArcGIS for Server. Ceci permet de publier des données sous forme de service d'entités pour les consulter mais également pour les mettre à jour. Autre exemple, l'ajout de l'introduction de la notion de tâches dans ArcGIS Pro pour automatiser un enchainement d'actions pouvant combiner des outils de géotraitement mais également des commandes de l'interface et des interactions avec la carte ou la scène dans ArcGIS Pro. Un dernier exemple, l'arrivée dans ArcGIS d'un nouveau modèle de données "Utility Network" pour offrir des capacités plus avancées de modélisation (inside/outside plant) mais aussi une gestion plus souple des réseaux d'énergie (gaz, électricité, eau,...) et télécom.
Cartographie et visualisation
Des chantiers ambitieux ont été entamés par Esri depuis quelques années pour faciliter et innover autour de la visualisation des données, que ce soit sur le Web ou sur le poste bureautique, en 2D comme 3D. L'arrivée du Smart Mapping dans les outils de conception de cartes web dans le portail ArcGIS en est une bonne illustration. Le Smart Mapping permet, de manière quasi automatique, à des non cartographes de créer des cartes esthétiques et pertinentes. Ce dernier va continuer d'évoluer en proposant de nouvelles options de rendu (Clustering notamment) mais aussi en se généralisant dans d'autres apps de la plateforme (ArcGIS Pro en particulier).
Beaucoup d'innovations également en termes de visualisation de données 3D avec des capacités d'affichage et de navigation en 3D dans toutes les applications et SDKs de la plateforme (ArcGIS Desktop, ArcGIS Runtime, API JavaScript,...). La plénière fut d'ailleurs l'occasion pour moi de l'illustrer avec une démonstration de la nouvelle application ArcGIS Earth (j'y reviendrai plus tard sur arcOrama) et une démonstration sur la gestion de données patrimoniales 3D sur le site de La Défense avec ArcGIS Pro, une application web et 2 smartphones Android et Windows Phone (j'y reviendrai également plus tard sur arcOrama).
Esri France a également présenté, en avant-première en Europe, les évolutions de la plateforme en termes de cartographie par tuilage vectoriel. Il s'agit d'une nouvelle capacité qui arrivera dans la plateforme ArcGIS en 10.4 et va permettre de servir des caches d'entités vectorielles (tuilé un peu comme les services d'images tuilées actuels) vers des applications clientes qui peuvent potentiellement filtrer les couches et modifier la symbologie à la volée. Cette innovation offre de nombreux avantages à la fois en termes de gestions des caches sur le serveur (plus rapide à générer ou à mettre à jour), en termes de stockage (10 à 100 fois moins volumineux) mais aussi en termes de rendu cartographique (rotation des éléments, gestion des textes, niveaux d'échelles, anti-aliasing,...). Vous pouvez
voir un exemple ici.
Enfin, d'autres évolutions autour de la Data Viz ont également été évoquées concernant l'enrichissement de la plateforme en termes d'outils création de diagrammes à la fois en Desktop, Mobile et Web.
Imagerie
Au delà du support des nouveaux capteurs, l'imagerie est un sujet central pour Esri qui poursuit ses efforts pour intégrer les sources de données raster (imagerie satellitaire, photographie aérienne, Lidar, Radar, ...) au coeur de la plateforme ArcGIS.
Ces dernières années, Esri a mis au point le modèle de données des mosaïques de rasters pour gérer de manière souple et performante de larges collections d'images, tout en permettant de les manipuler et de les traiter comme une seule et unique source de données. Mettre au point un traitement raster (classification, étirement, filtrage, sur une partie de l'image et l'appliquer à la volée sur une mosaïque de plusieurs milliers d'image, c'est une prouesse technologique qui est disponible aussi bien dans ArcGIS for Desktop (ArcMap et Pro) qu'en web avec ArcGIS for Server: ce sont les
Fonctions Raster. Dans le même temps, en version 10.3 et 10.3.1 ArcGIS s'est enrichi de plus de 100 nouveaux outils de géotraitement dédiés à l'imagerie.
L'innovation sur l'imagerie est loin d'être terminée pour Esri. D'ici la fin de l'année, Esri proposera une solution pour le post-traitement d'images collectées par des drones (professionnels ou non) pour construire des orthophotos et des MNE à partir des données brutes. D'autre part, Esri travaille sur une meilleure intégration des données vidéos (Full-Motion-Vidéo) et des prises de vues obliques dans les applications de la plateforme ArcGIS.
L'analyse Spatiale
L'analyse spatiale est depuis toujours dans l'ADN des solutions Esri et ce sera encore le cas dans les années à venir pour proposer aux utilisateurs de la plateforme toujours plus de capacités pour comprendre et interpréter la géographie.
Ce développement de l'analyse spatiale dans la plateforme se fait autour de 2 axes:
- Enrichir la palette d'outils d'ArcGIS for Desktop (et Server) en termes de fonctionnalités d'analyse spatiale (l'environnement de géotraitement d'ArcGIS) et faciliter également le couplage avec les formats et les outils scientifique. Le dernier exemple en date étant le couplage avec l'outil de statistique "R" (en savoir plus sur le projet Open Source ici) ou l'intégration en standard des librairies Python SciPy ou Pandas.
- Mettre à disposition du plus grand nombre, les fonctions d'analyse spatiale les plus récurrentes à travers une interface simple et en ligne. Il s'agit là des outils d'analyse spatiale disponibles en tant que services web sur la plateforme ArcGIS Online. Aujourd'hui, l'utilisateur d'un portail ArcGIS Online peut réaliser, via un simple navigateur, la plupart des analyses spatiales qu'il faisait avec ArcView 3, il y a 10 ans !
Esri annonce que ces services d'analyse spatiale seront également disponible dans Portal for ArcGIS dans une prochaine version.
Big Data
Dans toute les activités ou l'on collecte des données, l'évolution des technologies d'acquisition (démocratisation des capteurs, capacités des outils de mesure, réseaux sociaux, smart devices, ...) aboutit aujourd'hui à une accélération inédite du volume des bases de données. Si l'on considère que 80 à 90% de ces données sont géolocalisées, alors le SIG est directement impacté par les Big Data.
Pour ces raisons, Esri travaille depuis 2 ans sur un projet Big Data. L’objectif est de pouvoir analyser géographiquement de grandes quantités d’information dans un minimum de temps et de les visualiser synthétiquement. Nous parlons ici de centaines de millions, voir même de milliards d’observations dans le temps et dans l’espace.
L’idée est de pouvoir faire en quelques minutes ou secondes, ce qui peut prendre aujourd’hui des semaines de calcul. Pour cela, Esri ne réinvente pas ce qui existe déjà dans l'industrie de l'IT. L'idée est de s'appuyer sur des architectures de calcul parallèle et de travailler sur les données les plus brutes possibles. La plus-value de la solution qui sera proposée dans quelques mois, est de faire cela sur tout type de données structurée ou non-structurée: tables, vecteurs et imagerie.
Concrètement, il s’agira d’une nouvelle extension pour ArcGIS for Server. Elle s’appellera GeoAnalytics et elle est prévue pour 2016 avec la version 10.4 d'ArcGIS.
Une plateforme ouverte
Un dernier grand thème évoqué par Christophe lors de la plénière concerne l'ouverture de la plateforme. Ce n'est pas un sujet nouveau mais toujours aussi important Esri.
La première approche consiste à supporter les normes reconnues par l'industrie du web et du géospatial (W3C, OGC, ISO,...). Dans ce domaine, les dernières versions d'ArcGIS se sont largement enrichies avec par exemple le support des GeoPackage OGC, le support avancé des standards Grib, HDF, NetCDF ou IFC ou encore la capacité d'ArcGIS for Server à publier des services WFS 2.0.1. D'importants efforts sont en cours autour du support du format OGC KML afin que ce format puisse être utilisé partout dans la plateforme comme un format natif. Toutes solutions confondues, Esri a actuellement 163 certifications OGC en cours de validité.
La seconde approche, complémentaire de la première, consiste à implémenter des standards de fait du marché (DGN, DXF, DWG, OSM, OLEDB, HDFS, GeoJSON,...) pour que les solutions d'Esri s'interfacent correctement avec d'autres solutions. C'est le cas récemment par exemple, avec l'ajout de certains formats 3D (Collada, VRML, OBJ, Autodesk FBX, ...). Pour certains formats, le recours à des extensions comme ArcGIS Data Interoperability offre des interfaces bidirectionnelles comme avec le monde du BIM (via les formats CityGML et IFC par exemple).
La troisième approche consiste tout d'abord à participer aux groupes de travail de certaines organisations pour contribuer à la définition et au développement de nouveau standard. Cette démarche s'accompagne également de la publication d'un certains nombre de spécifications autour de nos formats de données et nos APIs. Par exemple, les spécifications des services web Rest de la plateforme ArcGIS sont documentées depuis plusieurs années. Plus récemment, Esri a publié les spécification de la structure des caches 3D de ses nouveaux services web 3D.
En plus d'utiliser différentes librairies Open Source dans les solutions de la plateforme ArcGIS, Esri propose également un nombre croissant d'outils, d'applications et de librairies en Open Source notamment
sur la plateforme GitHub (plus de 250 projets et 134 collaborateurs Esri).
Dans la troisième et dernière partie de cet article, je traiterai les focus produits démontrés lors de la plénière.
