Le blog francophone consacré
aux technologies Esri

DevSummit 2018: Un résumé de la semaine

Cette semaine avaient lieu, à Palm Springs (Californie), l'EPC (la conférence mondiale des partenaires Esri) suivie du DevSummit (la conférence développeurs Esri). Avec plus de 3000 participants sur l'ensemble des 2 événements, ce fut à nouveau un grand succès pour ce premier événement de l'année pour la communauté Esri. 
   
   
Pour avoir assisté à cet événement depuis plus de 10 ans, l'actualité technologique cette année n'a jamais été aussi riche et pleine d'innovation. De nombreuses annonces ont été faites par Esri concernant l'évolution de la plateforme ArcGIS et en particulier autour des solutions de développement, des composants serveur et cloud, des capacités de collecte et d'analyse de Big Data, d'intelligence artificielle (AI) ou encore de 3D ou de réalité virtuelle et/ou augmentée. Je ne peux évidemment pas reprendre ici le contenu des 25 sessions techniques que j'ai pu suivre cette semaine mais je vous propose une synthèse de ce qui me semble notable.

    
  
ArcGIS Enterprise, toujours plus puissant et simple à déployer

ArcGIS Enterprise est le coeur de la plateforme Web SIG hébergée dans votre infrastructure. Elle est au centre de la stratégie technologique d'Esri avec une Road Map impressionnante. Les principaux axes de R&D concernent les traitements Big Data (Raster et Vecteur), les capacités autour des nouvelles source d'imagerie, les capacités de Machine Learning, l'intégration d'outils "out-of-the-box" pour les Data Scientists ou encore l'évolution de l'architecture pour offrir de nouvelles stratégie de déploiement.

  
Esri compte bien conforter son leadership en termes de plateforme d'imagerie en complétant très prochainement ArcGIS Enterprise de nouvelles capacités innovantes. Tout d'abord, un nouveau module d'ortho-mapping permettra d'intégrer en quelques minutes des sources d'imageries aériennes ou drone via un client web. Ensuite, l'arrivée d'un éditeur web pour le moteur des fonctions rasters va permettre aux utilisateurs de profiter de la puissance des traitements d'images à la volée dont est doté ArcGIS depuis quelques années.

Esri poursuit également sa stratégie de permettre ces mêmes traitements d'image (avec Image Server) sur des Big Data Raster. Pour cela, ArcGIS Enterprise supporte les collections d'images et leur traitement parallélisé depuis des images stockées sur le Cloud (Amazon S3, Azure Blob Storage, Google Cloud Storage et Alibaba Cloud Storage).


Enfin, toujours autour des capacités d'imagerie, ArcGIS Enterprise va être doté de nouvelles capacités de Machine Learning, notamment à travers de nouveaux algorithmes de Deep Learning pour la classification et la détection d'objets. 

En ce qui concerne les capacités de Big Data sur les données vecteur et les données tabulaire, le rôle GeoAnalytics Server va s'enrichir de nouveaux outils de recherche de proximité, de GeoEnrichment, de GeoEnablement, de calcul de densité (DBSCAN et HDBSCAN). De nombreux nouveaux outils d'analyse prédictive arrivent également dans GeoAnalytics Server à travers 4 familles d'outils: Clustering, Classification, Prediction et Regression. On notera aussi que les données Azure Data Lake vont désormais être supportées en tant que source de données Big Data File Share.

Pour faciliter le travail des Data Scientist et des utilisateurs ayant à scripter des automatisations ou des analyses spatiales autour de leur Web GIS, Esri a décidé d'intégrer les outils de Jupyter Notebook en standard dans ArcGIS Enterprise. Cela va se traduire par l'intégration de l'interface de Jupyter Notebook et des Notebooks directement dans le portail ArcGIS. Les Notebooks pourront être partagés avec les autres utilisateurs du portail comme n'importe quel autre élément de contenu de votre Web SIG. Ces derniers pourront également être exécutés de manière programmée, ce qui sera très intéressant pour certaines tâches de DevOps par exemple.
 
    
Coté 3D, beaucoup d'améliorations vont être apportées à court termes (10.6.1) sur la performance et l'affichage des couches de scènes 3D. On notera l'arrivée de capacités de rendus des couches 3D et de mise à jour partielle des caches 3D.


    
Dans une perspective de plus long termes, des travaux de R&D sont actuellement menés par Esri pour faire évoluer l'architecture d'ArcGIS Enterprise pour supporter une approche de déploiement par containers (type Docker). La containerisation d'ArcGIS Entreprise permettra un déploiement plus souple et scalable des différents composants dans des architectures virtualisées.

  
La prochaine version d'ArcGIS Enterprise sera la version 10.6.1 prévue pour juin/juillet 2018. Le portail d'ArcGIS Enterprise va continuer à intégrer les nouveautés d'ergonomie et des avancées fonctionnelles issues d'ArcGIS Online.
  
 
Développements web avec l'API ArcGIS for JavaScript
  
Coté développement JavaScript, c'est tout d'abord un focus sur les prochaines versions (4.7 et 3.24) attendue pour le mois d'avril qui a été fait durant cette semaine. On notera de nombreuses innovations sur la partie 3D comme la capacité d'afficher les arrêtes des objects 3D ou les squelettes de ces modèles.

 
Déjà introduit en beta dans la version 4.6, Esri annonce une support complet des scènes 3D dans les navigateurs web des smartphones et tablettes récents (iPhone 7/8, Samsung Galaxy S8, ...)

  
De nouvelles capacités de dessins et de mesures de surfaces feront également leur apparition dans l'API en version 4.7.


L'API ArcGIS for JavaScript continue également d'évoluer sur la partie 2D notamment en termes de performance sur de large volumes de données. On notera par exemple l'arrivée d'un moteur de projection coté-client (en 4.7 et 3.24) et de nouvelles capacités de requête et de filtrage coté-client. Combinées au récentes évolutions liées au support de WebGL (qui ne sera plus en beta en 4.7), vous allez pouvoir créer des applications encore plus performantes et réactives.

Un aperçu avec cette application publiée par Yann Cabon de l'équipe JavaScript chez Esri.
 
On pourra noter l'arrivée d'un nouveau widget de légende permettant un affichage compact de la légende de vos cartes et permettant ainsi un meilleur responsive design.

   
Beaucoup d'autres évolutions vous attendent en 4.7 comme l'arrivée des rendus par densité de points, les couches en mémoire, l'accès aux tuiles d'entités au format binaire des serveurs ArcGIS (10.6.1 et ArcGIS Online),

Les développeurs apprécieront également l'arrivée d'outils et une meilleure compatibilité avec Webpack pour packager votre application JavaScript ArcGIS.

   
Une version 4.8 en milieu d'année et une version 4.9 en fin d'année 2018 sont prévues avec une Road Map ambitieuse qui a été largement partagée par Esri avec les développeurs cette semaine. D'ici la fin de l'année, l'API permettra l'affichage en WebGL d'étiquettes multi-lignes, l'utilisation dans les expressions Arcade de fonctions accédant aux entités de différentes couches de la carte, et des nouveaux widgets (editing, charting, smart-mapping, measurement, bookmarks,...).

L'API 4.x évolue très vite et c'est définitivement la version recommandée par Esri pour démarrer vos nouveaux développements d'application web. Cependant, si votre application nécessite certaines capacités qui ne sont pas encore dans cette nouvelle génération d'API, la version 3.x est toujours là et continue d'évoluer en 2018. La version actuelle (3.23) sera supportée jusqu'à mi-2021 et accessible sur les CDN d'Esri pour au moins une décennie.
  
  
Développements d'applications natives avec les SDK ArcGIS Runtime

ArcGIS Runtime évolue vite. La version majeure 100.2 sortie en décembre dernier a été largement démontrée que ce soit pour ces nouvelles capacités 3D sur mobiles, les nouveaux outils d'analyse 3D à la volée (GPU), l'implémentation des standards OGC ou encore l'accès direct désormais aux shapefiles et GeoPackage OGC locaux. 
  
  
Plusieurs démos ont été également réalisées autour des nouvelles capacités de fonctionnement en Offline/Online des SDK Runtime depuis des services d'entités et des services tuilés du portail ArcGIS. 
 
  
La prochaine version prévue pour l'été 2018 intégrera notamment des capacités de lecture et écriture de scènes 3D, un modèle unifié pour la gestion des symbologies et la prise en charge des services 3D de nuages de points (LAS). Une seconde version majeure sera disponible en fin d'année avec notamment le support des Utility Networks (visualisation et traçage), la prose en charge des annotations et un moteur d'étiquetage. 

   
AR/VR/MR
    
La réalité augmentée et/ou virtuelle est un des sujets largement développé par Esri cette année. Avec l'arrivée (en beta pour l'instant) de librairies adéquates dans les SDK ArcGIS Runtime, il est désormais assez simple avec quelques lignes de code, d'activer les capteurs de caméra, de positionnement et de gyroscope de l'appareil mobile et d'insérer dans la vue réelle des modèles 3D issus d'une couche de scène 3D ArcGIS. Ceci ouvre des usages très variés que plusieurs ateliers techniques nous ont permis de découvrir. 
  
     
Les 2 démonstrations de la plénière d'Adrien Mériaux était assez impressionnantes. La première application montrait comment activer, dans une application ArcGIS Runtime, le mode stéréroscopique sur l'écran de l'appareil mobile afin de visualiser une réalité virtuelle dans un masque bi-oculaire.
   
  
Cette application ArcGIS Runtime montrait une immersion en réalité augmentée incrustant la ville de San Diego en 3D dans la réalité de la scène du Convention Center. Plus intéressant encore, elle montrait aussi les possibilité de collaboration avec plusieurs personnes interagissant dans la même scène virtuelle avec des calculs d'intervisibilité à la volée... avec toutes les capacités d'analyse geospatiale disponibles dans ArcGIS Runtime, je vous laisse imaginer les usages !

  
 
   
Scripting et automatisation du Web SIG avec l'API Python 
  
L'API ArcGIS for Python devient un outil indispensable pour automatiser un certain nombre de workflows autour des utilisateurs, des contenus et des analyses de votre Web SIG. Lors de la plénière, Atma Mani (Product Lead Manager de l'API Python) a présenté des cas concrets dans lesquels cette API peut même jouer un rôle clé dans des cas d'usages critiques. En permettant l'accès à toutes les capacités du portail, l'API Python s'adresse aussi bien aux administrateurs SIG qu'aux géomaticiens, aux chargés d'études, aux Data Scientists, ...

   
Plusieurs démonstrations ont permis d'illustrer les récentes évolutions de l'API comme, par exemple, les capacités de clonage des contenus, des utilisateurs, des groupes, ... d'un portail ArcGIS vers un autre introduites en version 1.3. Autre exemple illustré ci-dessous, l'introduction en version 1.4 (sortie la semaine dernière) d'une méthode draw_graph() pour afficher le diagramme d'une fonction raster sur une couche d'imagerie.


Dans de nombreux ateliers techniques, l'API Python a été démontrée dans le cadre d'analyses spatiales puissantes exploitant à la fois les outils d'analyse d'ArcGIS Online ou d'ArcGIS Enterprise (notamment dans des contextes Big Data avec GeoAnalytics). Beaucoup d'exemples aussi montrant le couplage de l'API ArcGIS for Python avec des librairies Python Scientifiques (NumPy, SciPy, Seaborn, Matplotlib, ...) ou de Deep Learning (SciKit-Learn, Keras, TensorFlow, Theano,...) externes.

Véritable interface sur l'API Rest de votre portail (utilisateurs, groupes, contenus, outils d'analyse) Esri encourage fortement les utilisateurs de la plateforme à exploiter cette API Python non seulement pour l'automatisation des tâches d'administration mais aussi pour les tâches d'analyse.
  
   
Temps-réel et IoT

Le temps-réel est un axe majeur de développement pour Esri. GeoEvent Server est une solution mature et éprouvée (avec 1273 organisations qui l'utilisent quotidiennement dans 88 pays) qui permet l'intégration aux systèmes de gestion de données temp-réel et aux plateformes d'IoT. Utilisé dans des contextes très variés (défense, sécurité, transport, environnement, santé, gestion de réseaux, ...), une Road Map ambitieuse a été présentée lors de ce DevSummit 2018. On peut en retenir tout d'abord l'amélioration continue des capacités d'injection de messages qui sont dorénavant de 6000 entrées/secondes par noeud. GeoEvent étant désormais un rôle serveur, son déploiement peut facilement s'adapter à une charge croissante dans une architecture multi-machine.
 
   
Le futur de GeoEvent c'est tout d'abord l'ajout de nouveaux connecteurs en entrée et en sortie pour la version 10.6.1. Ensuite, pour la version 10.7, ce sont des évolutions plus importantes qui sont attendues avec la refonte de l'architecture interne de GeoEvent pour les Stream Services qui utiliseront désormais directement le gateway entrant. Un mécanisme de proxy et de load balancing sera proposé pour les Stream Services. Vous bénéficierez également d'améliorations sur les écritures dans les Feature Services avec un mécanisme de buffer permettant une plus grande tolérance sur les erreurs d'accès au service SIG en sortie.

 
Esri a également annoncé des travaux de R&D en cours pour pouvoir fournir les capacités de GeoEvent Server et GeoAnalytics Server sur la plateforme ArcGIS Online. Une nouvelle application premium "ArcGIS for IoT" permettra aux utilisateur d'ArcGIS Online de paramétrer des workflow de collecte, de traitement à la volée, de stockage et de traitement batch sur les flux de données temps réel et les Big Data de leur choix, tout cela en mode SaaS.
  

Data Science et GeoAI

Le sujet de l'Intelligence Artificielle (AI) appliqué la donnée géospatiale aura été probablement le thème principal de ce DevSummit 2018.


L'AI a été largement évoquée lors de la session plénière mardi matin. Tout d'abord, Esri a mentionné et illustré les outils intégrant déjà aujourd'hui des algorithmes de Machine Learning. On retrouve ces outils dans 3 domaines d'analyse: Classification, Clustering et Prediction.

 
Ce fut également le thème de la Keynote session mercredi matin avec le témoignage de Joseph Sirosh (Vice President, Artificial Intelligence and Research Group, chez Microsoft) qui a annoncé le partenariat entre Microsoft et Esri pour proposer l'offre GeoAI on Azure. Cette solution innovante est une machine virtuelle spécialement conçue pour vos tâches d'analyse et de traitement prédictif sur vos données géographiques.

  
Plus concrètement, il s'agit d'un environnement proposant  l'application SIG ArcGIS Pro installée dans une image DSVM (Data Science Virtual Machine) de Microsoft. Le DSVM est un environnement d'expérimentation et de modélisation populaire sur Azure qui fournit une foule d'outils d'AI, d'apprentissage automatique et de Data Science. Ceux-ci sont tous pré-configurés pour une productivité immédiate. La DSVM peut s'exécuter sur des instances de machine virtuelle simples sur Azure ou sur des instances de machine virtuelle exploitant des GPU, ce qui est particulièrement utile lors de la constitution des modèles d'apprentissage.
 
    
GeoAI on Azure apporte un outillage complet pour les Data Scientist avec Anaconda Python, JuliaPro, Jupyter Notebook for Python, Julia et R, Visual Studio Community edition avec Python et les outils R, SQL Server Developer edition, une instance d'Apache Spark, et des frameworks de deep-learning frameworks tels que TensorFlow, Microsoft Cognitive Toolkit, et d'autres outils et algorithmes de Machine Learning. Bien entendu, cet environnement peut être complété par des serveurs ArcGIS Enterprise instanciables également sur la plateforme Azure.

Je reviendrai plus en détails sur cette offre GeoAI et sur le sujet de l'AI avec ArcGIS un peu plus tard dans l'année.
  
  
Conclusion
  
Je n'ai pas abordé dans cette synthèse les annonces concernant les apps prêtes à l'emploi de la plateforme ArcGIS même si elles peuvent parfois faire partie de l'écosystème du développeur.

Les Road Maps des apps mobiles (Navigator, Explorer, Workforce, Survey123 et Collector) ont été dévoilées pour le court et moyen termes, c'est là encore très ambitieux et très en phase avec les besoins remontés par les utilisateurs.

Du coté des apps bureautiques, Esri a annoncé certaines évolutions prévues autour de la prochaine version d'ArcGIS Pro (la version 2.2). Cette dernière devrait notamment intégrer la prise en charge des flux FMV (Full Motion Video), la génération de rapports, l'impression offset, les couches de streaming ou encore  la prise en charge des sources de données BIM au format Revit Autodesk. J'aurai l'occasion d'y revenir le moment venu. 

Pour vous donner quelques repères, j'ai repris la traditionnelle slide de "la flèche" qui indique à la fois les versions à courts et moyens termes ainsi que les thèmes majeurs de ces prochaines versions.


Si vous ne l'avez pas encore fait, vous pouvez retrouver les vidéos de la session plénière du DevSummit 2018 à partir de cette page. Vous pourrez également retrouver d'ici quelques semaines les vidéos d'une large partie des ateliers techniques, je le signalerai sur ce blog.

Partager cet article:

Rejoindre la discussion

    Les commentaires à propos de cet article: