Retour sur le Developer Summit Esri 2016 - 1/3

Cette année encore, le Developer Summit Esri a rassemblé un nombre impressionnant de participants qui, à en juger par une salle de plénière comble, dépasse probablement les 2000 personnes (Esri n'a pas encore communiqué le chiffre final). Avec 24% de primo-participants et 19% de non-US, l'événement prend de l'ampleur. Pour la première fois, la session était retransmise en direct via Periscope.

    

L'actualité des technologies Esri en ce début d'année 2016 a été particulièrement riche avec la sortie encore toute récente d'ArcGIS 10.4 (et ArcGIS Pro 1.2), la disponibilité de nouvelles solutions en version beta (comme Drone2Map for ArcGIS, Workforce for ArcGIS ou Survey123 for ArcGIS) et des versions majeures des APIs et SDKs ArcGIS également en version beta. Pour autant, la session plénière a été l'occasion pour Esri de parler aussi du futur avec la finalisation de projets de R&D qui vont amener Esri à proposer une version 10.4.1 (essentiellement corrective) cet été et une version majeure 10.5 en fin d'année.

Ce fut, de mon point de vue, une conférence importante pour le futur et qui aura donné une large visibilité aux partenaires et aux développeurs qui ont fait le déplacement en Californie. Je vous propose de partager, le temps de 3 articles, un tour d'horizon (tout à fait personnel) des annonces qui me paraissent intéressantes.

GeoEvent et Spatio-temporal Big Data Store

La version 10.4 est arrivée il y a quelques semaines à peine et la conférence fut l'occasion pour Esri de revenir sur quelques unes des innovations, en particulier sur la prise en charge de données temps réel dans la plateforme ArcGIS. L'extension GeoEvent d'ArcGIS Server progresse notablement en 10.4 pour répondre aux enjeux de Big Data liés à la multiplication des capteurs, de l'Internet des objets et des flux de données temps réel. En particulier, on notera la prise en charge de flux de données de volumes et de fréquences beaucoup plus importants et leur stockage dans un nouveau type d'entrepot de données dédié au stockage et au requêtage de Big Data Spatio-Temporelles. Ce dernier supporte des injections de plusieurs dizaines milliers d'enregistrements par secondes.

Des évolutions importantes ont également été apportées du coté d'ArcGIS Server et du portail pour être en capacité de publier des Map Services et des Feature Services diffusant ces Big Data Spatio-Temporelles. Pour cela, un mécanisme d'agrégation à la volée permet l'affichage de millions de points, de lignes ou de polygones de manière lisible sur la carte.


En termes de visualisation, il est toujours possible (comme en version 10.3 et 10.3.1) de publier des Stream Services pour afficher directement dans l'application cliente les flux de données en sortie de GeoEvent avec un mécanisme de push.

  

GeoAnalytics for ArcGIS

GeoAnalytics for ArcGIS est une nouvelle solution encore en cours de développement qui va permettre depuis un poste bureautique (ArcGIS for par exemple), une application web ou un script, de réaliser des analyses spatiales sur des Big Data Spatio-Temporelles, c'est à dire des données dont la volumétrie ne permet pas le traitement par les outils d'analyse classiques d'ArcGIS. Par exemple, vous devez réaliser une jointure spatiale entre 20 millions de points et 500 000 polygones ou agréger par proximité un jeu de données de 3 milliards de points.

Pour réaliser ce type de traitement sur des données vectorielles, GeoAnalytics s'appuie sur différents types de données en entrée (Shapefiles, Fichiers CSV, Géodatabase, Data Store, SpatioTemporal Big Data Store, ...) qui sont envoyées pour le traitement sur un serveur en cluster (type HDFS). Les résultats sont ensuite stockés dans un SpatioTemporal Big Data Store ArcGIS pour être visualisés à travers des Map Services ou des Features Services via un portail ArcGIS.


Les outils d'analyse qui seront proposés sont directement liés au traitement de données sous l'angle spatial et/ou temporel.

Cette nouvelle extension d'ArcGIS Server devrait être disponible en version beta au cours de l'été et faire partie de la version 10.5 d'ArcGIS Server.

Raster Analytics

Les problématiques de Big Data dans un SIG ne concernent pas uniquement les données tabulaires ou les couches de données vecteur (points, lignes, polygones). Esri a montré en plénière de futures capacités de la plateforme d'ArcGIS pour le stockage et le traitement de Big Data d'imagerie qui feront leur apparition probablement en fin d'année. Basées sur une nouvelle notion de bases de données raster distribuées et sur l'usage de cluster de serveurs pour l'execution des traitements, Esri a démontrer comment il sera possible d'enchainer différentes fonctions raster (comme on le fait actuellement sur des mosaïques de raster) sous la forme de modèles pour les appliquer sur de très gros volumes d'imagerie publiés en tant que services web.


Le résultat étant lui aussi un service web, ces modèles de traitement raster pourront aussi bien être définis et exécutés depuis un poste bureautique comme ArcGIS Pro que depuis une application web comme la visionneuse de cartes de son portail ArcGIS. Le résultat d'un traitement peut ensuite être utilisé en tant qu'entrée d'un autre traitement.

 

Comme pour GeoAnalytics, l'objectif est de pouvoir réaliser en quelques heures ce qui prenait auparavant plusieurs jours, de réaliser en quelques minutes ce qui prenait auparavant plusieurs heures, ...

  

Insights for ArcGIS

Lors de la FedUC, il y a 2 semaines, Esri a annoncé une nouvelle solution nommée "Insights for ArcGIS". Démontrée plus largement cette semaine dans le cadre de la session plénière et de sessions techniques, il s'agit d'une application d'exploration de données très innovante en termes d'interface et de capacités de manipulation de données spatiales et non-spatiales. Dans Insights for ArcGIS, Esri à repenser totalement la manière dont un utilisateur peut naviguer, explorer, filtrer, représenter et au final mieux comprendre le contenu de ses données, à travers la carte mais surtout une interface à l'ergonomie d'une intuitivité remarquable qui n'a aucun équivalent aujourd'hui dans le monde du géospatial et peut être pas même dans les outils de BI.


"Insights for ArcGIS" propose à l'utilisateur d'afficher des cartes web interactives ou tout autre élément d'analyse graphique (courbe, histogramme, ...) en combinant à l'infini des couches, des tables, des attributs, des filtres, des sélections, des agrégations dans un environnement hautement intuitif et interactif à la portée de n'importe quel utilisateur. A partir d'un référentiel de données issues du SIG et du SI de l'entreprise (Géodatabase, service web, data warehouse, fichiers excel, flux temps réel, entrepot Big Data, ...) l'utilisateur peut afficher des couches cartographiques mais aussi toute autre source de données géolocalisées qu'il souhaite visualiser dans l'interface. Pour cela il pourra ajouter différents widgets pour représenter des axes et des statistiques dérivés de ces jeux de données.
Connecté à votre compte d'organisation ArcGIS,  "Insights for ArcGIS" va devenir un outil de choix de la plateforme ArcGIS pour la visualisation et l'exploration de données. Une version beta publique sera disponible d'ici le début de l'été et la solution devrait arriver en version finale d'ici la fin de l'année 2016.

A demain pour la suite...