Je présente régulièrement sur ce blog les évolutions de la plateforme ArcGIS en ce qui concerne le déploiement de son SIG en 3D, et en particulier sur les capacités à gérer son territoire en 3D quel que soit sa taille. Il est parfois intéressant de montrer des exemples concrets démontrant ces capacités d'intégration de données 3D et de publication sur le web que propose ArcGIS. Après les exemples de Paris 3D en maquette blanche procédurale, je vous propose un nouvel exemple sur la ville de Lyon.
      
 
Je vous propose dans cet article de parcourir les principales étapes d'intégration des données qui m'ont permis d'intégrer les données 3D, de les publier sur le web pour propose la scène web illustrée ci-dessus (cette dernière se trouve à la fin de l'article).
 
 
Les données Open Data disponibles

Lyon est un exemple intéressant pour tester les capacités 3D d'ArcGIS car l'Open Data de la Métropole de Lyon fournit toutes les données nécessaire à la constitution d'un référentiel 3D: Orthophoto, MNT, modèles 3D texturés de bâtiments et de ponts 3D.
 

Intégration de l'orthophoto

Disponible par dalles de 25 km², une orthophoto d'une résolution de 8 cm est disponible au format ECW. Ce format est un format natif de données raster pour ArcGIS Pro, son intégration est donc directe. On notera l'intérêt de créer une mosaïque de rasters (Mosaïc Dataset) pour référencer et utiliser facilement l'ensemble des dalles sous la forme d'une seule source de données. Pour la publication sur le web, il suffira de créer un paquetage de tuile (TPK) à l'aide de l'outil "Créer un paquetage de tuiles de carte", puis de télécharger le fichier TPK sur votre portail ArcGIS. Si le fichier TPK fait plus de 2 Go, vous le téléchargerez sur le portail à l'aide de l'outil "Partager un paquetage". Ensuite, il suffira simplement de publier le paquetage en tant que couche de tuiles web.

Dans cet exemple, j'ai décidé d'utiliser l'orthophoto de 2012 dont la colorimétrie est cohérente avec la majorité des bâtiments texturés issus de cette même imagerie. Enfin, j'ai choisi de publier des couches en "WGS84 Web Mercator" (102100) pour pouvoir les utiliser aussi bien dans une scène web globale et locale. Vous pouvez aussi opter pour l'orthophoto de 2015 et la publier dans un autre système de coordonnées.

Orthophoto 2012 une fois publiée en tant que couche tuilée sur le portail ArcGIS

Pour les publier en tant que couche web, vous utiliserez l'outil "Créer une couche de scènes d’objets 3D" pour créer le cache i3S (fichier SLPK). Il vous faudra ensuite télécharger ce fichier sur votre portail ArcGIS puis le publier. Si le fichier SLPK fait plus de 2 Go, vous le téléchargerez sur le portail à l'aide de l'outil "Partager un paquetage". Ensuite, il suffira simplement de publier le paquetage en tant que couche de scèneweb.

Couche de scène web des bâtiments une fois publiée

Les ponts 3D texturés

Pour les modèles 3D des ponts, la démarche est exactement la même que pour les bâtiments.

Couche de scène web des points une fois publiée

 
 
Le MNT

Pour le MNT, la démarche consiste à intégrer les fichiers CityGML en convertissant les objets de la classe TINRelief vers une classe d'entités de type multipatch dans une Géodatabase Fichier. Tout cela en utilisant toujours l'extension Data Interoperability d'ArcGIS Pro.

Affichage de la classe d'entités multipatch TINRelief dans ArcGIS Pro

Le type d'entité multipatch est très intéressant pour la gestion d'objets 3D dans ArcGIS mais ce n'est pas le format le mieux adapté pour la gestion d'une surface d'élévation. Nous l'avons donc convertis en une couche raster à l'aide de l'outil Multipatch vers Raster et en choisissant une résolution de 1m. Vous pouvez alors l'afficher, dans ArcGIS Pro, en tant que simple couche raster (comme ci-dessous) ou l'exploiter en tant que couche d'altitude dans votre scène.

Affichage du MNT en raster (avec un rendu couleur + ombrage) dans ArcGIS Pro

Scène web contenant les couches des bâtiments 3D et du Lidar

Insights for ArcGIS est désormais disponible en version 3.2 avec plusieurs améliorations notables pour l'accès à certaines bases de données, pour utiliser Python et R dans Insights et pour collaborer avec des utilisateurs d'autres organisations. Cette nouvelle version est disponible sur ArcGIS Online et dans ArcGIS Enterprise.

  

On notera tout d'abord que pour ArcGIS Enterprise 10.7, vous installerez Insights 3.2.1. Pour  ArcGIS Enterprise 10.6.1, vous installerez la version Insights 3.2. Si vous travaillez avec ArcGIS Online c'est, évidement, déjà effectif !

  

La page d'accueil Insights a été améliorée pour vous permettre de travailler plus rapidement et plus efficacement pour réaliser certaines tâches sans repasser par votre portail ArcGIS. Par exemple, dès que vous vous connectez à Insights, vous pourrez désormais consulter vos classeurs récents, vos favoris et les contenus les plus utilisés. Sur la gauche de l'écran d'accueil, une nouvelle interface organise vos analyses, vos données et vos présentations pour un accès plus direct. Vous pouvez même dorénavant créer des dossiers et des sous-dossiers.

  

A noter que vous pouvez maintenant ajouter directement des sources de données de type fichier de formes, Géodatabase Ficher et GeoJSON.

    

La version 3.2 d'Insights for ArcGIS introduit (en beta pour l'instant) une nouvelle console de script qui permet d’utiliser les langages de programmation Python et R sans quitter l'interface de votre classeur.

L'intégration directe de ces deux puissants langages ouverts permettra aux experts en science des données (Data Scientists) d'accéder à des méthodes d'analyse complémentaires, telles que l'apprentissage automatique, l'intelligence artificielle, l'analyse statistique, etc qui ne sont pas directement présentent dans Insights. Un autre besoin auquel répond cette intégration de Python et de R concerne le nettoyage et la préparation des données, une phase souvent indispensable notamment dans le contexte de Big Data où des outillages très spécifiques doivent être utilisés en amont des analyses. L'intégration se fait à la volée, depuis l'IDE (environnement de développement intégré) Jupyter Notebook, sans quitter l'interface de son classeur.

 
La console n’est pour l'instant disponible que dans Insights pour ArcGIS Enterprise mais le support d’ArcGIS Online arrivera dès cet été. En outre, la console est en version beta ce qui veut dire qu'elle va encore s'enrichir de capacités supplémentaires avant son support officiel. Le projet GitHub suivant vous aidera dans la configuration de cette intégration, vous pouvez également contacter le support technique Esri standard.

   

La collaboration n'est pas un nouveau concept dans ArcGIS Enterprise, mais elle est nouvelle dans le contexte d'Insights. Désormais, les éléments d'Insights (modèles, classeurs, thèmes, pages) sont pris en charge par le mécanisme de collaboration distribuée entre différents portail ArcGIS. Vous pouvez dorénavant partager des éléments Insights avec une autre organisation ArcGIS Enterprise (10.7 ou supérieure) ou ArcGIS Online.

Depuis la version 3.2, vous pouvez vous connecter aux bases de données PostgreSQL directement à partir de la version ArcGIS Enterprise d'Insights. Les données spatiales dans ce SGBD peuvent être stockées avec le type PostGIS (type spatial natif de PostgreSQL) ou le type spatial Esri (type géométrique ST). On rappellera que, comme avec les autres bases de données prises en charge, les bases de données relationnelles peuvent être des Géodatabases Enterprise ArcGIS, mais ce n'est pas obligatoire. En effet, Insights se connecte directement à la base de données et ne passe pas par ArcGIS Enterprise.

Les performances de traitement sur les données issues des bases de données relationnelles se sont largement améliorées.  En effet, la plupart des opérations analytiques d'Insights sont désormais effectuées au niveau de la base de données. Il en résulte des performances plus rapides et la capacité de travailler avec des données plus volumineuses. Des améliorations de performances ont été également apportées côté client.

Un nouveau type d'utilisateur "Insights Analyst" a été introduit dans la dernière mise à jour d'ArcGIS Online et dans ArcGIS Enterprise 10.7. Ce type d'utilisateur intègre un compte sur le portail ArcGIS et une licence pour l'application Insights for ArcGIS. Il est conçu pour un analyste qui souhaite accéder à Insights et uniquement cette application. 

Il est bien entendu toujours possible d'associer un utilisateur de type "Creator" ou "GIS Professional" une licence complémentaire Insights for ArcGIS.

Il est maintenant possible de partager de manière publique des classeurs Insights afin que les utilisateurs "anonymes" puissent les consulter.

J'adore ces week-ends où je peux, dans un même article, combiner deux de mes passions à savoir le cyclisme et la cartographie. C'est en effet ce dimanche la 117ème édition de Paris-Roubaix, une des plus belles et des plus dures classiques du printemps. A cette occasion, la Région Haut-de-France propose une Story Map présentant le parcours de la course, et notamment ses 29 mythiques secteurs pavés.

Cette narration cartographique réalisée en partenariat avec l'organisateur A.S.O présente le parcours de 257 km qu'emprunteront les coureurs au départ de Compiègne dimanche matin. Elle permet aux visiteurs de découvrir les secteurs pavés de la course pour se positionner aux endroits stratégiques de la cours.

L'application permet également de découvrir la richesse culturelle de la région avec une présentation des points d'intérêts touristiques situés à proximité du parcours.

D'un point de vue technique, l'application est basée sur le modèle de Story Map Journal d'ArcGIS Online. L'application et la majorité de ses contenus sont hébergés sur ArcGIS Online.

J'évoque assez rarement sur ce blog la solution ArcGIS Hub qui pourtant une des capacités les plus remarquables de la plateforme ArcGIS Online en permettant l'ouverture et la valorisation des données de votre SI et donc de votre SIG. Cette solution évolue assez vite avec un cycle de mises à jour hebdomadaires. Je prends donc le temps aujourd'hui d'expliquer ce qu'est ArcGIS Hub et de repréciser les différences importantes entre les niveaux Basic et Premium de cette solution.

   

    

ArcGIS Hub pour ouvrir et valoriser ses données

ArcGIS Hub est une capacité d'ArcGIS Online qui permet d'ouvrir et de valoriser certaines de vos données auprès d'un large public à l'intérieur ou, le plus souvent, à l'extérieur de votre organisation. ArcGIS Hub permet tout d'abord de créer des sites Open Data (privé ou publics) offrant aux utilisateurs la possibilité de rechercher, d'explorer et de télécharger des jeux de données dans les formats standards de l'Open Data (csv, shapefile, GeoJSON, KML,...). 

Exemple du site Open Data d'Atmo Nouvelle-Aquitaine réalisé avec ArcGIS Hub

 

Exploration et visualisation de jeux de données dans un site Open Data ArcGIS Hub

 

Téléchargement de jeux de données dans un site Open Data ArcGIS Hub

Mettre en place un site Open Data avec ArcGIS Online est une opération très simple. Tout d'abord, vous devrez activer les capacités dans les paramètres de configuration du portail. Ensuite, après avoir créé des groupes dédiés au partage de données ouvertes, vous partagerez les couches (ou des vues sur les couches) que vous souhaitez ouvrir avec ces groupes. Ensuite, vous pourrez configurer l'aspect et le contenu des pages de votre site avec l'éditeur de sites. Enfin, une fois le site finalisé, il ne vous restera plus qu'à le rendre public. On notera que le site Open Data peut rester privé si ce dernier doit être uniquement accessible aux membres de votre organisation.

Les 4 étapes pour déployer un site Open Data avec ArcGIS Hub

  

Des contenus Open Data toujours à jour

Un autre aspect intéressant concerne l'actualisation des jeux de données mis en Open Data. En effet, les contenus ouverts exposés sur votre site Open Data sont gérés et diffusés depuis votre portail ArcGIS Online (ou éventuellement depuis des service ArcGIS Enterprise référencés sur ArcGIS Online). Ceci veut dire que les données sources de votre site Open Data sont directement celles (souvent via des vues) qui sont utilisées au quotidien par les équipes métiers propriétaires et responsables de ces données. Aucune duplication des données pour le site Open Data, c'est la garantie d'un processus plus simple et de données toujours à jour.

  

Des sites web pilotés par les données, riches et personnalisables

Les sites web que vous créez avec ArcGIS Hub sont hautement personnalisables. Avec la notion de sites > pages > widgets, vous pouvez concevoir des sites web dont le contenu éditorial et la structure correspond à ce que vous souhaitez, le tout en respectant la charte graphique de votre organisation. Bien que les contenus reposent pour une large partie sur des contenus de votre portail ArcGIS Online, un site web ArcGIS Hub est totalement indépendant de se dernier et peut être géré de manière autonome et par des profils d'utilisateurs différents (d'autres utilisateurs que les administrateurs du portail ArcGIS Online par exemple).

   

En quoi ArcGIS Hub va plus loin qu'un site Open Data ?

ArcGIS Hub permet non seulement de déployer des sites Open Data mais il permet aussi de s'adresser à des communautés d'utilisateurs plus spécifiques en contextualisant les données ouvertes à travers des cas d'usages, des produits d'information (diagrammes, indicateurs, cartes, ....), des applications et plus largement encore à travers des démarches politiques plus collaboratives avec la notion d'initiatives.

A la différence d'un simple site web Open Data, ArcGIS Hub exploite les données ouvertes en axant leur utilisation sur des initiatives politiques et des efforts de collaboration internes et externes qui ont un impact sur la vie des citoyens. La plupart des sites Open Data actuels se limitent à cataloguer et diffuser des jeux de données vers des larges cibles peu qualifiées sans orientation spécifiques. On peut considérer ArcGIS Hub comme une nouvelle génération de l'Open Data qui ajoute une intention et un focus sur l'utilisation des données ouvertes, pour aider à résoudre les problèmes des citoyens. Là ou l'Open Data est un processus unidirectionnel (une organisation expose ses données vers des communautés), ArcGIS Hub permet une approche bidirectionnelle dans laquelle les communautés interagissent avec les données ouvertes (exploitation, validation, correction, contribution, ...) avec l'objectif de résoudre un problème ou atteindre un objectif. 

Extrait d'initiative visant à développer les Tiers-Lieux (espaces de coworking,  fablab, ...) en partenariat avec les entreprises et les citoyens

     

Quelle est la différence entre les sites et les initiatives ?

  

Les sites correspondent à des ensembles de pages qui vous permettent de partager des contenus tels que des jeux de données, des cartes web, des documents et des information multimédias avec vos équipes et vos communautés. Les sites sont inclus dans ArcGIS Hub Basic (anciennement nommé ArcGIS Open Data). Les initiatives sont incluses dans ArcGIS Hub Premium. Les initiatives se traduisent également par des pages web mais dans lesquels les équipes de votre organisation et/ou de vos communautés possèdent une identité et peuvent ainsi interagir avec avec les données et les applications pour collaborer et travailler ensemble (avec votre collectivité par exemple) sur des projets participatifs, des processus de collecte collaborative, des plans d'actions citoyennes, etc. 

Chaque initiative peut contenir différentes combinaisons de solutions que vous utilisez déjà: des applications configurables, des cartes web, des story maps, des tableaux de bord, des événements, des formulaires, des diagrammes, des indicateurs, ... 

Une initiative se divise généralement en 3 grandes parties:

 
   

Après cette introduction je reviendrai, dans les prochaines semaines, sur les récentes évolutions fonctionnelles d'ArcGIS Hub.
  

Comme je l'ai évoqué il y a quelques semaines sur ce blog, l'année 2019 marque le début d'une nouvelle ère pour les outils de narration cartographiques ArcGIS. Après plusieurs mois de recherche, de discussion avec vous, de développement et de test, Esri vient de lancer une première version beta de son nouveau générateur de Story Maps nommé ArcGIS StoryMaps. 

  

Je ne détaillerai pas ici les évolutions et les nombreux points d'innovations apportés dans ce nouvel outil gratuit car c'est une toute nouvelle approche que je préfère vous laisser découvrir pour l'instant. J'y reviendrai au moment de la sortie de la version finale cet été. En attendant, les plus impatients peuvent désormais rejoindre le programme beta depuis cette page.
 
Ci-dessous, vous trouverez un exemple de Story Map directement issu de ce nouveau générateur de narration cartographiques ArcGIS StoryMaps.
  

J'ai eu l'occasion d'évoquer rapidement ces derniers mois l'arrivée d'une nouvelle capacité de la plateforme ArcGIS pour suivre et analyser les déplacements de périphériques mobiles. A l'aide d'une nouvelle application mobile nommée "Tracker for ArcGIS" et de nouvelles capacités d'ArcGIS Enterprise 10.7, vous pouvez désormais suivre en temps-réel les déplacements des collaborateurs en situation de mobilité.

Cette nouvelle solution de suivi de positions comprend tout d'abord une application mobile (Tracker for ArcGIS) s'exécutant sur iOS et Android pour capturer et enregistrer, dans un  service ArcGIS dédié, les traces des différentes positions du périphérique mobile. Optimisée pour une consommation réduite de la batterie, la capture des positions s'effectue en arrière plan. 

Tracker for ArcGIS est une solution complète qui repose sur un portail ArcGIS Enterprise 10.7 sur lequel la capacité de Tracking a été activée. Une application web nommée "Visionneuse de traces" (Track Viewer) permet de visualiser, filtrer et analyser en temps-réel ou sur les archives, les traces des différents collaborateurs. Tout ceci, selon les droits d'accès octroyés aux personnes susceptibles de devoir consulter les traces de telle ou telle personne de l'organisation.

  

    

Les traces et les positions sont stockées dans un Big Data Store ArcGIS, ce qui le rend particulièrement performant pour l'écriture et la lecture de ces données temps-réel. Cela veut dire également que ces traces sont accessibles de manière standard à travers une couche d'entités, vous pouvez donc utiliser n'importe quelle application ArcGIS pour aller plus loin dans la présentation ou l'analyse de ces traces. Par exemple,  vous pourrez:

Tracker for ArcGIS, pour quels usages ?

Le premier usage de Tracker for ArcGIS est de pouvoir connaître à tout moment la localisation géographique de chaque collaborateur (si il a activé l'option de suivi dont il reste le seul maître). Tracker permet aux opérateurs sur le terrain de partager en toute sécurité leurs localisations avec des superviseurs, qui peuvent ainsi voir où se trouvent leurs équipes. Connaître les emplacements précis des collaborateurs sur le terrain permet de vérifier le travail effectuer, à superviser leur sécurité et mieux coordonner les intervenants et les ressources face à des situations ou des événements imprévus.
  

  

Un autre usage consiste à exploiter l'historique des différentes positions (les traces). Ces dernières étant stockées dans le Big Data Store, vous pouvez les utiliser ou visualiser les parcours et les lieux visités par un opérateur pour, par exemple, prouver que des tâches ont été effectuées (liste de lieux à visiter, parcours de transport en commun, mission de surveillance, ...).

Une autre exploitation de ces données consiste à améliorer l'efficacité des ressources sur le terrain.Par exemple, en analysant le comportement des opérateurs en termes de pattern de déplacements, il est possible de mieux comprendre les gains ou les pertes de temps liés aux parcours réalisés en fonction des heures, des routes empruntées, des ordres de passages, ... en particulier si vous les croisés avec d'autres informations de votre SIG (localisation des clients, emplacements des équipements, information sur le traffic, ...).

Enfin, pour l'opérateur lui même, l'application Tracker for ArcGIS peut être d'une grande utilité pour savoir où il se trouve et surtout le territoire qu'il a parcouru au cours des dernières heures ou des derniers jours. Il peut ainsi optimiser ses propres tâches. On notera que l'application mobile permet de préciser finement les plages horaires dans lesquels il souhaite être suivi et surtout, il reste à tout moment maître d'activer ou pas le suivi de sa localisation.

  

   

Les composants de Tracker for ArcGIS

  

Tracker for ArcGIS est disponible pour l'instant sur ArcGIS Enterprise 10.7, il est prévu de pouvoir l'utiliser avec ArcGIS Online avec la prochaine mise à jour (juin/juillet 2019).

  

Tracker for ArcGIS nécessite un déploiement de base d'ArcGIS Enterprise: ArcGIS Server, Portal for ArcGIS, ArcGIS Data Store (avec un SpatioTemporal Big Data Store activé). Pour mémoire le SpatioTemporal Big Data Store ArcGIS ne nécessite aucune licence supplémentaire, et ceci quel que soit le nombre de serveurs sur lesquels il est déployé.

  

L'application mobile Tracker for ArcGIS doit être installée (depuis les apps store iOS ou Android). Pour pouvoir s'authentifier auprès du portail de son organisation, l'utilisateur doit avoir une licence "Tracker" associée à son compte. Cette licence complémentaire s'acquière auprès d'Esri et peut être ajoutée à n'importe quel type d'utilisateur (Viewer, Editor, Field Worker, Creator ou GIS Professional).

  

L'application Visionneuse de traces (Track Viewer) est une application web intégrée au portail qui permet aux administrateurs de créer des vues de traces (Track Views). Ces dernières représentent une liste d'utilisateurs pour lesquels on va permettre à des superviseurs de pouvoir suivre les positions. Bien qu'elle ne soit pas indispensable, cette application rend la gestion des droits d'accès aux traces des utilisateurs beaucoup plus simple. Cette application est actuellement en version beta.


Conclusion
 
Tracker est avant tout une nouvelle capacité de la plateforme ArcGIS que l'on peut mettre en oeuvre avec l'application mobile Tracker for ArcGIS mais qui sera également accessible à l'avenir dans les SDKs ArcGIS Runtime ou dans d'autres applications mobiles de la plateforme. J'en parlerai un peu plus tard sur ce blog.

On notera aussi que cette nouvelle capacité de suivi de positions est indépendante de la solution de collecte, de traitement et de diffusion de données en temps-réel "GeoEvent Server". Cette dernière peut cependant être combinée à Tracker for ArcGIS pour répondre à différents workflows métiers nécessitant la collecte automatique de données (IoT) et le suivi d'opérateurs sur le terrain.

Disponible depuis fin janvier en langue anglaise, la version 2.3 de l'application ArcGIS Pro est désormais disponible dans différentes langues dont le français.

Si vous n'avez pas encore installé ArcGIS Pro, vous trouverez les médias d'installation ainsi que le supplément français sur votre espace "My Esri". Si vous disposez déjà d'ArcGIS Pro 2.2 en français sur votre poste, la mise à jour vous sera proposée automatiquement depuis l'application. Si vous avez installé ArcGIS Pro 2.3 en anglais, il vous suffit de télécharger et d'installer le supplément français depuis "My Esri".