ArcGIS Data Pipelines est une application Web disponible depuis le portail ArcGIS Online, qui facilite le processus d’intégration de données externes à héberger. Elle offre un moyen rapide et efficace d'ingérer, préparer et conserver des données à des fins de cartographie, d'analyse, de création de rapports, ou autre usage collaboratif. Vous pouvez vous connecter à diverses sources de données, notamment Amazon S3, Google BigQuery, Snowflake, des URL publiques, des fichiers, des couches d'entités, etc. L'application, désormais en disponibilité générale, a été introduite dans ArcGIS Online en juin 2023. Dans ce pas à pas, je vais vous aider dans les trois principales étapes de ce flux de travail : l'accès aux sources de données, l’exploration et la transformation des données et enfin leur intégration dans vos contenus hébergés utilisables ensuite partout dans ArcGIS.

1. Pour accéder à ArcGIS Data Pipelines, vous devez être disposer au minimum d’un type d’utilisateur "Creator" avec le rôle de publication. Après avoir lancé Data Pipelines depuis le lanceur d'applications d'ArcGIS Online, l’écran d’accueil de l’application vous propose de créer un pipeline de données, ou d’accéder aux pipelines de données existants pour les configurer, les exécuter ou gérer la planification de leur exécution automatique. Cliquez ici sur Créer un pipeline de données.

2. L’interface de Data Pipelines se compose de 3 parties : à gauche, une barre d’outils rassemble chacune des étapes du flux de travail, à côté s’affiche un volet de configuration de chacune de ces étapes, puis la zone centrale est dédiée à la visualisation interactive du pipeline de données et à l’aperçu des données connectées en cours de configuration (montrant une table, une carte ou la structure des données). Une fois le pipeline de données configuré, il peut être exécuté via le bouton en haut à droite.

3. Si vous devez vous connecter aux sources de données hébergées dans le Cloud, telles que des bases de données (Big Query ou Snowflake) ou du stockage Cloud (Bucket Amazon S3 ou Blob Microsoft Azure), vous devez créer un data store. Si vous disposez d’autres sources de données de type URL publique, fichier ou couche d’entités hébergée sur votre portail ArcGIS Online, passez directement à l’étape 3. Sinon, cliquez sur "Ajouter un data store", choisissez son type, puis le type de base de données ou d’emplacement de stockage Cloud, et spécifiez les informations de connexion. Le data store créé sera hébergé en tant qu’élément du contenu ArcGIS Online, partageable et utilisable comme source de données en entrée dans plusieurs pipelines de données.

 

4. Quelle que soit son origine, toute source de donnée nécessaire peut être ajoutée via le bouton Entrées. Il peut s’agir d’une source Cloud déclarée en tant que data store, mais aussi d’un fichier local ou hébergé sur le portail, d’une URL publique pointant vers un fichier GeoJSON, JSON, CSV ou Parquet, ou bien une couche d’entités hébergée. Le pipeline de données peut utiliser une ou plusieurs sources en entrée, permettant d’effectuer des fusions ou des jointures. Ajoutez-en à chaque fois que nécessaire pour avancer dans votre flux d’intégration. Les sources ajoutées en entrée sont visibles au centre de l’écran.

 

5. Chaque donnée ajoutée en entrée peut être visualisée en Aperçu, sous forme de table, de carte ou de modèle de données. Pour afficher l’aperçu, cliquez sur l’élément dans le modèle central puis sur l’icône de table, ou bien sur le bouton Aperçu depuis le volet de configuration. Changez ensuite de mode entre la table, la carte et le modèle de données. Ce volet d’aperçu est redimensionnable et peut également afficher les messages importants.

 

6. Vient ensuite l’étape d’utilisation des Outils, s’ajoutant par simple glisser-déposer dans le modèle au centre de l’écran ou via le bouton (+), les éléments ajoutés s’associant en les reliant par des flèches, ou via l’assistant de configuration de gauche. Les outils sont rassemblés autour de quatre types d’opérations de Data Engineering : Nettoyer, Créer, Mettre en forme et Intégrer. Notez que la navigation dans le modèle est facilitée à l’aide des outils en haut à droite (sélection ou déplacement), mais aussi de raccourcis clavier (barre d’espace pour activer temporairement le déplacement depuis la sélection, touche CTRL+molette de la souris pour zoomer/dézoomer dans le modèle. Une fois l’outil ajouté et lié aux autres éléments, la configuration se poursuit jusqu’à l’aperçu du résultat. 

 

7. Chaque nouvel outil peut ainsi se succéder aux précédents et venir enrichir le processus de préparation des données utilisées en entrée, afin de réaliser toutes les opérations nécessaires, de filtrage, de sélection, de généralisation, de suppression des doublons, de calcul, de création de date/heure ou de géométrie, de mise à jour des champs ou de la projection, de fusion, de jointure, etc. À chaque nouvelle étape ajoutée via un outil, un nouvel aperçu des données est disponible et permet de valider les paramètres via la table, la carte ou le modèle de données. Pensez à surveiller le volet messages qui peut alerter parfois sur des avertissements ou des erreurs.

 

8. Une fois toutes ces étapes de Data Engineering réalisées et qui ont permis la préparation ou la modification des données d’entrée, il est temps de définir les données en sortie en cliquant sur le bouton Sorties. Un point important sur les capacités de génération des données en sortie est qu’il n’est pas forcément obligatoire de Créer systématiquement une nouvelle couche d’entités. En effet, il est également possible de Remplacer complètement les données d’une couche d’entités hébergée sur le portail ArcGIS Online, ou d’Ajouter et mettre à jour les enregistrements d’une couche d’entités existante.

 

9. Une fois les données en sortie configurées, il reste à exécuter le pipeline de données pour réaliser toutes les opérations liées aux outils utilisés et générer la couche d’entités qui sera hébergée ou mise à jour sur le portail. Le volet Messages affiche les éventuels avertissements ou erreurs, permet de suivre la progression de l’opération et informe lorsque l’exécution est terminée. 

 

10. Tout pipeline de données peut être ainsi exécuté manuellement, mais son exécution peut également être automatisée via la planification. Cliquez sur le bouton Planifier à gauche de l’écran. Créez ensuite une tâche planifié, avec un titre, une date de début, une fréquence de répétition, une fin ou non, puis enregistrez. La tâche planifiée sera ajoutée à une liste consultable depuis l’écran d’accueil de Data Pipelines, via le bouton Gérer le planification. 

Notez que l’utilisation de Data Pipelines consomme des crédits en mode interactif (via l’interface utilisateur) ou en exécution automatique (via la planification), pensez donc à considérer ce point selon le temps consacré à sa conception et son exécution en mode interactif, ou selon la fréquence d’exécution automatique planifiée.

 

11. Les résultats de ce flux de travail dans Data Pipelines sont différents éléments créés et hébergés dans le contenu du portail ArcGIS : la ou les data sources définies au début du flux de travail, le pipeline de données que vous créez et enregistrez, et bien évidemment la couche d’entités hébergée générée en sortie à l’exécution du pipeline de données. Ainsi, vous pouvez en gérer le niveau de partage, les associer à des groupes et bien-sûr les utiliser partout dans ArcGIS.

 

12. Les couches d’entités hébergées en sortie de l’utilisation de Data Pipelines sont ensuite exploitables dans vos cartes web comme illustré ici, vos scènes web ou vos applications du quotidien. Leur mise à jour automatisable permet ainsi d’exploiter de nombreuses sources externes de données (Cloud, Open Data, depuis votre Système d’Information…) dans tous vos flux de travail, qu’il s’agisse de consultation, d’analyse ou de collaboration.

Remarque :
Depuis la création de ce Pas à Pas, certains éléments de l'interface utilisateur d'ArcGIS Data Pipelines ont légèrement évolué. Les étapes de ce workflow reste néanmoins les mêmes.

La première étape dans la mise en place d'un SIG Indoor est de constituer une base de données des éléments structurants de votre site et de vos bâtiments. Pour cela, ArcGIS Indoors s'appuie sur un modèle d'information que vous alimentez avec différentes sources de données (SIG, CAO/DAO ou BIM). Dans ce pas à pas je vous propose de voir comment intégrer les données d'un modèle BIM dans une base de données ArcGIS Indoors. Pour cela, j’ai choisi le bâtiment d'un campus universitaire, dont le modèle BIM a été réalisé dans Autodesk Revit.

1. Nous commençons par ouvrir une scène locale vide dans ArcGIS Pro en spécifiant le système de coordonnées cohérant avec les données (RGF 1993 CC49) pour y faire glisser le fichier BIM depuis le panneau catalogue. Avec un modèle Revit complet, 2 groupes de couches vont apparaître dans la fenêtre des contenus : le groupe "Floorplan" et le groupe de données techniques, avec un sous-groupe par métier. Par défaut, seule l’enveloppe extérieure du bâtiment est activée et sera affiché dans la scène.

L'analyse de données est au cœur du système ArcGIS. Cela veut dire une large palette d'outils d'analyse mais aussi l'outillage permettant l'intégration, le nettoyage et la mise en forme de ces données en amont de ces analyses. Ainsi, depuis ArcGIS Pro 2.7, Esri a ajouté une interface dédiée à l'ingénierie de la données (Data Engineering) pour rassembler les outils indispensables à la préparation de données, quelle soient spatiales ou non. Dans ce pas à pas, je vous propose, à travers un exemple concret, de découvrir quelques-unes des fonctionnalités proposées par les outils de Data Engineering d'ArcGIS Pro.

1. La première étape consiste tout d'abord à ouvrir l’application ArcGIS Pro avec les données souhaitées. Ici, nous utiliserons un jeu de données issu de l'ADEME concernant les Diagnostics de Performance Énergétiques (DPE) de logements pour le département du Calvados. Après avoir la table, vous ferrez apparaitre les outils de Data Engineering à partir du menu contextuel sur la table ou en utilisant le raccourci clavier Ctrl+Maj+D.

2. L'interface de Data Engineering pour s'affiche alors. Elle est constituée d'un ruban spécifique avec différents outils de nettoyage, de création, d'intégration et de mise en forme de données. Dans la partie inférieure, un panneau présente la liste des champs. Vous pouvez glisser-déposer les champs dont vous voulez découvrir le contenu puis cliquer sur le bouton "Calculer" pour générer les statistiques. Le panneau affiche alors, pour chaque champ, des informations comme le type de champ, le pourcentage de valeurs nulles, le diagramme de distribution des valeurs, les valeurs min/max/moyenne, le nombre de valeurs uniques, …

3. Ces informations vont vous permettre de repérer un certain nombre de points relatifs à la qualité des données. Par exemple, on constate ici que la date minimum du champ "date_visite_diagnostique" est le 23/07/1013. Cette erreur est manifestement une erreur de saisie sur l'année qui peut être rapidement corrigée en sélectionnant la ligne correspondant à ce minimum, puis dans la table en modifiant la valeur de la date en 23/07/2013. Une fois la mise à jour enregistrée, on désélectionnera la ligne puis on recalculera les statistiques dans le panneau Data Engineering. Le diagramme de distribution des valeurs est maintenant cohérent.

4. Un autre problème peut ici être identifié sur le champ "consommation_energie" qui présente des valeur négatives et des valeurs anormalement élevées. De la même manière que précédemment vous pouvez rapidement les corriger dans la table, par exemple ici en supprimant les lignes suspectes. Pour sélectionner les lignes correspondant à une plage de valeurs précises, vous pouvez demander à ouvrir le diagramme de distribution.  Après correction, le fait de recalculer les statistiques (dans l'interface de Data Engineering) vous permet d'actualiser ce diagramme de distribution.

5. Un autre aspect de la préparation d'un jeu de données est de vérifier les types d'un champ. Par exemple ici, on constate que le champ "code_insee" est de type "Texte" alors qu'on souhaite disposer d'un champ de type "Long" pour de future jointure avec notre couche des communes. Pour cela, l'interface de Data Engineering ne propose pas de nouveaux outils car ils existent déjà dans ArcGIS Pro. Deux outils vous permettront de créer un champs "code_insee_num" de type numérique et d'y copier les valeurs par calcul de champ. Ils sont simplement rassemblés dans le groupe d'outils "Créer" ce qui permet un gain de temps.

6. Une fois ce problème de type de champ traité, un dernier point reste à traiter dans la préparation de nos données. Il s'agit ici de classer les différentes valeurs de consommation d'énergie en 7 classes de consommation A, B, C, D, E, F et G afin de pouvoir produire des DataViz avec cette codification normalisée. Pour cela, nous utiliserons l'outil "Reclasser un champ" qui se trouve dans le groupe d'outils "Mettre en forme".

 

7. L'outil de reclassement permet de décrire les différents intervalles de valeurs et d'indiquer la valeur correspondante souhaitée. L'outils permet de créer les intervalles de reclassification de manière automatique par une méthode mathématique ou de manière manuelle. Nous allons prendre cette dernière option pour pouvoir définir les intervalles avec nos propres valeurs. On notera que les intervalles se définissent par leur borne supérieure. L'outil permet de créer de classes que nécessaire. Vous indiquerez également le nom du nouveau champ à créer.

8. Une fois l'outil de reclassement exécuté, 2 champs ont été créés. Le premier est nommé avec le suffixe "_CLASS" et contient les nouvelles valeurs de reclassement, le second est nommé avec le suffixe "_RANGE" contient les bornes des intervalles appliqués lors du reclassement. Ceci permet notamment de garder une trace des bornes utilisées. Ce second champ peut être supprimé si vous n'en avez pas besoin.

9. Maintenant que nous disposons de nos classes de consommation d'énergie, il est intéressant de voir la répartie des classes A, B, C … à l'aide du diagramme de répartition. Pour cela, il faudra ajouter le nouveau champ "consommation_energie_7_classes" dans le panneau de statistiques de l'interface de Data Engineering. Après avoir vérifié que toutes les lignes de la table sont désélectionnées, vous pouvez recalculer les statistiques. Dès lors, il suffira de survoler le diagramme de distribution pour avoir le détail de la répartition pour chaque classe. Comme nous l'avons vu précédemment, vous pourrez également ouvrir le diagramme pour plus de détails.

10. La dernière phase de notre préparation de données consiste à agréger notre table des DPE par commune afin de pouvoir cartographier certaines informations. Pour cela nous allons utiliser la commande "Récapituler" que l'on trouvera dans le menu contextuel du champ de récapitulation (ici le champ "code_insee_num" créé précédemment). Nous demanderons notamment la moyenne de la consommation énergétique des bâtiments ayant réalisé un DPE afin de pouvoir la représenter sur une carte.

11. Une fois que la nouvelle table récapitulée est créée, vous pouvez afficher ses statistiques dans l'interface de Data Engineering, comme pour la table d'origine. Cela vous permettra rapidement de valider la cohérence des valeurs de chaque champ, puis de lancer l'outils de jointure de champ afin de joindre la couche des communes avec cette table de statistiques sur les DPE. Le champ contenant le code INSEE (en numérique) permettra ici de faire la jointure.

12. La jointure est maintenant réalisée sur la couche des communes. Nous disposons donc d'informations permettant de cartographier les communes du Calvados en fonction, par exemple, de la moyenne des consommations énergétiques issue des DPE de chaque commune entre 2013 et 2020. Nous avons choisi ici une représentation très simple par symboles gradués. Nous avons travaillé ici sur une table autonome, mais lorsque vous travaillerez sur des tables attributaires de couches vous découvrirez de nombreux autres outils pour manipuler les propriétés géographiques de vos données.