Depuis les premiers numéros du magazine SIGMAG, arcOrama collabore chaque trimestre à la rédaction d'un article didactique focalisé sur une fonctionnalité ou une application clé du système ArcGIS. Je reprends ci-dessous l'article publié dans le numéro 29 paru en juin 2021, il présente en quelques étapes comment ajouter et paramétrer un flux de données temps-réel avec ArcGIS Velocity.    

ArcGIS Velocity est une plateforme en ligne adossée à ArcGIS Online qui vous permet de collecter des flux de données temps-réel et de les analyser à la volée. Cette plateforme IoT très complète permet également la diffusion en temps-réel ou le stockage vers d'autres formats. ArcGIS Velocity est également une plateforme de stockage et d'analyse des données Big Data archivées à partir de ces flux temps-réel. Dans ce pas à pas, nous allons focaliser sur un premier usage simple de collecte de données. Vous apprendrez comment, en quelques clics, configurer et cartographier un flux de données sur les positions temps-réel des bus de la métropole d'Angers. 

1. La première étape consiste tout d'abord à se connecter à l'interface d'ArcGIS Velocity avec un compte disposant d'un rôle administrateur ou de privilèges permettant de créer des flux Velocity ("administrateur" par exemple). L'interface de Velocity est accessible à partir de l'url http://velocity.arcgis.com ou depuis le lanceur d'applications de votre portail ArcGIS Online. ArcGIS Velocity étant intégré à votre portail ArcGIS Online, elle s'appuie entièrement sur la gestion des utilisateurs et des groupes de votre portail.

2. A partir de la page d'accueil d'ArcGIS Velocity, vous pouvez configurer trois types d'élément :
- des Flux temps-réel,
- des analyses temps-réels,
- des analyses big-data.

Les flux correspondent aux messages temps-réel (IoT) entrant sur la plateforme ArcGIS Velocity. Ils peuvent provenir de sources très variées, dans des formats de données et des protocoles de communication divers. Nous allons donc créer notre premier flux en cliquant sur le bouton "Créer un flux".

3. Dans notre cas, il s'agit de nous connecter au serveur Open Data de la métropole d'Angers qui diffuse la position des bus à partir d'une API que l'on peut interroger via des requêtes HTTP et qui revoit les informations relatives aux bus en tant que chaîne de caractère au format JSON. Nous allons donc créer un flux de type "Web et messagerie" en cliquant sur le bouton "Tout afficher" pour pouvoir affiner les options.

4. Il existe plusieurs méthodes et protocoles pour 'interroger des flux d'information via des services web ou des services de messagerie. Vous retrouverez les options les plus utilisées comme les protocoles HTTP, Web Socket, Kafka, RSS, RabbitMQ, MQTT,… A noter également que vous pourrez ici simuler un flux en lisant des informations dans un fichier CSV (très pratique pour réaliser des tests). Dans notre cas, nous devons utiliser le protocole HTTP avec des requêtes de type GET (Interrogation HTTP). 

5. Après avoir cliqué sur le bouton "Suivant", on vous proposera de définir l'URL de la requête permettant l'interrogation HTTP des données du flux. Celle-ci est fournie et documentée par le fournisseur de données, en particulier ici les paramètres permettant de définir le jeu de données souhaité (la position des bus) et la facette (les informations) du jeu de donnée souhaitée. Dans notre cas, l'URL à saisir est la suivante :  https://data.angers.fr/api/records/1.0/search/?dataset=bus-tram-position-tr&q=&facet=novh

Cliquer ensuite sur le bouton "Suivant" pour poursuivre le paramétrage du flux.

6. L'étape suivante permet de configurer la structure des données reçues. Vous indiquerez tout d'abord le format des données (s'il n'est pas reconnu automatiquement), ici le format "JSON" (a.). Vous spécifierez ensuite la racine du JSON à considérer pour chaque message (chaque bus), ici la balise "records" (b.). Si certaines balises sont hiérarchisées (imbriquées), vous pouvez aplatir le modèle de données (c.), c'est souvent le cas pour les informations relatives aux coordonnées des positions. Enfin, vous cliquerez sur le bouton "Dériver la structure" (d.) pour afficher l'ensemble des champs disponibles dans le message. Vous pourrez alors modifier leur type et décider de ceux que vous conservez ou pas. Vous noterez que des exemples de valeur permettent de valider la bonne lecture des informations.

 

7. L'étape suivante consiste à définir (le cas échéant) les dimensions spatiales et temporelles des messages. Pour la localisation, vous choisirez l'option qui correspond à la manière dont la localisation des données est stockée dans les messages de votre flux. Ici, nous disposons tout simplement de 2 champs "fields_x" et "fields_y" avec des coordonnées exprimées dans le système de coordonnées "Lambert 2 étendu". Les options sont donc celles figurant sur la copie d'écran.

8. Pour l'horodatage des données, les options à définir sont également liées à la manière et au format de stockage des dates/heures dans votre flux. Ici, les positions ont un horodatage stocké dans un champ "record_timestamp" de type "Chaîne de caractères" selon un format que l'on précise à l'aide de la chaine suivante : yyyy-MM-dd'T'HH:mm:ss.SSS'Z' (l'aide en ligne vous aidera à définir votre propre format). Pour terminer, vous devrez également indiquer le champ contenant d'identifiant unique de chaque objet (chaque bus), ici le champ "fields_idvh". Cet identifiant est essentiel pour rattacher chaque message à l'objet correspondant et mettre à jour les informations le concernant en temps-réel dans la couche de flux ArcGIS résultante. Les options sont donc celles figurant sur la copie d'écran.

9. L'étape suivante consiste à définir à quelle fréquence le service web doit être interrogé ou, autrement dit, à quelle fréquence les données seront actualisées dans la couche de flux ArcGIS résultante. Dans notre cas, nous souhaitons actualiser les données toutes les 10 secondes sans limite dans le temps. Ainsi dès que le flux sera démarré, l'API Open Data sera requêtée toutes les 10 secondes et les informations de chaque bus seront actualisées. 

10. Pour terminer, vous donnerez un nom et une description à votre flux. Ces derniers seront utilisés pour créer l'élément correspondant (la couche de flux) dans vos contenus sur le portail ArcGIS Online. Vous cliquerez sur le bouton "Terminer" pour finaliser la configuration de votre flux.

11. Votre flux est maintenant créé et démarré, vous voyez sa description apparaître dans l'interface d'ArcGIS Velocity. Velocity vous propose une interface cartographique pour suivre la localisation des informations remontées via le flux.

Un bouton "Démarrer/Arrêter" (a.) vous permet de stopper ou de redémarrer le flux selon vos besoins. A noter que seul le propriétaire du flux peut démarrer ses flux. Un bouton "Journaux" (b.) vous permettra de visualiser les logs relatifs aux messages reçus.  On notera également un bouton "Métriques" (c.) pour suivre et analyser la volumétrie des données de ce flux. Enfin, depuis cette page vous pourrez créer une nouvelle carte web pour exploiter la nouvelle couche de flux dans différentes apps ArcGIS. Cliquez sur le bouton "Ouvrir dans Map Viewer".

12. La visionneuse de carte classique (Map Viewer Classic) s'ouvre alors pour vous permettre de configurer les options de rendu de votre couche de flux et ajouter potentiellement d'autres couches SIG dans la carte web. Dans les options de symbologie de la couche, vous pourrez par exemple demander à voir les positions précédentes de chaque bus ou encore la trace correspondante. Dans notre cas, nous avons également utilisé des étiquettes basées sur le nom de la ligne de bus récupéré dans les champs du flux temps-réel. 

ArcGIS Velocity permet aux organisations d'ingérer, de visualiser, d'analyser et d'agir sur les données temps-réels issues de leurs capteurs. Au delà de ses capacités de traitement temps-réel sur les flux de données entrants, ArcGIS Velocity permet également le traitement des grandes volumétries de données archivées pour analyser et comprendre les modèles, les tendances et les anomalies sur ces Big Data. Correspondance des rôles serveur GeoEvent Server et GeoAnalytics Server d'ArcGIS Enterprise, ArcGIS Velocity est une extension d'ArcGIS Online 100% Saas. La surveillance à distance de vos actifs, la maintenance prédictive et l'optimisation des processus sont quelques-uns des bénéfices que vous pouvez tirer de vos données IoT. 

Le tableau de bord de vos ressources sur ArcGIS Velocity

Comme ArcGIS Online, ArcGIS Velocity est mis à jour régulièrement. Vous trouverez ci-dessous un aperçu de quelques évolutions introduites dans la version de septembre 2020:

• Flux et sources de données: Les flux au format XML ​​sont désormais pris en charge en tant que format de données d'entrée. Un nouveau type de source de données a été ajouté, vous permettant de charger des données depuis Azure Cosmos DB.
  
  
• Les sorties: Un nouveau type de sortie vous permet de pousser des données vers un point de terminaison HTTP à la suite d'une analyse temps réel ou d'une analyse sur vos Big Data. De plus, la sortie "Feature Layer" prend désormais en charge les options de suivi de l'éditeur.
  
  
• Capacités d'analyse: Des améliorations significatives ont été apportées sur les performances des analyses en temps réel ainsi que sur l'interface utilisateur, les mesures analytiques, les journaux, etc.

Je vous propose de voir ces évolutions de manière plus détaillée...

Flux en entrée et sources de données

Dans ArcGIS Velocity, un flux est un message contenant des données qui est reçu en temps réel par l'applciation. Une source de données charge des données stockées pour une utilisation dans une analyse en temps-réel ou asynchrone sur des Big Data. 

Différents types de flux en entrée dans ArcGIS Velocity

L'intégration avec les principales plateformes de données et de messagerie est l'une des fonctionnalités clés d'ArcGIS Velocity.

Exemple de flux temps-réel déclaré dans ArcGIS Velocity

Avec cette version, XML est désormais pris en charge comme format de données d'entrée pour les flux et les sources de données ci-dessous:

Flux: Azure Event Hub, Azure Service Bus, site Web (Poll), RabbitMQ, WebSocket, Kafka, MQTT, AWS IoT et Endpoint (Receive).
Sources de données: Amazon S3, Azure Blob Store et site Web (Poll).

En outre, une nouvelle source de données a été ajoutée qui vous permet de charger des données à partir d'Azure Cosmos DB .

Les sorties

Une sortie est un résultat ou une action à réaliser comme étape finale suite à un traitement en temps réel ou sur des Big Data. ArcGIS Velocity peut émettre des données vers une variété de destinations différentes, y compris le stockage de données dans des couches d'entités (Feature Layers), l'envoi d'un e-mail, l'écriture dans un espace de stockage cloud ou encore la transmission d'une action vers un système tiers pour, par exemple, l'activation d'un appareil.

Un nouveau type de sortie, dans cette version de septembre 2020, vous permettra de pousser des données vers un point de terminaison HTTP à la suite d'une analyse en temps réel ou Big Data. De plus, la sortie Feature Layer prend désormais en charge le suivi de l'éditeur. Vos données entrantes peuvent maintenant être automatiquement capturées avec la date de création, la dernière date de modification et les détails de l'utilisateur du créateur et de l'éditeur. Le nom d'utilisateur du créateur et de l'éditeur peut provenir de champs entrants dans vos données ou être automatiquement renseigné en tant qu'utilisateur qui exécute l'analyse.

Exemple de traitement temps-réel permettant le filtrage puis le stockage des informations du flux dans une couche d'entités

Analyses

La puissance de Velocity peut être exploitée dans les capacités d'analyse en temps réel et Big Data qui peuvent être effectuées sur vos données IoT. 

Exemple d'analyse Temps-Réel dans ArcGIS Velocity

Avec cette version, plusieurs nouvelles fonctionnalités et améliorations sont disponibles, notamment:

• Améliorations des performances analytiques en temps réel qui consomment désormais beaucoup moins d'unités CPU pour des vitesses de traitement équivalentes.
• L'outil "Rechercher des emplacements similaires" a été amélioré pour prendre en charge la spécification d'une étendue pour les emplacements de référence.
• Améliorations de l'interface utilisateur, notamment la troncature des étiquettes de nœuds dans longs modèles de traitement et l'affichage de l'étiquette complète au survol d'un nœud. En outre, la disposition automatique dans le modèle ne provoque plus de croisement de lignes pour les outils qui ont deux entrées.
• Améliorations et correctifs des métriques analytiques, y compris tous les nœuds de modèle dans un rapport analytique Big Data sur le nombre d'entités traitées. En outre, les analyses en temps réel "autoscaled" signalent désormais l'augmentation des ressources de calcul.
• Améliorations du journal lorsqu'une analyse crée avec succès une entité en sortie ou une couche de flux.
• Améliorations pour empêcher la suppression des couches d'entités en sortie si l'analyse qui les a créées est toujours en cours d'exécution.
• Améliorations des performances pour ajuster automatiquement certains paramètres si une analyse de Big Data rencontre des erreurs de mémoire.

Et plus…

En plus des options existantes de visualisation de vos données IoT, de nouvelles fonctionnalités de rendu ont été ajoutées pour les couches d'image de carte en sortie. Lors du rendu d'entités brutes, des sauts de classe manuels peuvent désormais être définis pour faire varier les couleurs des symboles d'entités en fonction des valeurs d'un attribut.

Pour une liste complète avec plus de détails, consultez la rubrique What's New dans la documentation.

Le futur pour ArcGIS Velocity

Pour l'instant, ArcGIS Velocity n'est pas traduit en langue française mais devrait l'être lors de la prochaine mise à jour (fin 2020). Pour en savoir plus sur ce nouveau produit, vous pouvez parcourir ces ressources en ligne pour accéder aux vidéos sur le produit, aux leçons rapides et à la documentation.

En tant qu'extension d'ArcGIS Online, ArcGIS Velocity fonctionne selon un principe d'abonnement annuel (comme ArcGIS Online). Comme annoncé lors de la conférence SIG2020, d'ici fin 2020 ou début 2021, ArcGIS Velocity proposera différents niveaux de licences qui permettront aux organisations de choisir le niveau de capacités (nombre de flux, nombre d'analyses, CPU, stockage, ...) correspondant à leur besoin afin de pouvoir démarrer leur projet de manière progressive en dimensionnant ArcGIS Velocity en cohérence avec l'envergure de leur parc IoT et les besoins d'analyse souhaités. 

Je reviendrai alors sur le sujet pour vous expliquer ces différentes options.