ArcGIS Insights combine l'exploration, la visualisation et l'analyse des données pour accélérer la prise de décision. Des graphiques et des cartes interactifs jusqu'aux analyses ales plus avancées, Insights offre un large éventail de fonctionnalités pour vous aider à comprendre vos données, répondre aux questions importantes et créer des rapports interactifs.

La version Insights 2023.1 (avril 2023) est disponible depuis quelques jours pour ArcGIS Online et ArcGIS Enterprise (10.9.1, 11.0 et 11.1) et bientôt en version desktop. Cette nouvelle version comprend un nouveau concepteur de rapports, un flux de travail plus optimisé pour la publication et une vue cartographique dans les processus de Data Engineering. Je vous propose de voir ces nouveautés d'un peu plus près.

ArcGIS Insights est l'application de la plateforme ArcGIS qui permet l'exploration, la visualisation et l'analyse des données pour mieux comprendre les dynamiques, les tendances, les relations… et accélérer ainsi la prise de décision. Des simples graphiques et cartes interactifs aux analyses plus avancées, Insights offre un large éventail de fonctionnalités pour vous aider à comprendre vos données, répondre aux questions importantes en créant et en partageant des classeurs interactifs.

  

La version Insights 2022.1 (mars 2022) propose des capacités supplémentaires de rendu pour les tables de référence, de nouvelles options pour activer l'emplacement sur vos données et des paramètres qui amélioreront vos rapports. Disponible dès maintenant sur ArcGIS Online, ce sera dans quelques jours (22 mars) pour ArcGIS Enterprise et pour l'édition Desktop. Je vous résume ces différentes évolutions

Les tables de référence sont utilisées pour afficher le contenu brut de vos sources données et ajouter du contexte aux autres visualisations. Vous pouvez désormais appliquer des mises en forme supplémentaires dans vos tables de référence pour améliorer la présentation des données. Par exemple :

Depuis les premiers numéros du magazine SIGMAG, arcOrama collabore chaque trimestre à la rédaction d'un article didactique focalisé sur une fonctionnalité ou une application clé du système ArcGIS. Je reprends ci-dessous l'article publié dans le numéro 28 paru en mars 2021, il présente en quelques étapes comment intégrer la dimension géographique et des contenus de votre SIG dans un rapport Power BI à l'aide des outils ArcGIS for Power BI intégré en standard dans l'application de BI de Microsoft.

    

Avec ArcGIS for Power BI, les utilisateurs de Microsoft Poser BI peuvent représenter et explorer leurs jeux de données de manière cartographique. Dans ce pas à pas, je vous propose de voir les principales étapes permettant d'afficher dans une carte ArcGIS un jeu de données de votre rapport Power BI notamment en utilisant des localisateurs. Les données utilisées dans cet exemple sont issues du jeu de données Open Data "Panorama des festivals" concernant les manifestations culturelles en France en 2017 et 2018. 

1. La première étape consiste tout d'abord à créer un rapport avec Power BI Desktop en ajouter notre source de données. Nous considérons ici que vous maîtrisez Power BI. Vous avez donc commencé à représenter vos données avec 3 visualisations classiques de l'application : un "Histogramme Groupé" représentant les manifestations par mois, une "TreeMap" sur leur répartition par domaine et une "Table" avec les principaux champs qui vous intéresse. Comme le montre la copie d'écran, les 3 visualisation sont liées entre-elles et permettent des filtrages interactifs.

2. Vous êtes maintenant prêt(e) à intégrer une première carte pour visualiser vos données. Pour cela, après avoir désélectionné la visualisation actuelle vous cliquerez sur le bouton "ArcGIS Maps for Power BI" pour ajouter une nouvelle carte à votre rapport. Celle-ci s'affiche avec une interface permettant de se connecter avec un compte ArcGIS (Online ou Enterprise). On notera que cette visualisation est accessible à n'importe quel utilisateur de Power BI Desktop, qu'il possède ou pas de solution ArcGIS.

3. Etre connecté à un portail ArcGIS vous donnera accès à des contenus et des fonctionnalités supplémentaires mais ce n'est pas obligatoire pour réaliser ce pas à pas. Si vous disposez d'un compte d'organisation, cliquer sur "Login" pour saisir votre nom d'utilisateur et mot de passe pour vous connecter au portail ArcGIS de votre organisation. Une fois connecté vous pourrez, par exemple, ajouter des contenus de votre organisation pour enrichir la carte. A défaut, seuls les contenus publics d'ArcGIS Online seront accessibles.

4. Pour afficher votre jeu de données sur la carte, vous devrez identifier le (ou les) champ(s) contenant des informations de localisation. Ici, nous disposons notamment du code postal de la commune associée à chaque manifestation culturelle. Ainsi, nous faisons glisser le champ "code_postal" dans la zone "Location" des paramètres de la visualisation cartographique (a.). Par défaut, le localisateur s'applique sur l'ensemble du monde. Pour le restreindre à la France, cliquer sur le lien "Type de localisation" pour affiner les propriétés du localisant (b.). 

5. Vous choisirez alors le type de représentation "Points", puis une zone de type "Un pays" puis "France" (c.). Vous validerez en cliquant sur le bouton "OK". Les manifestations culturelles s'affichent alors au centre de chaque commune. Vous pourrez alors cliquer sur un point pour accéder à son code postal. On notera que par défaut, tous les points sont affichés avec le même symbole.

6. Nous allons maintenant modifiant la symbologie de cette couche de points pour faire représenter les différents domaines de ces manifestations (musiques, cirque, théâtre, …).  Pour cela, nous glisserons le champ "domaine" dans la zone "Color" de la visualisation cartographique (a.).  Une symbologie par défaut est attribuée aux différents domaines. En cliquant sur le bouton "Liste des couches" (b.), vous pourrez accéder à la symbologie de la couche (c.) pour la faire correspondre, par exemple, aux couleurs de la TreeMap sur les différents domaines.
 

7. Une fois les couleurs spécifiées vous pourrez commencer à analyser la répartition géographique des manifestations et surtout, utiliser les capacités de filtrages dynamiques et synchronisées des différentes visualisations de votre rapport Power BI. Par exemple, en sélectionnant les manifestations culturelles dans le domaine "Cirque et Arts de la rue", vous filtrerez les points correspondants sur la carte. L'inverse est également possible, en sélectionnant des entités sur la carte vous sélectionnerez les données correspondantes dans les autres visualisations de votre rapport.

8. Nous avons utilisé une localisation à la commune mais il est également possible de représenter ces mêmes données de manière plus agrégée, par exemple au département. Pour cela, vous allez commencer par modifier le type de localisation à partir de la liste des couches pour indiquer que vous allez localiser les données de cette couche au niveau des départements français.

9. Dans l'interface du localisant, vous choisirez tout d'abord la représentation par "Limites", puis un localisant se trouvant dans "Pays" puis "France".  Le type de localisant à utiliser sera dans ce cas "Departements – FRA_EsriFrance" et le type de correspondance "Correspondance la plus proche". Cliquer enfin sur le bouton "OK" pour valider vos choix. Pour l'instant la carte n'est pas correcte car le champ indiqué pour la localisation est encore "code_postal".

10. Pour modifier cela, il suffira de faire glisser le champ "nom_departement" en lieu et place de "code_postal" dans la zone "Location" de la visualisation (a.). Vous supprimerez ensuite le champ "domaine" dans la zone "Color" pour ne plus représenter les domaines (b.). Comme nous souhaitons comptabiliser le nombre de manifestation dans chaque département, nous allons faire glisser le champ "nom_de_la_manisfestation" dans la zone "Size" (c.) en choisissant la statistique "Nombre (éléments distincts)" pour spécifier le comptage (d.).

11. Pour terminer, je vous propose de voir comment modifier le fond de carte de votre visualisation cartographique ArcGIS. Cette dernière propose en effet différents fonds de carte (routier, topographique, administratif, imagerie, …) permettant de choisir un rendu adapté à vos données. Pour activer la liste des fonds de carte, vous afficherez tout d'abord l'onglet "Format" puis vous ouvrirez la rubrique "Map tools" pour activer l'option "Basemaps".

12. Dès lors, vous verrez une nouvelle icône sur la visualisation cartographique. Elle vous permettra d'ouvrir la liste des fonds de carte et vous choisirez alors celle qui vous convient le plus. Par exemple, nous avons choisi ici "Charted Territory", un fond de carte qui reprend les limites administratives des différents pays du monde. Et voilà, maintenant que votre rapport est finalisé, pensez-bien à l'enregistrer !

Dans la foulée de la mise à jour de juin d'ArcGIS Online, Esri a déployé une nouvelle version 2021.2 d'ArcGIS Insights sur ArcGIS Online mais aussi pour ArcGIS Enterprise et en Desktop. Pour mémoire, ArcGIS Insights est l'application d'analyse exploratoire de données propose à la fois les workflows traditionnels de traitement et représentation des outils de BI mais aussi les capacités d'analyse spatiale et de Data Science. 

Un des axes de cette nouvelle mise à jour concerne la qualité et les performances mais les équipes d'Insights ont également apporté des améliorations fonctionnelles clés. Parmi ces points clés, on notera la prise en charge des données spatiale dans Snowflake, Google BigQuery et avec les connecteurs JDBC (Java Database Connectivity) personnalisés. Esri a également ajouté SAP HANA Cloud en tant que source de données complètement prise en charge. La prise en charge du regroupement dynamique (binning) sur les diagrammes de nuages de point pour une meilleure visualisation des variations des densités de données.

Les connexions à Snowflake et à Google BigQuery offrent désormais plus de capacité avec le support des données spatiales. Lorsque vous êtes connectés à ce type d'entrepôt de données Cloud, vous pouvez maintenant utiliser la commande "Activer la localisation" afin de visualiser et analyser vos données son l'angle cartographique. Les requêtes et les différentes opérations sont exécutées par le datastore pour tirer profit des performances de ces environnements.

Au delà des datastores évoqués ci-dessus, depuis la version 2021.1, ArcGIS Insights supporte tout type de source de données via des connecteurs JDBC. Ces connecteurs de données JDBC personnalisés (en beta pour le moment) prennent désormais en charge ces workflows sur les données spatiales. Les connecteurs JDBC permettent de connecter Insights à n'importe quel type de fichier ou source de données dès lors que vous disposez d'un fichier JDBC. Vous pouvez consulter ces exemples de connecteurs pour commencer avec votre propre connecteur de données personnalisé.

La vidéo de 3 minutes ci-dessous fournit un aperçu rapide de la création de connexions JDBC à une base de données et à un entrepôt de données dans Insights.

Si vous êtes un analyste SIG, vous connaissez les avantages d'une carte par clusters : il est beaucoup plus facile de voir et de comprendre les données de manière regroupée lorsqu'il y a trop de points sur la carte. Il en va de même pour les diagrammes de nuages ​​de points. Lorsqu'il y a trop de points sur le graphique, le regroupements en caissons (binning) vous permettent de voir clairement un motif.

Dans l'exemple ci-dessous, vous voyez comment passer d'une visualisation d'un nuage avec de nombreux points superposés à une représentation de caissons avec des couleurs gradués, révélant mieux la tendance. Le modèle montre que la plus forte concentration de réparations de ponts a un score de 35 et un trafic d'environ 75 000 véhicules par jour. 

Scripting: DataFrames  Spark et Koalas

La console de scripting d'Insights permet d'accéder aux bibliothèques Python et R afin que les données et les graphiques puissent être transmis simplement entre Insights et votre environnement de scripting. Spark et Koalas sont deux bibliothèques Python couramment utilisées pour la distribution et le traitement de données Big Data. Désormais, les analystes travaillant dans Insights peuvent convertir les DataFrames Koalas et Spark en jeux de données exploitables dans Insights. Cela signifie que vous pouvez continuer à utiliser ces bibliothèques Python et vos scripts, directement dans Insights. Les performances d'import de données dans le noyau et d'export de données dans Insights ont également été améliorées pour de meilleures performances.

Pour obtenir la liste complète et les détails sur les évolutions de cette version 2021.2, vous pourrez consulter la rubrique "Nouveautés" de la documentation d'aide Insights. On notera qu'Insight est disponible sur ArcGIS Online (en SaaS), en tant qu'application Desktop native (Windows et Mac), et dans ArcGIS Enterprise. 

Pour ArcGIS Enterprise, il existe deux versions Insights 2021.2 distinctes:

- Insights in ArcGIS Enterprise 2021.2 est compatible avec ArcGIS Enterprise 10.8.1 

- Insights in ArcGIS Enterprise 2021.2.1 est compatible avec ArcGIS Enterprise 10.9 

Les deux versions d'Insights in ArcGIS Enterprise possèdent bien entendu les mêmes fonctionnalités et sont téléchargeables depuis MyEsri.

Pour vous aider à démarrer rapidement avec Insights, de nombreuses ressources sont disponibles. Parmi les ressources les plus récentes vous trouverez ce guide de mise en œuvre pour ArcGIS Enterprise. La page de ressources du produit est un excellent point de départ pour retrouvez ces documents. Si vous ne disposez pas encore de licence ArcGIS Insights vous pouvez démarrer et tester l'application avec un essai gratuit de 21 jours.

 

La dernière version d'Insights a déjà 6 mois, et l'équipe dédiée à la solution d'analyse exploratoire de données a télé-travaillé d'arrache-pieds pour pouvoir annoncer la disponibilité d'Insights 2021.1 à l'occasion des premières conférences Esri de l'année. Cette nouvelle version est disponible en téléchargement ici pour l'édition Desktop et sur votre espace My Esri pour être déployée avec ArcGIS Enterprise 10.8.1. Cette version est également "ArcGIS Enterprise 10.9 ready", pour être déployée sur ArcGIS Enterprise dès que la version 10.9 sera disponible (en mai prochain). On notera enfin que cette nouvelle version d'ArcGIS Insights sera disponible dans ArcGIS Online lors de la mise à jour d'ArcGIS Online le 13 avril (14 avril au matin en France).

Cette mise à jour contient des nouvelles fonctionnalités importantes et de nombreuses améliorations qui faciliteront vos tâches d'exploration, d'analyse et de visualisation de données. L'essentiel de ces évolutions sont guidées par les retours des utilisateurs e vos priorités et vos besoins les plus élevés et nous sommes impatients de voir ce que vous pouvez faire ensuite avec ces nouvelles fonctionnalités.

 

 

Support des data warehouses Snowflake et Google BigQuery

Les plateformes de stockage de données sur le Cloud présentes de nombreux avantages et ArcGIS Insights vous permet d'en tirer profit en accédant directement à ces contenus. Dorénavant, Snowflake et Google BigQuery sont désormais des connexions de base de données supportées. Dans la plupart des cas, les données pourront être accédées directement et rester dans le data warehouse natif vers lequel ArcGIS Insights exécutera les requêtes et les opérations sur la base de données, ce qui signifie la garantie de conserver les performances élevées et la prise en charge de données plus volumineuses de ces plateformes Cloud.

Dans cette première version, Insights prend en charge la majorité des types de données de Snowflake et Google BigQuery. Comme vous le savez peut-être, ces derniers proposent tous deux un type de champ pour le stockage des données géographiques. Insights prendra bientôt en charge la consommation de ces types de données géographiques et prendra bientôt en charge l'activation des emplacements sur ces deux nouvelles connexions de données. Pour le reste, ArcGIS Insights fonctionne comme d'habitude avec ces types de connexion.

Pour établir la connexion, procédez comme suit:

1. Téléchargez le fichier JDBC à partir du site Web du fournisseur.
2. Compressez le fichier et téléchargez-le dans Insights.
3. Créez la connexion à la base de données en utilisant les détails de votre propriété de connexion spécifique.
4. Ensuite, ajoutez simplement des données à Insights et commencez à analyser vos données.

 

 

Connexions à des bases de données JDBC (en beta)

En plus des connecteurs aux bases de données On-Premises (PostgreSQL, Oracle, Microsoft SQLServer, Oracle) ou Cloud (SAP HANA, Snowflake, Google BigQuery) déjà pris en charge, vous pouvez désormais créer une connexion à l'aide d'un pilote JDBC. Les pilotes JDBC sont disponibles pour un grand pourcentage des formats de data warehouses du marché. Par exemple: Amazon Redshift, IBM Netezza, MySQL, Microsoft Access et bien d'autres.

 

Le processus est simple:

1. Procurez-vous le fichier du pilote JDBC (.jar) auprès du fournisseur de la base de données.
2. Acquérir (ou créer) deux fichiers YAML. Les fichiers YAML définissent comment Insights doit interpréter les données et quelles requêtes et opérations SQL sont prises en charge dans la base de données. Les instructions pour les créer se trouvent dans ce guide sur les connecteurs Insights et des exemples sont déjà disponibles pour DB2, MySQL et Amazon Redshift.
3. Compressez le fichier du pilote JDBC et les fichiers YAML dans un seul fichier zip, puis ajoutez ce fichier zip à ArcGIS Insights.
4. Connectez-vous à votre base de données dans Insights et commencez à analyser vos données.

Comme pour les connexions Snowflake et Google BigQuery, cette première version de support des connecteurs JDBC prend en charge la majorité des types de données. Insights prendra bientôt en charge la consommation du type spatial contenant les données géographiques à partir des connecteurs JDBC, et prendra bientôt également en charge l'activation de l'emplacements sur les tables provenant de connecteurs JDBC. Pour le reste, Insights fonctionne comme avec les autres sources de données.

La vidéo ci-dessous (en anglais) montre comment procéder.

Programmer l'actualisation automatique de vos analyses

Dans la version précédente d'ArcGIS Insights, Esri avait ajouté la capacité de planifier l'actualisation automatique de vos analyses avec Insights pour ArcGIS Enterprise. Maintenant, cette même est disponible pour l'édition d'ArcGIS Insights sur ArcGIS Online. Lorsque vous partagez vos pages Insights, vous voyez désormais une option pour planifier les mises à jour de la page. 

Analyse et visualisation temporelle

Avec Insights 2021.1, vous disposez désormais de plus d'options de date et d'heure grâce à de nouveaux outils puissants d'analyse et de visualisation temporelle.

Pour commencer, les fiches de type "Série Chronologique" affichent maintenant des détails à l'aide de la barre panoramique et du zoom sur la période souhaitée. Les points de données individuels sont utilisés pour «réorganiser» intelligemment et montrer une quantité appropriée d'agrégation ou de détails. Cette méthode établit un équilibre entre la granularité et l'interprétabilité.

Trois nouvelles opération d'analyse sont proposées pour les séries chronologiques.

La moyenne mobile est une option pouvant être affichée dans les séries chronologiques sous forme de ligne de tendance statistique. Ce calcul est entièrement configurable et permet de fournir une compréhension immédiate des données.

La décomposition temporelle est une analyse qui décompose les données temporelles en plusieurs tendances saisonnières (hebdomadaire, mensuelle, trimestrielle ou annuelle). Le résultat de cette analyse correspond à trois fiches de séries chronologiques empilées verticalement sur le même axe des abscisses. Le premier concerne la tendance saisonnière, le second la tendance globale et le dernier les valeurs résiduelles.

La prévision est une opération d'analyse qui projette les valeurs susceptibles de se produire dans le futur, avec des visualisations d'intervalle de confiance.

En tant qu'analyste, lorsque vous analysez vos données dans Insights, vous pouvez à tous moment exporter les données (ou les résultats dérivés) vers un fichier local. Ceci est d'ailleurs possible quelle que soit la source de la données. Désormais, les personnes ayant accès en consultation aux pages de votre classeur auront ont également à la capacité d'export. Les analystes ont un contrôle total sur l'activation ou la désactivation de cette fonctionnalité lors du partage de la page.

Ensuite, les utilisateurs visualisant vos pages en effectuant des sélections et des filtres vont créer un sous-ensemble de données. Ils ont alors la possibilité de retourner la fiche puis d'exporter leur sous-ensemble de données vers un fichier CSV.

  

  

Bien entendu, je n'ai évoqué ici que les évolutions les plus marquantes de cette nouvelle version 2021.1.  On ne peut pas ici les détailler toutes, mais on pourra par exemple citer les points suivants:

• Vous pouvez désormais spécifier le champ contenant l'identifiant unique dans un jeu de données si ce dernier n'en possède pas un explicitement (ou si la source de données ne supporte pas cette notion).
  
• Les Géodatabases Fichier sont dorénavant supportées comme source de données pour Insights Desktop.
• Les jeux de données peuvent maintenant être positionnés dans un ordre différent en les faisant glisser dans le panneau de données situé dans la partie gauche de la page Insights.
• Lors des calculs de valeurs dans des champs de type "date", les opérateurs MIN() et MAX() sont maintenant supportés.
  

Une liste complète des nouveautés de cette version est disponible dans cette page de la documentation.

  

  

Si vous ne disposez pas encore d'ArcGIS Insights, vous pouvez démarrer une évaluation gratuite dès aujourd'hui. De nombreuses informations intéressantes sont disponibles en ligne, n'hésitez pas à consulter ces ressources. Vous pouvez aussi faire part de vos remarques, de vos idées et demandes d'amélioration via le canal dédié sur Esri Community. Vous avez un exemple que vous aimeriez partager ? Esri peut l'ajouter à la galerie d'exemples.