Les couches d'entités hébergées constituent un des principaux types de contenus utilisés sur ArcGIS Online. Ils permettent de diffuser des couches d'informations géographiques (ou de simples tables) dynamiques souvent exploitées à travers des cartes, des scènes et des applications web. Ces couches d'entités hébergées peuvent être de densités et de volumétries très variables, et leur accès (affichage, requête, filtrage, ...) doit rester performant quel que soit le nombre d'utilisateurs simultanés qui les exploitent. Par exemple, sur des grands événements sportifs français, ArcGIS Online a ainsi démontré sa capacité à supporter plusieurs milliers de connexion simultanées générant plusieurs centaines de millions de requêtes sur quelques jours sans aucune dégradation des performances. 

  

Pour permettre cette scalabilité en termes de volumétrie et de nombre d'utilisateurs, Esri combine plusieurs stratégies: généralisation à la volée des géométries en fonction de l'échelle, compression des données, mais aussi un mécanisme de tuilage des requêtes et un système de caches de réponses. L'objet de cet article est d'expliquer comment est mis en oeuvre ce mécanisme de caches. 

   

Introduction

La possibilité de mettre en cache, à différents niveaux, les réponses aux requêtes des utilisateurs sur une couche d'entité est très intéressante pour les contenus publics car elle permet de garder des performance optimum même lorsque vos cartes deviennent virales.

Avant d'aller plus loin, décrivons ce qu'est une réponse. Une réponse correspondant aux informations renvoyées par le service web de la couche d'entités à une question que vous lui avez posée. Une application cliente peut poser différents types de questions (de requêtes), mais la plus courante est de renvoyer la description des entités présente dans l'étendue actuelle de ma carte.

   

   

Les clients basés sur l'API Javascript ArcGIS ou les SDKs QArcGIS Runtime, et par extension ArcGIS Online, fonctionnent bien avec des couches d'entités de toutes tailles. Lorsque les couches d'entités comportent un petit nombre d'entités, elles peuvent être récupérées en une seule requête car la taille de la réponse est petite. Pour les couches plus grandes, les entités sont demandées à l'aide de requêtes tuilées (fractionnement de la requête en plusieurs requêtes spatiales plus petites). Ces requêtes de tuiles sont définies de telle sorte qu'elles soient cohérentes, même entre différents utilisateurs et applications. Cette cohérence permet à ces réponses d'être mises en cache une fois sur le serveur et partagées entre tous les utilisateurs. Dans les deux cas (simple ou tuilé), ces requêtes peuvent être mise en cache dans l'application cliente (navigateur par exemple). Les requêtes de tuiles utilisent également la quantification pour améliorer les performances, mais c'est un sujet à part entière que je traiterai dans un autre article de blog.

   

Étant donné qu'ArcGIS Online utilise la mise en cache des réponses côté serveur, lorsque plusieurs utilisateurs demandent les mêmes informations, ce cache est alors utilisé. Cela libère les ressources à la fois sur le serveur et la base de données sous-jacente, permettant aux couches d'entités de s'étendre à des millions d'utilisateurs et de clients sans avoir à générer explicitement des tuiles à l'avance (ce qu'ArcGIS Online prend également en charge lorsque vous en avez besoin avec les couches de tuiles raster ou les couches de tuiles vectorielles). Bien entendu, les réponses mises en cache par le serveur sont automatiquement invalidées lorsque les données sont modifiées. Ceci garantit que les applications clientes utilisant la couche disposent toujours des informations les plus récentes.

On peut donc résumer cela de la manière suivante: "ArcGIS Online utilise les requêtes de tuiles et la mise en cache des réponses de manière stratégique pour optimiser les performances et réduire la charge". 

Pour certains d'entre vous, le savoir sera suffisant. Pour les plus geeks, je poursuis par une description un peu plus poussée pour comprendre tous les composants mis en oeuvre pour obtenir des couches d'entités performantes.

       

Mise en cache côté client: votre cache personnel dans votre navigateur

La mise en cache côté client constitue votre propre cache des réponses renvoyées par le serveur, géré dans votre navigateur web. Lorsque vous interrogez une couche d'entités, le service d'entités répond avec un ensemble d'entités qui est téléchargé et stocké dans le cache de votre navigateur. Lorsque vous parcourez la carte ou effectuez un zoom avant ou arrière, le navigateur utilise les entités téléchargées dans le cache du navigateur chaque fois que possible afin d'éviter d'avoir à télécharger à nouveau ces entités à chaque fois que l'étendue de la carte change.

Ce cache de navigateur a cependant une durée de vie limitée. Si vous parcourez vos données alors qu'elles ont été modifiées, pas de soucis, le navigateur demande toujours au serveur si quelque chose a changé depuis la dernière requête. Si c'est le cas, le navigateur obtient les nouvelles entités et met à jour son cache en conséquence. Cela garantit que ce que vous voyez sur la carte est à jour et réduit la charge sur votre ordinateur et sur la plateforme ArcGIS Online. Ce cache de navigateur persiste uniquement sur le poste client et n'est stocké nulle part ailleurs. Par conséquent, ce cache ne profite qu'à vous. Cela nous amène au CDN dont l'objectif est d'améliorer l'expérience de chacun.

    

   

CDN: un cache pour tous, partout

Les réseaux de diffusion de contenu (Content Delivery Network ou CDN pour faire court), sont l'épine dorsale d'un Internet rapide. Pour les couches d'entités hébergées et partagées publiquement, le CDN agit de manière similaire à la mise en cache côté client, mais avec quelques différences. Tout d'abord, le cache de réponse CDN est réutilisé par toute personne utilisant la couche et envoyant la même requête, afin que tout le monde en profite, pas seulement vous. Deuxièmement, le CDN est distribué dans le monde entier et le cache est mis en miroir, ce qui signifie que même si les serveurs hébergeant les données sont à l'autre bout du monde, le cache est probablement beaucoup plus proche physiquement de vous. Ainsi, en plus d'être mises en cache, les données ont moins de noeud à parcourir sur Internet pour atteindre votre poste, donc elles sont plus rapides à télécharger.

Mise en cache côté serveur: partagée et stockée dans ArcGIS Online

Comme mentionné précédemment dans cet article, seules les couches partagées publiquement utilisent le CDN, les couches privées (partagées au sein de votre organisation) n'utilisent pas le cache de réponse CDN. Ceci est logique car la sécurité de vos données implique que vos données privées ne soient jamais mises en cache sur des serveurs externes comme ceux des CDN. La mise en cache côté serveur permet de mettre en cache les réponses aux requêtes de tuiles dans ArcGIS Online afin que les autres utilisateurs de votre organisation et les utilisateurs publics puissent réutiliser le cache lorsque les caches du navigateur et du CDN ne peuvent pas être utilisés. Ce cache est partagé entre tous les utilisateurs autorisés à accéder à la couche. Il est maintenu en interne dans le cadre de l'infrastructure d'ArcGIS Online. En conséquence, les requêtes renvoient leur réponse plus rapidement, mettent moins de charge sur les bases de données sous-jacentes et assurent le bon fonctionnement de l'ensemble lors du passage à un nombre d'utilisateurs plus important, même sous une charge élevée. À mesure que vos données changent, le cache coté serveur est invalidé puis rafraîchi pour garantir aux utilisateurs qu'ils accèdent à la données la plus récente.

  

  

Récapitulatif: mise en cache des réponses en bref

  

Lorsque vous assemblez toutes les méthodes de mise en cache pour les couches d'entités hébergées, le flux de travail ressemble à ceci:

  

N° 126 - Créer des sauvegardes locales des données de votre portail

Disposer de tout ou partie de ses données géospatiales sur une plateforme Cloud qui garantit la sécurité de vos données n'empêche pas de souhaiter, de temps en temps, réaliser une sauvegarde locale vos données. Par exemple, cela peut être intéressant pour archiver certains états ou étapes de vos jeux de données, se constituer un historique sur certaines couches ou simplement garder une trace de certaines données avant de les supprimer de la plateforme.

Pour les fichiers "statiques" (Shapefile, Géodatabase Fichier, fichier de paquetage, style web, GeoJSON, KML, image, document Office, autres...), un simple téléchargement sera nécessaire. Pour les couches d'entités (hébergées dans des bases de données),  il existe principalement 2 méthodes qui peuvent être utilisées pour sauvegarder des données à partir d'ArcGIS Online.:

• Utiliser les capacités d'export et de téléchargement des éléments depuis "Mon contenu"
• Utilisez l'API Python ArcGIS pour parcourir et télécharger au format FGDB

 
Exporter et télécharger des éléments depuis "Mon contenu"

Vous pourrez utiliser cette méthode pour enregistrer des copies individuelles de certains jeux de données depuis ArcGIS Online vers une machine locale. Ceci se fera à partir de la page des contenus selon la démarche suivante:

1. Afficher la page de description de votre couches d'entités, puis cliquer sur le menu "Exporter des données". Vous choisirez alors le format de données souhaité pour votre sauvegarde.
    
   
       
2. Vous renseignerez ensuite les métadonnées du fichier à exporter.
    
   
    
   Selon la taille de la couche d'entités et le format choisi, la durée de l'export peut prendre quelques secondes à plusieurs minutes.
      
3. Une fois le fichier de sauvegarde généré, il vous suffira de le télécharger en local sur votre poste en cliquant sur le bouton "Télécharger".
   
   
      
4. Vous pourrez alors décider de conserver le fichier de sauvegarde sur votre portail on non. Si vous le conservez, cela vous fait un niveau de sécurité supplémentaire. Pour mémoire, le stockage de ces fichiers consommera des crédits de stockage (1,2 crédits par Go par mois). Dans le cas contraire, vous supprimerez le fichier à l'aide du bouton "Supprimer" dans l'onglet "Paramètres".

Sachez que tout contenu supprimé de votre portail d'organisation est définitivement supprimé et ne peut pas être récupéré.
 
 
Utilisez Python pour automatiser cette procédure

À l'aide de l'API ArcGIS pour Python, il est possible d'exporter et de télécharger chaque service d'entités hébergé de votre organisation (ou d'un utilisateur particulier) en tant que Géodatabase Fichier (FGDB) vers un emplacement sur un lecteur local. L'utilisation de cette méthode peut automatiser le téléchargement de plusieurs fichiers individuels en une seule opération. Votre script Python peut parcourir la liste des services d'entités, récupérer le titre du service, exporter la FGDB, télécharger cette FGDB en local, puis supprimer les éléments de FGDB générés temporairement dans "Mon contenu" sur votre portail ArcGIS Online.

A titre indicatif, voici un exemple de script permettant d'automatiser la sauvegarde de toutes les couches d'entités d'un utilisateur spécifique:
 


Pour aller plus loin, vous pouvez consulter cet article de la base de connaissances du support qui montre comment automatiser les téléchargements de FGDB des services d'entités hébergés à l'aide de l'API ArcGIS pour Python.

  

   

Après le succès des MOOC (Massive Open Online Course) organisés ces dernières années, Esri a décidé de renouveler l'expérience cette année encore en proposant une nouvelle formation en ligne ouverte et gratuite intitulée: "Spatial Data Science: The New Frontier in Analytics". D'une durée de 6 semaines (2-3 heures / semaine), du 26 février au 9 avril, ce MOOC vous permettra de comprendre les enjeux de l'usage de la dimension géographique en Data Science. Vous apprendrez notamment à exploiter les données spatiales à travers des modèles de potentialités, des modèles prédictifs, des  modèles de détection ou de clustering via des algorithmes de Machine Learning et de Deep Learning.

    

    

Plus de 10000 étudiants sont déjà inscrits et vous avez jusqu'au 12 mars pour vous y inscrire également. Pour plus d'infos, tout se trouve sur cette page.

   

  

Tout est fait dans ArcGIS Pro pour que vous soyez plus productifs: l'interface à rubans, la notion très puissante de tâches, l'accès à l'historique de vos traitement, les favoris pour gérer les connexions de votre catalogue de contenus ou encore raccourcis clavier. Sur ce dernier point, saviez-vous qu'une liste officielle des raccourcis clavier de Pro est désormais disponible en français. Il s'agit d'une ressource mise à disposition en juillet par Esri et dorénavant traduite en français à la demande des utilisateur sur ArcGIS Ideas. 

   

Bien que la majorité de ces raccourcis soit documentée dans l'aide en ligne, l'avantage de ce document PDF de 6 pages c'est qu'il présente l'ensemble de ces derniers classé par thématiques. 

Ceci est la première version d'une ressource qui évoluera et s'améliorera probablement avec le temps. Vos commentaires et suggestions sont les bienvenus. En attendant, n'hésitez pas à partager ce lien avec vos collègues.

Les groupes constituent une fonctionnalité de base dans une organisations ArcGIS Online. Ils vous aident à organiser, partager et sécuriser les éléments de contenu de votre portail.

"Un groupe permet de définir un ensemble de contenus à partager avec un ensemble d'utilisateurs. "

L'utilisation efficace des groupes requiert une certaine compréhension des paramètres de configuration disponibles ainsi qu'une certaine réflexion sur l'objectif de chacun de ces groupes.

Il existe de nombreux cas d'utilisation des groupes, certains directement liés à l'usage d'applications ou de workflows spécifiques (préparation de galeries de contenus pour certains modèles d'app, préparation d'un site Open Data, ....). Cet article traite les cas d'usage les plus classiques en termes de partage de contenus entre différents membres. Si vous n'êtes pas familier avec les groupes et leurs paramètres de configuration, consultez préalablement les rubriques d'aide relatives aux groupes dans la documentation ArcGIS Online.

 

Pourquoi vous créez votre groupe ?

Tout d'abord, il est utile de réfléchir à l'objectif de votre groupe. La plupart des groupes s'inscrivent dans l'un de ces deux cas d'usage suivants:

• "Groupe de diffusion": pour partager des contenus finalisés avec un public identifié (tout le monde, votre organisation ou certains membres en particulier)
   
• "Groupe de travail": pour partager des contenus en cours d'élaboration avec un groupe spécifique de collaborateurs (les membres travaillant avec vous sur ces contenus

Si vous ne décidez pas, dès le départ, la vocation de votre groupe et que vous n'invitez pas le périmètre approprié d'utilisateurs, le groupe peut rapidement perdre son utilité. Ceci est particulièrement important pour les groupes de diffusion qui, en fonction des privilèges donnés aux membres du groupe peuvent s'encombrés de contenu semi-finalisés, de moindre qualité ou hors sujet. Cela se produit généralement si des utilisateurs sont invités par erreur à rejoindre le groupe en tant que membres et qu'ils sont autorisés à contribuer au groupe.

Dans de nombreux cas, vous aurez besoin de plusieurs groupes pour répondre à vos besoins. En fait,  les groupes de travail et les groupes de diffusion fonctionnent souvent bien par paires. Par exemple, une équipe restreinte peut utiliser un groupe de travail dans le cadre de son processus de production/conception pour collaborer à la création de cartes et d'applications, et cette même équipe peut avoir un groupe de diffusion pour partager ses produits finis avec l'ensemble de l'organisation. Une fois que vous avez identifié les types de groupes dont vous avez besoin, vous pouvez créer les groupes, définir des catégories de contenu de groupe et utiliser les paramètres de configuration pour créer l'expérience dont vous avez besoin.

La principale différence entre les paramètres des deux groupes décrits ci-dessus est que le groupe de travail sera privé et le groupe de diffusion serait un groupe organisationnel (ou public). Les deux groupes pourront avoir les mêmes membres.

   
Groupes de diffusion

Tout d'abord, il faut bien noter que les paramètres de partage des éléments contrôlent les éléments que les utilisateurs peuvent ou ne peuvent pas voir. Par exemple, considérons le cas où vous devez créer une collection d'éléments que tous les utilisateurs de votre organisation peuvent voir. Vous pourriez être tenté de créer un groupe d'organisation, puis d'inviter tous les membres de votre organisation à rejoindre ce groupe. Il faudrait alors penser à intégrer ultérieurement les membres qui rejoignent votre organisation après avoir créé le groupe, ce qui n'est pas des plus pratique.

Dans ce cas, il sera plutôt recommandé de créer un groupe organisationnel, puis de partager les éléments de contenus avec ce groupe ET avec l'organisation. En effet, tous les utilisateurs de l'organisation peuvent voir les éléments partagés avec un groupe organisationnel si et seulement si les éléments eux-mêmes soient également partagés avec l'organisation. On retiendra que le partage d'éléments l'emporte toujours sur les paramètres de groupe. Dans notre exemple, il n'est pas nécessaire d'inviter des utilisateurs qui ne contribueront pas aux contenus de notre groupe de diffusion; les seuls membres de ce groupe seront des contributeurs.

Restreindre aux membres qui contribuent

Parfois, des utilisateurs demandent à devenir membre d'un groupe afin que ce groupe apparaisse sur la page "Mes groupes". En effet, pour qu'un groupe soit répertorié sur sa page "Mes groupes", l'utilisateur doit être membre de ce groupe. Si vous souhaitez que les utilisateurs puissent rejoindre un groupe sans qu'ils soient pour autant des contributeurs, vous pourrez autoriser "Tout le monde" à rejoindre le groupe. En même temps, vous pourrez n'autoriser que les contributions par le propriétaire et les gestionnaires du groupe.

D'autres moyens existent pour faciliter l'accès à un groupe aux utilisateurs de l'organisation (sans les ajouter en tant que membres). Il suffira d'ajouter le groupe en tant qu'élément dans le ruban de la page d'accueil de l'organisation ou dans la bibliothèque de l'organisation. Pour cela, il faudra créer un élément pour votre groupe en enregistrant simplement son URL en tant qu'application Web puis en partageant cette application avec le groupe contenant les éléments mis en avant en page d'accueil.

Récupérer l'URL d'un groupe

Une autre option pour permettre à tous les utilisateurs de voir votre groupe dans l'onglet "Groupes" consiste à demander à votre administrateur d'ajouter le groupe à la liste des groupes à l'affiche.
 
   
Vous pouvez également partager un groupe (si il est public) en le publiant sur des réseau sociaux, ou envoyant l'URL du groupe par e-mail, en l'intégrant dans un site Web ou encoure en créant une application web configurable ("Bibliothèque des catégories" ou "Bibliothèque minimale") basée sur votre groupe.
 
Types d'éléments à partager

Lorsque vous décidez de partager différents types de contenus avec un groupe, vous devez pensez à la cible des utilisateurs. Si votre groupe de diffusion est destiné à un public large ou à des décideurs, envisagez d'inclure uniquement des applications, car les applications sont le meilleur moyen de regrouper le contenu finalisé pour les publics non-techniques. Vous devez alors vous assurer que les cartes web ou les couches référencées par les applications sont également accessibles au public ciblé. Si vous partagez avec des professionnels des SIG, il peut être intéressant d'inclure des cartes web et des couches afin qu'ils puissent les trouver et les utiliser pour créer leurs propres cartes et applications.

Une dernière chose à savoir sur les groupes de diffusion: tout élément public pouvant être partagé avec n'importe quel groupe que vous possédez. Ainsi, lorsque vous trouvez des contenus intéressants publiés par Esri (ou d'autres auteurs) vous pouvez les ajouter à votre groupe pour les diffuser auprès de votre propre public.


Groupes de travail

Les groupes de travail sont, par définition, des groupes privés et ne peuvent gagner des membres que sur invitation, car personne n'est en mesure de trouver le groupe. Les groupes de travail qui sont partagés avec l'organisation (ou de manière publique) peuvent inviter des membres ou accepter des demandes d'adhésion. Si votre groupe accepte les invitations, assurez-vous de visiter régulièrement l'onglet "Aperçu" ou "Membres" de votre groupe (et non pas simplement la page "Groupes") pour accepter ces invitations!

Il est important de faire une distinction claire entre les groupes de travail et de diffusion notamment pour les participants au projet qui seront souvent membres des deux groupes. En effet, il peut être difficile pour l'équipe de projet de garder les choses claires car elle peut voir les deux ensembles d'éléments. Un bon moyen d'organiser cela consiste à utiliser une convention de dénomination pour vos groupes de travail et les éléments non encore finalisés. Par exemple:

• Groupe de diffusion: «Mon projet de cartographie»
• Groupe de travail: «Mon projet de cartographie (en cours)»
• Carte web finale: «Ma carte web»
  [partagée uniquement avec le groupe de diffusion]
• Carte web en cours: «Ma carte web (en cours)»
  [partagée uniquement avec le groupe de travail]

 
 
Pour  résumer

Le tableau ci-dessous décrit certains types courants de groupes discutés ci-dessus, les paramètres de partage de ces groupes et des élément associés.

  

   

Tracker for ArcGIS est une nouvelle capacité de la plateforme permettant de suivre en temps-réel, d'archiver et d'analyser facilement les positions de collaborateurs se trouvant sur le terrain: une flotte de véhicules, des équipes en opération, une course cycliste ou pédestre, des tournées contractuelles effectuées par vos inspecteurs, etc... Exploitant un mécanisme intelligent de collecte des positions et des capacités de diffusion et de stockage sur votre portail ArcGIS, Tracker for ArcGIS s'intègre avec l'ensemble des apps de votre SIG. La bonne nouvelle c'est que désormais Tracker for ArcGIS est disponible sur ArcGIS Online pour vous offrir cette nouvelle solution de géolocalisation en mode SaaS. 

    

          

      

Tracker sur ArcGIS Online

  

Après une implémentation initiale dans ArcGIS Enterprise 10.7 en avril 2019, la capacité de suivi de localisations d'appareils mobiles est maintenant disponible en tant qu'extension d'organisation sur votre portail ArcGIS Online.

   

    

Les fonctionnalités de stockage, de visualisation et d'analyse ne nécessitent pas de licence supplémentaires ou de crédit. Seule l'application mobile Tracker for ArcGIS, qui prend en charge la collecte des localisations, nécessite en revanche une licence.

Les traces sont stockées dans un service d'entités "Suivi de la localisation" créé spécialement pour cela sur votre portail d'organisation pendant 30 jours, sans aucun coût (crédit) de stockage. 

Si vous souhaitez conserver les traces pendant une période plus longue ou utiliser d'autres outils d'analyse d'ArcGIS Online, vous devrez d'abord les exporter à partir de la couche de suivi des localisations. 

Track Viewer

Les traces stockées dans la couche d'entités peuvent être partagées et analysées en toute sécurité avec d'autres personnes à l'aide de l'application web "Track Viewer". Vous pouvez également utiliser les vues et les groupes classiques d'ArcGIS Online pour gérer le partage des informations de localisations. Il est donc possible de gérer très finement les droits d'accès aux localisations des différentes personnes suivies et respecter ainsi les réglementations en vigueur (RGPD ou autres).

   

      

   

Tracker for ArcGIS

L'application mobile Tracker for ArcGIS est disponible en tant qu'application premium (licence payante) pour les appareils Android et iOS. Cette licence peut être ajoutée à tout type d'utilisateur, y compris Viewer. 

   

Avec cette mise à jour de décembre, Esri a ajouté des nouvelles fonctionnalités dans l'application mobile:

    

   

Les évolutions à venir

    

Ci-dessous, quelques éléments qui figurent sur la feuille de route de Tracker for ArcGIS pour 2020:

Vous pouvez visiter le site de ressources et de documentation pour en savoir plus sur Tracker for ArcGIS. Le site Geonet est également un excellent moyen de rejoindre la communauté des utilisateurs de Tracker et de poster vos idées sur ce que vous aimeriez voir dans les prochaines versions.