Le magasin de données de caches de tuiles est "déprécié", cela signifie
qu'Esri ne recommande plus d'utiliser le magasin de données de cache de
tuiles en version 11.4. Les couches de scène hébergées existantes dont les
caches sont stockés ce Data Store continueront de fonctionner, mais il est
recommandé de les migrer vers le magasin d'objets après la mise à niveau
en 11.4. Dans la prochaine version d'ArcGIS Enterprise (version 11.5
mi-2025), le magasin de données de cache de tuiles sera entièrement
supprimé et ne sera plus pris en charge.
Le magasin d'objets est le nouveau lieu d'hébergement des caches de
couches de scènes hébergées dans ArcGIS Enterprise. Toutes les couches
de scènes hébergées nouvellement publiées auront leurs caches écrits
dans le magasin d'objets. Ce dernier stocke également les données des
couches de tuiles 3D hébergées et les réponses aux requêtes mises en
cache pour les couches d'entités hébergées. Cette modification consolide
plusieurs fonctions dans un seul magasin de données, ce qui rend le
stockage des données plus efficace.
Remarque: Le stockage de données de cache de tuiles ne stockait
que les caches de couches de scènes hébergées. Les autres types de
couches, tels que les couches d'images de carte, les couches d'imagerie,
les couches de tuiles et les couches d'altitude, ne sont pas concernés
par le retrait du magasin de données de cache de tuiles.
Cet article décrit l'objectif du magasin d'objets, les options
d'architecture disponibles et la manière dont les organisations
utilisant ArcGIS Enterprise 11.4 peuvent migrer les caches de leurs
couches de scènes hébergées existantes vers celui-ci dès maintenant.
Qu'est ce qu'un magasin d'objets ?
Un magasin d’objets (Object Store) est une solution de stockage
spécialisée dans la gestion de données sous forme d’objets. Chaque
objet est une unité autonome qui regroupe les données elles-mêmes (par
exemple, un fichier), des métadonnées qui les décrivent (comme la date
de création ou le type de fichier) et un identifiant unique permettant
de les retrouver facilement. Ce modèle est particulièrement adapté aux
données non structurées telles que des images, des vidéos, des
documents ou des fichiers journaux.
Contrairement aux bases de données relationnelles, qui organisent les
données sous forme de tables, ou aux bases NoSQL, qui utilisent des
structures comme les paires clé-valeur ou les documents, les magasins
d’objets se concentrent sur une approche simplifiée et évolutive. Ils
sont conçus pour gérer des volumes massifs de données et sont souvent
utilisés dans des environnements cloud.
L’un des principaux avantages des magasins d’objets est leur
flexibilité : il n’est pas nécessaire de définir un schéma précis pour
les données, ce qui facilite leur gestion et leur stockage. De plus,
ils sont optimisés pour des fichiers volumineux et permettent un accès
direct par URL, ce qui les rend idéaux pour des applications web et
multimédia. Leur scalabilité horizontale leur permet de s’adapter à
des besoins croissants en ajoutant simplement des ressources
matérielles.
Ces caractéristiques font des magasins d’objets une solution bien
mieux adaptée aux usages tels que le stockage de contenu multimédia,
l'archivage de document, les sauvegardes ou encore l’hébergement de
fichiers statiques pour des applications web (comme les JSON des
caches I3S ou des caches 3D Tiles). Avec des solutions comme Amazon S3
ou Azure Blob Storage, ils combinent simplicité, performance et coût
avantageux, répondant ainsi aux besoins des systèmes modernes.
L'utilisation du magasin d'objets dans ArcGIS Enterprise
Les solutions de stockage d'objets sont conçues pour stocker de gros
volumes de données non structurées. Dans ArcGIS Enterprise 11.0,
ArcGIS Data Store a été amélioré pour inclure une option de
configuration d'un magasin d'objets. Jusqu'à la version 11.3, son
objectif principal était de mettre en cache les réponses aux requêtes
sur les couches d'entités hébergées, améliorant ainsi leurs
performances et leur évolutivité dans ArcGIS Enterprise.
Avec la sortie d'ArcGIS Enterprise 11.4, l'objectif du magasin
d'objets s'est élargi, devenant le nouveau lieu d'hébergement des
caches de couches de scènes hébergées et d'autres types de couches 3D
hébergées, tels que les nouvelles couches de tuiles 3D hébergée (3D
Tiles Layers). Cela signifie qu'en plus d'améliorer les performances
des couches d'entités hébergées les plus demandées de votre
organisation, le magasin d'objets est utilisé pour stocker les caches
des couches de scènes hébergées (I3S) et d'autres types de couches 3D
(3D Tiles).
On notera que, le cas échéant, le magasin d'objets peut servir
également stocker les vidéos des services vidéo d'un site ArcGIS Video
Server hébergé. On notera aussi d'autres particularités du magasin
d’objets notamment qu'il offre la possibilité d'être déployé sur le
cloud pour profiter des avantages de tels services en mode SaaS. J'y
reviendrai plus loin dans cet article.
Flexibilité en termes d'architectures pour le magasin d'objets
À partir d’ArcGIS Enterprise 11.4, les organisations exécutant ArcGIS
Enterprise dans le cloud Amazon Web Services (AWS) ou Microsoft Azure
peuvent utiliser un service de stockage d’objets cloud à la place du
magasin d’objets ArcGIS Data Store.
Le diagramme suivant représente ces deux options :
Le serveur d'hébergement du portail ArcGIS Enterprise ne prend en
charge qu'un seul magasin d'objets enregistré. Il peut être fourni
par le magasin d'objets ArcGIS (installé avec ArcGIS Data Store) ou
par un service de stockage d'objets cloud.
Voyons ces options plus en détail, en commençant par ArcGIS Data
Store.
Utilisation du magasin d'objets ArcGIS (installé avec ArcGIS
Data Store)
Les déploiements ArcGIS Enterprise 11.4 installés dans votre
infrastructure ou exécutés sur des clouds autres qu'AWS ou
Microsoft Azure utiliseront obligatoire le magasin d'objets ArcGIS
Data Store. Ce type d'ArcGIS Data Store prend en charge un mode
machine unique ou, pour les clients qui ont besoin d'un magasin
d'objets hautement disponible et évolutif, il prend en charge le
déploiement en
mode cluster. Le mode cluster nécessite un minimum de trois machines.
Si votre organisation prévoit de publier de nombreuses couches de
scènes hébergées ou de couches de tuiles 3D hébergées, il sera
alors recommandé le magasin d'objets ArcGIS en mode cluster. Cela
permettra une mise à l'échelle horizontale et vous protègera
contre certains points de défaillance grâce à la duplication des
données sur plusieurs machines.
Le magasin d'objets ArcGIS nécessite également des quantités
importantes de mémoire et d'espace disque. Pour cette raison, il
est recommandé de l'installer
sur une machine dédiée, séparément des autres types de magasins de données ou des
autres composants de votre ArcGIS Enterprise.
Pour obtenir des instructions sur l'installation et la
configuration de l'espace de stockage d'objets ArcGIS Data Store,
consultez le guide d'installation correspondant à votre système
d'exploitation :
Utilisation d'un magasin d'objets sur le cloud
Les services cloud sont optimisés pour les performances,
l'évolutivité, la résilience et la fiabilité dans plusieurs
régions. Dans ArcGIS Enterprise 11.4, deux services de stockage
d'objets cloud sont pris en charge : Amazon S3 et Azure Blob
Storage.
Les organisations exécutant ArcGIS Enterprise 11.4 sur AWS ou
Azure peuvent enregistrer un magasin d'objets cloud auprès de leur
serveur d'hébergement, comme alternative au magasin d'objets
ArcGIS. Cette option remplit le même objectif, mais exploite un
service cloud au lieu d'un stockage sur les disques de votre
infrastructure. Les services de stockage d'objets cloud offrent
une évolutivité supérieure, une haute disponibilité et des
fonctionnalités de sécurité robustes, ce qui en fait un choix
judicieux pour le stockage de données.
Reportez-vous à la documentation pour connaître les étapes de
configuration d'un magasin d'objets cloud comme magasin d'objets
du serveur d'hébergement :
Remarque: cet emplacement de stockage cloud ne doit
pas être utilisé pour stocker des fichiers de sauvegarde ou des
données gérées par l'utilisateur, telles que des caches pour des
services de cartographie et d'imagerie. Au lieu de cela,
enregistrez et maintenez un emplacement de stockage cloud distinct
à ces fins.
Comment puis-je déterminer quels magasins de données je possède
?
Si vous êtes l'administrateur d'ArcGIS Enterprise, vous savez
probablement déjà quels magasins de données sont configurés pour
votre déploiement. Mais dans le doute, vous pouvez vérifier si le
serveur d'hébergement dispose du magasin de données de cache de
tuiles et du magasin d'objets enregistrés à l'aide d'ArcGIS Server
Manager.
Vérification du magasin d'objets
Pour vérifier si votre serveur d'hébergement dispose d'un magasin
d'objets enregistré, connectez-vous à ArcGIS Server Manager pour
le serveur d'hébergement et cliquez sur
Site > Data Stores. Si une entrée indique le type
"Managed Objectt", cela signifie que votre déploiement en dispose.
Vous pouvez vérifier que le serveur d'hébergement et le magasin
d'objets peuvent communiquer entre eux en cochant la case en regard de
cette entrée de magasin de données et en cliquant sur le bouton
"Validate". Si tout va bien, une coche verte apparaît dans la
colonne "Status".
Le nom de fichier du magasin d'objets identifie le type de magasin
d'objets. Si le nom de fichier de l'entrée "Managed Object" indique
ArcGIS_Data_Store, le déploiement utilise le magasin d'objets ArcGIS.
Si un autre nom de fichier est répertorié, il utilise un magasin
d'objets cloud. Là encore, l'utilisation d'un magasin d'objets cloud
n'est recommandée que pour les déploiements exécutés dans le cloud.
Si le serveur d'hébergement n'a aucun magasin d'objets gérés
enregistré, utilisez les informations et les liens partagés dans les
liens précédents pour en ajouter un.
Vérification du magasin de données de cache de tuiles
Ensuite, vérifiez la présence du magasin de données du cache de
tuiles. Lorsque vous vous connectez à ArcGIS Server Manager, vous
verrez un type de magasin de données du cache de tuiles répertorié sur
la page Site > Data Stores si le déploiement dispose d'un
magasin de données du cache de tuiles.
Si le magasin de données de type "Tile Cache" n'est pas
répertorié comme magasin de données enregistré auprès du serveur
d'hébergement, les membres de l'organisation ne peuvent pas publier de
couches de scène hébergées. Par conséquent, vous n'aurez pas besoin de
migrer les caches de couches de scènes. En revanche, si le déploiement
dispose d'un magasin de données de cache de tuile, vous devrez
probablement effectuer la migration. Vérifiez que le magasin de
données de cache de tuile peut communiquer avec le serveur
d'hébergement, puis procédez à la migration.
Migration à partir du magasin de données du cache de tuiles
Après la mise à niveau vers ArcGIS Enterprise 11.4, les
administrateurs doivent
vérifier que le serveur d'hébergement dispose du magasin d'objets
configuré. Cela permettra de publier de nouvelles couches de scènes hébergées
et des couches de tuiles 3D hébergées. En outre, cela les préparera à
migrer les caches de couches de scènes hébergées du magasin de données
de cache de tuiles vers le magasin d'objets.
La migration vers le magasin d'objets est importante, car ArcGIS
Enterprise 11.5 sera la dernière version à prendre en charge le
magasin de données de cache de tuiles. Après cette version, le magasin
de données de cache de tuiles sera entièrement supprimé et tous les
caches de couches de scènes hébergés devront être stockés dans le
magasin d'objets. Utilisez les outils spécialisés inclus dans la
version ArcGIS Enterprise 11.4 pour migrer tous les caches éligibles
vers le magasin d'objets.
Identifier les services de scène éligibles à la migration
Il est facile de déterminer quels services de scène ont leurs caches
stockés dans le magasin de données de cache de tuiles. Cela est
possible grâce au nouvel utilitaire
MigrateSceneServices, inclus dans ArcGIS Enterprise 11.4. Cet utilitaire, installé avec
ArcGIS Server, dispose de deux modes : le mode d'analyse et le mode
d'exécution.
Jusqu'à présent, nous avons parlé des couches de scènes hébergées.
Pourquoi passer soudainement aux services de scènes ? Les services de
scènes hébergés s'exécutent sur le serveur d'hébergement (ArcGIS
Server) et alimentent les éléments de couche de scènes dans le portail
ArcGIS Enterprise. L'utilitaire de migration est un outil ArcGIS
Server, ce qui signifie qu'il fonctionne spécifiquement avec les
services de scènes, plutôt qu'avec les couches.
Lorsqu'il est exécuté en mode d'analyse, l'utilitaire fournit une
liste de tous les services éligibles à la migration. Il répertorie les
détails de tous les services de scène hébergés qui ont des caches dans
le magasin de données de cache de tuiles. Ces détails incluent le nom
du service et la taille estimée de chaque cache en mégaoctets.
L'estimation de la taille vous aide à vous assurer que vous disposez
de suffisamment d'espace disque et de mémoire sur la machine du
magasin d'objets si vous utilisez le magasin d'objets ArcGIS Data
Store. (Si vous utilisez un magasin d'objets cloud, tel qu'Amazon S3
ou Azure Blob Storage, l'espace disque n'est pas un problème.)
Connaître la taille des caches vous aide également à décider quand
exécuter la migration et si vous devez migrer certains services
séparément. Par exemple, si tous les caches ont une taille de
plusieurs gigaoctets, migrez-les lorsque le système n'est pas soumis à
une charge importante. Si vous avez quelques caches de plusieurs
téraoctets, migrez-les séparément, peut-être en dehors des heures
normales de bureau.
Lors de la migration des caches, vous pouvez constater un pic de CPU
sur les machines exécutant le magasin de données de cache de mosaïques
et le magasin d'objets. Pour cette raison, nous vous recommandons
d'effectuer la migration en dehors des heures ouvrables afin de
minimiser les problèmes liés aux conflits de ressources. Cela est
particulièrement important si vous avez des caches extrêmement
volumineux.
Voici une capture d’écran de l’exécution de l’utilitaire
MigrateSceneServices en mode analyse :
Si l'exécution de l'utilitaire en mode d'analyse indique qu'il n'y a
aucun service à migrer, vous pouvez alors procéder à la suppression
du magasin de données de cache de mosaïques . Si l'utilitaire
renvoie une liste de services, votre déploiement dispose de caches à
migrer.
À ce stade, assurez-vous de disposer d'une sauvegarde complète et
utilisable du déploiement d'ArcGIS Enterprise . Cela vous permettra
de restaurer votre système à partir d'une sauvegarde si des
problèmes inattendus surviennent.
Testez également vos calques de scène hébergés pour vous assurer
qu'ils fonctionnent comme prévu avant de migrer leurs caches. Sinon,
il sera difficile de déterminer la cause du problème si un calque de
scène ne fonctionne pas comme prévu après la migration.
Vous pouvez maintenant procéder à la migration.
Réalisation de la migration
L'utilitaire MigrateSceneServices génère des rapports sur les
services de scène avant la migration, lorsqu'il est exécuté en
mode analyse. Pour effectuer la migration, vous pouvez utiliser
l'utilitaire en mode exécution. Les propriétaires de couches de
scène peuvent également migrer chacune de leurs couches de scène
hébergées à partir de la page de l'élément dans le portail
Enterprise.
Quelle que soit la méthode utilisée, les temps d'arrêt du service
seront minimes, voire inexistants. La couche de scène hébergée
reste accessible pendant la migration.
Nous discuterons plus en détail des deux approches ci-dessous.
Migrer les caches en masse à l'aide de l'utilitaire
Pour effectuer la migration du cache de scène à l'aide de l'utilitaire
MigrateSceneService, exécutez-le en mode d'exécution. Lorsqu'il est
exécuté en mode d'exécution, l'utilitaire parcourt les services
éligibles, un par un. Il migre le cache de chaque service vers le
magasin d'objets, puis supprime le cache de ce service du magasin de
données du cache de mosaïques.
L’utilisation de l’utilitaire pour migrer les caches signifie que vous
pouvez…
-
Migrez tous, plusieurs ou même un seul cache de service de scène à
la fois, car l'utilitaire prend les noms de service de scène en
entrée.
-
Planifiez la migration à l’aide des outils sur le serveur
d’hébergement.
-
Effectuez la migration en tant qu’administrateur d’entreprise.
-
Ajustez les paramètres de journalisation, y compris l’emplacement
du journal et le niveau de détail.
Les autres avantages liés à l’utilisation de cet utilitaire incluent :
-
Cela réduit vos efforts lorsque votre organisation dispose de
nombreux caches de services de scène hébergés à migrer.
-
Vous l'exécutez déjà pour analyser les éléments à migrer et pour
vous assurer qu'aucun cache ne reste dans le magasin de données du
cache de tuiles une fois le processus de migration terminé. Cela
signifie que vous utiliserez un seul outil et que vous n'aurez pas
à changer d'environnement.
Une fois de plus, les couches de scène hébergées resteront disponibles
pendant la migration. À la fin d'une migration réussie, il n'y aura
qu'un bref moment d'indisponibilité pendant que le service se met à
jour pour pointer vers le cache nouvellement copié dans le magasin
d'objets.
Pour en savoir plus sur la syntaxe de l’utilitaire et comment
l’exécuter, consultez la documentation de l’utilitaire
MigrateSceneServices.
Migrer les caches pour les couches individuelles à partir du
portail d'entreprise
Vous pouvez également migrer les caches en lançant la migration à
partir de l' onglet Paramètres de la page d'élément de la couche de
scène hébergée dans le portail Enterprise. La migration des caches à
partir de la page d'élément est une bonne approche si vous n'avez pas
beaucoup de services à migrer.
L'option de migrer le cache est présente dans l'onglet Paramètres de
l'élément si les deux conditions suivantes sont remplies :
-
Vous vous connectez au portail d’entreprise en tant que
propriétaire de la couche de scène
-
Le cache de la couche de scène hébergée n'a pas encore été migré.
Si l'option de migration du cache n'est pas affichée, vérifiez que
vous êtes le propriétaire de l'élément. Bien que cette approche ne
crée pas de fichier journal contenant des informations de migration,
elle vous permet de visualiser la progression de la migration. Cliquez
sur le bouton Migrer le cache pour lancer le processus et vous pouvez
visualiser l'état de la tâche et sa progression, comme indiqué
ci-dessous.
Pour en savoir plus sur la migration des caches depuis le portail Enterprise, reportez-vous à la documentation
Gérer les couches de scène.
Éléments à vérifier si la migration échoue
Parfois, les choses ne se passent pas comme prévu. Si l'un des caches de service ne parvient pas à migrer correctement, tenez compte des conseils suivants :
- Exécutez l'utilitaire en mode d'exécution : l'utilitaire prend en charge la journalisation, ce qui peut être utile pour le dépannage. Si un service échoue, exécutez l'utilitaire en mode d'exécution avec le niveau de journalisation défini sur trace. Cela vous fournira les informations les plus détaillées. De plus, utilisez le paramètre select facultatif pour choisir un ou plusieurs services spécifiques à migrer à un moment donné. Rassurez-vous, la réexécution de l'utilitaire n'entraînera pas de doublons de fichiers dans le magasin d'objets.
- Vérifier l'URL du serveur : lorsque vous utilisez l'utilitaire, indiquez l'URL du site du serveur d'hébergement à l'aide de l'URL de l'adaptateur Web ou de l'URL de l'équilibreur de charge réseau tiers. À ce stade, l'utilisation d'une URL qui contourne l'adaptateur Web et utilise directement le domaine complet (FQDN) de la machine et du port ne fonctionnera pas.
- Vérifier les informations d'identification : lors de la migration des caches à partir du portail Enterprise, vous devez être connecté en tant que propriétaire de l'élément. L'option Migrer le cache n'est pas disponible pour les autres utilisateurs pour le moment. Lorsque vous utilisez l'utilitaire de migration, indiquez le nom d'utilisateur d'un compte intégré qui est membre du rôle Administrateur par défaut. L'utilisation d'un compte issu d'un magasin d'identités spécifique à l'organisation ou des informations d'identification de l'administrateur du site principal pour ArcGIS Server ne fonctionnera pas.
- Ajustez la quantité de mémoire allouée au magasin d'objets : si le magasin d'objets du serveur d'hébergement est fourni par ArcGIS Data Store et que les caches de scène volumineux ne parviennent pas à migrer, vous devrez peut-être augmenter la taille du segment de mémoire du magasin d'objets. Ce réglage fournira davantage de mémoire au magasin d'objets, ce qui est essentiel lors de la migration (ou de la publication) de caches de couches de scènes hébergées volumineux. Pour vérifier la taille de segment de mémoire actuelle définie pour le magasin d'objets, utilisez l'utilitaire describeatastore.
Si ces conseils ne parviennent pas à résoudre les problèmes que vous rencontrez, contactez le support technique Esri .
Après avoir migré
Vous avez migré tous les caches de couches de scènes hébergées vers le magasin d'objets. Vous pouvez maintenant terminer les tests post-migration et le nettoyage.
Vérifiez que chaque couche de scène hébergée continue de fonctionner comme prévu
Pour vous assurer que les couches fonctionnent comme prévu après la migration, testez chaque couche de scène hébergée. Utilisez le même processus de vérification que celui que vous avez utilisé avant la migration. Par exemple, si vous avez vérifié la fonctionnalité de la couche de scène hébergée en interagissant avec elle dans Scene Viewer avant la migration, effectuez le même test après la migration. De cette façon, vous pouvez être sûr que le service fonctionne de la même manière avant et après la migration, car vous effectuez une comparaison exacte.
Confirmer que le magasin de données du cache de tuiles ne contient aucun cache
Vous devez confirmer que votre déploiement ne repose plus sur le magasin de données de cache de mosaïques obsolète. Pour ce faire, un administrateur d'organisation peut exécuter l'utilitaire
MigrateSceneServices en mode d'analyse. Si l'utilitaire renvoie des services, migrez-les maintenant. Si l'utilitaire signale qu'aucun service n'est éligible à la migration, tous les caches ont été migrés.
Voici un exemple de ce que l'utilitaire renvoie lorsqu'aucun service migrable n'existe :
Une fois tous les caches de couches de scènes hébergés migrés et testés, vous pouvez supprimer le magasin de données de cache de tuiles de votre déploiement.
Suppression du magasin de données de cache de tuiles
Après avoir vérifié que le magasin de données du cache de tuiles n'est plus utilisé, désactivez-le. Pour ce faire, l'administrateur ArcGIS Data Store exécute l'
utilitaire disabledatastore sur une machine du magasin de données du cache de tuiles. L'exécution de l'utilitaire sur n'importe quelle machine du magasin de données du cache de tuiles désactive l'intégralité du magasin de données du cache de tuiles. Par exemple, si vous avez déployé le magasin de données du cache de tuiles en mode cluster et qu'il s'exécute sur trois machines, vous n'avez besoin d'exécuter l'utilitaire que sur l'une de ces machines.
L'utilitaire Disabledatastore est installé avec ArcGIS Data Store 11.4. Il annule l'enregistrement du magasin de données de cache de tuiles du serveur d'hébergement et supprime tous les fichiers concernés. Cela libère des ressources sur les machines sur lesquelles le magasin de données de cache de tuiles est installé.
Si le magasin de données de cache de tuiles est installé sur des machines dédiées distinctes des autres types de magasins de données ArcGIS, vous pourrez peut-être le désinstaller. Cela vous permettra de réutiliser les machines ou, dans le cas de machines virtuelles, de les supprimer.
En résumé…
Le magasin d'objets fournit aux déploiements ArcGIS Enterprise 11.4 un espace de stockage pour les caches de couches de scènes hébergées, les caches de couches de tuiles 3D hébergées, etc. Sa fonctionnalité remplace le magasin de données de cache de tuiles obsolète et les organisations doivent y migrer tous les caches de couches de scènes hébergées après la mise à niveau vers la version 11.4. Nous avons introduit des outils de migration dans la version 11.4 d'ArcGIS Enterprise pour faciliter cette transition, et nous espérons que ce blog vous a fourni un aperçu complet du flux de travail de migration pour votre référence.
