Le blog francophone consacré
aux technologies Esri

Parquet dans ArcGIS : ArcGIS Pro et ArcGIS Data Pipelines - 2/4

 

Dans le premier article de cette série, nous avons découvert Apache Parquet et sa déclinaison géographique GeoParquet. Nous avons notamment vu pourquoi ce format de stockage colonnaire est particulièrement adapté aux grands volumes de données et aux architectures analytiques modernes.

Mais au-delà de ses caractéristiques techniques, une question intéresse naturellement les utilisateurs d'ArcGIS : comment exploiter concrètement ces fichiers dans leurs workflows SIG ?

Depuis ArcGIS Pro 3.5, Esri a considérablement renforcé la prise en charge des fichiers Parquet. Il est désormais possible de les utiliser directement dans une carte, une scène ou des processus de géotraitement.

En parallèle, l'application d'intégration de données ArcGIS Data Pipelines permet de produire des fichiers Parquet et, depuis juin 2026, de créer un nouveau type de couche : les  couches d'entités Parquet (Parquet Feature Layers).

Ces deux évolutions permettent à ArcGIS d'épouser les architectures de données les plus modernes et vous permettre d'anticiper la présence croissante de nouveau format de données géographiques.


Lire directement les fichiers Parquet avec ArcGIS Pro

La prise en charge des fichiers Apache Parquet dans ArcGIS Pro s'est renforcée avec la version 3.5, publiée en mai 2025.

Cette évolution répond à un besoin assez simple : permettre aux utilisateurs d'exploiter des fichiers produits par des environnements externes sans devoir systématiquement les convertir dans une géodatabase.

Deux approches sont possibles :

  1. Travailler avec une connexion d'entités multifichier (Multifile Feature Connection ou MFC)
  2. Ajouter directement un fichier Parquet individuel dans une carte ou une scène.

Ces deux mécanismes répondent à des besoins différents.

Les connexions d'entités multifichiers

Les Multifile Feature Connections ne sont pas apparues avec la prise en charge des fichiers Parquet dans ArcGIS Pro 3.5. Elles existaient déjà dans l'environnement GeoAnalytics Desktop et permettent de connecter ArcGIS Pro à des ensembles de données répartis dans plusieurs fichiers.

Le principe consiste à référencer un dossier contenant plusieurs jeux de données de même structure, qui peuvent ensuite être exploités comme un ensemble cohérent.

Prenons l'exemple d'une plateforme qui produit quotidiennement des observations de circulation.


Plutôt que de réunir plusieurs années de données dans un seul fichier, l'organisation peut conserver un fichier Parquet par journée :

AIS_Parquet/
    2017/
        janvier/
            AIS_20170101.parquet
            AIS_20170102.parquet
            AIS_20170103.parquet
        fevrier/
            AIS_20170201.parquet
            AIS_20170202.parquet

Dans ArcGIS Pro, une connexion multifichier permet de référencer un ensemble de source de données (CSV ou Parquet par exemple) qui peuvent ensuite être visualisées et utilisées comme une entrée (couche) unique pour différents outils de géotraitement.

Cette organisation présente plusieurs avantages :

  • Les fichiers peuvent être produits indépendamment.
  • Les données peuvent être organisées par période ou par territoire.
  • Il n'est pas nécessaire de fusionner systématiquement les fichiers.
  • Les nouveaux jeux de données peuvent être intégrés à la structure existante.

La connexion multifichier constitue donc une approche particulièrement intéressante pour les organisations qui travaillent avec des données volumineuses et régulièrement enrichies.

Il faut toutefois distinguer le fonctionnement d'une MFC des possibilités de lecture d'un fichier GeoParquet individuel. Les contraintes et les usages ne sont pas strictement identiques.


Ajouter un fichier GeoParquet directement dans une carte

Depuis ArcGIS Pro 3.5, une nouvelle possibilité est apparue : ajouter directement un fichier Parquet à une carte ou une scène à partir d'une connexion à un dossier.

Le fichier peut être stocké localement ou dans un emplacement de stockage Cloud pris en charge, notamment un compartiment Amazon S3.

Lorsque le fichier contient une colonne géographique conforme à GeoParquet, ArcGIS Pro peut reconnaître la géométrie et créer une couche d'entités.

Dans le cas contraire, le fichier peut être ajouté sous forme de table autonome. L'utilisateur peut alors consulter les données, les interroger et les exploiter dans son projet ArcGIS Pro.

On notera qu'ArcGIS Pro crée un cache local pour chaque fichier Parquet ajouté à une carte ou à une scène. Lors du premier accès, le logiciel lit le fichier et construit cette structure locale. Les utilisations suivantes peuvent ensuite s'appuyer sur le cache existant. Pour les fichiers volumineux, cette première opération peut prendre un certain temps.

Esri propose donc une fonction ArcPy, CreateParquetCache, permettant de préparer ce cache avant l'ouverture du projet. Cette possibilité est particulièrement intéressante dans les chaînes de production automatisées.


Quelles sont les conditions techniques ?

Tous les fichiers Parquet ne sont pas automatiquement exploitables dans ArcGIS Pro.

Pour un fichier individuel, plusieurs conditions doivent être respectées :

  • Le fichier doit porter l'extension .parquet.
  • Les fichiers chiffrés ne sont pas pris en charge.
  • Les fichiers non compressés ainsi que ceux utilisant Snappy, GZIP ou Zstandard sont pris en charge.
  • Les colonnes ne doivent pas être imbriquées.
  • Une seule colonne spatiale GeoParquet est attendue.
  • Les versions 1.0.0 et 1.1.0 de GeoParquet sont prises en charge.
  • Les collections de géométries ne sont pas prises en charge.

Autre point important : la simple présence de colonnes X et Y ou de champs latitude et longitude ne suffit pas à créer automatiquement une géométrie. Il faut également une colonne spatiale conforme à la spécification GeoParquet. ArcGIS Pro ne prend par ailleurs en charge qu'un type de géométrie par couche créée à partir d'un fichier donné. Ces éléments sont à prendre en compte lors de la préparation des données.


Et pour mes géotraitement ?

L'utilisation de Parquet dans ArcGIS Pro ne se limite pas à l'affichage. Les données peuvent également être utilisées comme entrées de certains outils de géotraitement.

Pour un fichier individuel, les données Parquet peuvent être utilisées comme entrée d'un outil après ajout à une carte, en s'appuyant sur la couche correspondante.

Avec les connexions d'entités multifichiers, les données peuvent également être utilisées comme entrées de nombreux outils de géotraitement.

Les outils GeoAnalytics Desktop peuvent notamment exploiter ces connexions dans le contexte de traitements distribués sur les ressources disponibles ce qui est particulièrement intéressant en termes de performance.


ArcGIS Data Pipelines pour préparer et transformer les données

Si ArcGIS Pro permet de consommer des fichiers Parquet, ArcGIS Data Pipelines apporte une autre dimension : la préparation et la production de données.

Data Pipelines est un environnement visuel de préparation de données disponible dans ArcGIS Online.

Il permet de connecter différentes sources, de transformer les données et de produire des résultats adaptés aux usages SIG.

On peut notamment connecter des données issues de fichiers, d'URL, d'API, de stockages Cloud ou de bases de données analytiques.

L'utilisateur construit ensuite un workflow composé d'opérations de préparation :

  • Filtrage des enregistrements
  • Sélection des champs
  • Mise à jour des attributs
  • Création de champs calculés
  • Jointures
  • Agrégations
  • Opérations géographiques

L'intérêt est de pouvoir construire des chaînes de préparation sans devoir systématiquement développer un programme Python.


Écrire les résultats dans un fichier Parquet

Depuis la mise à jour de juin 2026 d'ArcGIS Online, ArcGIS Data Pipelines propose également de générer des sorties au format Apache Parquet. Il est ainsi possible d'écrire les résultats d'un pipeline de données dans un fichier Parquet, au même titre que dans les formats CSV ou GeoJSON.


Pour les données géographiques, la documentation actuelle propose l'écriture au format GeoParquet 1.1.

Le paramétrage permet notamment de sélectionner le champ géométrique principal.

On peut donc imaginer une chaîne de traitement qui récupère des données provenant d'une plateforme externe, les filtre, les enrichit, puis produit un fichier GeoParquet prêt à être exploité dans ArcGIS Pro, Python ou un autre environnement compatible.

Cette possibilité facilite les échanges entre ArcGIS Online et les plateformes analytiques externes.

Une nouvelle sortie : Parquet Feature Layer

La mise à jour de juin 2026 d'ArcGIs Online introduit également un type de sortie supplémentaire : les "Parquet Feature Layer" (en beta). Il s'agit d'un nouveau type de couche destiné à la diffusion de données géographiques en lecture seule dans ArcGIS Online.


Nous reviendrons en détail sur son fonctionnement dans le troisième article de cette série. Pour le moment, retenons que Data Pipelines peut produire deux types de résultats distincts :


Cette distinction est importante : un fichier GeoParquet reste un fichier ouvert et interopérable, tandis qu'une "Parquet Feature Layer" bénéficie d'une organisation spatiale spécifique développée par Esri.

Cette distinction est importante : un fichier GeoParquet reste un fichier ouvert et interopérable, tandis qu'une Parquet Feature Layer bénéficie d'une organisation spatiale spécifique développée par Esri.

Un exemple de workflow

Imaginons que vous gérer les informations de traffic et que vous recevez chaque semaine un fichier contenant les observations de circulation sur votre territoire.

Le workflow pourrait être organisé de la manière suivante :

  • Connexion au fichier source dans ArcGIS Data Pipelines.
  • Suppression des observations invalides.
  • Sélection des attributs utiles.
  • Transformation des coordonnées en géométrie.
  • Agrégation éventuelle des observations par tronçon routier.
  • Écriture du résultat dans un fichier GeoParquet.
  • Exploitation dans ArcGIS Pro pour les analyses complémentaires.

Le même fichier peut ensuite être utilisé dans un environnement Python ou dans une plateforme analytique externe. C'est tout l'intérêt de cette approche : dissocier progressivement la production des données de leur exploitation dans les différentes applications.


Ce qu'il faut retenir

Avec ArcGIS Pro 3.5 et les versions suivantes, les fichiers Parquet ne sont plus des données étrangères à l'environnement SIG. Ils peuvent être ajoutés directement dans une carte, exploités à travers des connexions multifichiers et utilisés dans des workflows de géotraitement.

ArcGIS Data Pipelines complète cette approche en proposant la préparation et l'écriture de fichiers Parquet et GeoParquet.

Ces évolutions constituent une première étape vers une meilleure intégration entre les plateformes analytiques et les outils SIG.

Mais Esri va plus loin avec les "Parquet Feature Layers", qui introduisent une nouvelle manière de diffuser de très grands jeux de données dans les applications Web.

C'est ce que je vous propose de découvrir dans le prochain article.

Partager cet article:

Rejoindre la discussion

    Les commentaires à propos de cet article: