Tuto 5: Compléter ou modifier les données de vos couches d'entités en "batch"¶

Dans ce tutoriel, nous allons voir comment écraser ou mettre à jour par lot les données d'une couche d'entités (ou d'une table). ArcGIS Online permet en effet de compléter ou de mettre à jour les données d'une couche en une seule opération. Si votre jeu de données est régulièrement complété ou modifié, vous pourrez automatiser avec l'API Python ArcGIS le processus d'actualisation sans avoir à supprimer, rechercharger et republier les données à chaque mise à jour.

from IPython.display import display
from arcgis.gis import GIS

my_gis = GIS('https://www.arcgis.com', 'username', 'password')

my_gis

Publication initiale de la couche¶

Considérons un fichier CSV contenant les localisations (latitude, longiture) des radars routiers fixes en France en 2017. Pour publier le service, vous devrez tout d'abord ajouter cette source de données à vos contenus sur le portail. Pour cela, vous récuperez l'objet "ContentManager" puis la méthode "add".

data_file = "/Users/glavenu/Documents/SIG/temp/radars.csv"
csv_item = my_gis.content.add({'title': 'Les radars en France', 
                                'tags': 'Radars,Sécurité routière,France'}, 
                                data_file)
csv_item

La méthode "publish" permet ensuite de publier un service d'entités depuis cette source de données.

my_lyr = csv_item.publish({"name":"Les_radars_en_France",
                           "title":"Les radars en France",
                            "locationType":"coordinates",
                            "latitudeFieldName":"latitude",
                            "longitudeFieldName":"longitude"})
my_lyr.update(thumbnail='/Users/glavenu/Documents/SIG/temp/radars.png')
my_lyr

Pour rappel, pour modifier les privilèges d'accès à cette couche, la méthode "share" vou permettra de définir le niveau de partage. Ici, l'élément est partagé avec les membres de l'organisation appartenant au groupe "Démo".

my_lyr.share(everyone=False, org=False, groups='Démo', allow_members_to_edit=False)

{'itemId': '69c913bffb384e1a965766b7117d65bf', 'notSharedWith': ['Démo']}

Compléter et modifier les données de la couche d'entités¶

Imaginons maintenant que vous souhaitiez ajouter un deuxième fichier CSV contenant à la fois des modifications sur certains radars existants et les nouveaux radars installés depuis janvier 2018.

Comptons le nombre d'entités de la couche.

from arcgis.features import FeatureLayer
my_FL = FeatureLayer.fromitem(my_lyr)

update_indexes={'name': 'id_Index','fields': 'id','isAscending': False,'isUnique': True,'description': ''}
my_FL.manager.add_to_definition({'indexes':[update_indexes]})

my_query_result = my_FL.query(where="1=1", return_count_only=True)
my_query_result

3321

Les instructions qui vont suivre vont permettre d'ajouter de nouvelles entités dans la couche d'entités mais également de modifier des entités existantes, notamment celle-ci possédant l'ID 15825:

my_query_result = my_FL.query(where="id=15825")
my_query_result.features[0]

{"attributes": {"date_heure_dernier_changement": 1536150217000, "type": "Radar fixe", "equipement": "MORPHO", "emplacement": "LE LAMENTIN", "id": 15825, "direction": "FORT DE FRANCE vers LE MARIN", "latitude": 14.60521, "route": "A1", "departement": "972", "vitesse_poids_lourds_kmh": null, "ObjectId": 2340, "longueur_troncon_km": null, "vitesse_vehicules_legers_kmh": 90, "date_installation": 1392336000000, "date_heure_creation": 1536150217000, "longitude": -61.00321}, "geometry": {"y": 1643743.5967171323, "x": -6790846.273955135}}

Ajoutons maintenant le nouveau jeu de données. Quelle que soit la source de données initiale, celui-ci peut être dans n'importe lequel des formats suivants: sqlite, shapefile, filegdb, featureCollection, geojson, csv ou excel.

data_file = "/Users/glavenu/Documents/SIG/temp/radars_2018.csv"
csv_item = my_gis.content.add({'title': 'MAJ Radars 2018', 
                               'tags': 'Radars,Sécurité routière,France'}, 
                                data_file)
csv_item

L'ID de ce nouvel élément sera nécessaire pour ajouter cette source de données... et pour la supprimer une fois le service d'entités actualisé

csv_item.id

'f749be8db3874e4dbb04b03d3f33d566'

Avant de pouvoir ajouter la source de données, pour les fichiers CSV ou Excel, cette source de données doit être analysée afin de déterminer les champs qu'elle contient et les informations de localisation à utiliser pour mettre à jour la couche cible. Dans notre cas, les champs "latitude" et "longitude" seront pas défaut utilisés.

my_gis.content.analyze(item=csv_item.id)['publishParameters']

{'columnDelimiter': ';',
 'editorTrackingInfo': {'allowAnonymousToDelete': True,
  'allowAnonymousToQuery': True,
  'allowAnonymousToUpdate': True,
  'allowOthersToDelete': False,
  'allowOthersToQuery': True,
  'allowOthersToUpdate': True,
  'enableEditorTracking': False,
  'enableOwnershipAccessControl': False},
 'latitudeFieldName': 'latitude',
 'layerInfo': {'advancedQueryCapabilities': {'supportsAdvancedQueryRelated': True,
   'supportsCountDistinct': True,
   'supportsDistinct': True,
   'supportsHavingClause': True,
   'supportsMaxRecordCountFactor': True,
   'supportsOrderBy': True,
   'supportsOutFieldSQLExpression': True,
   'supportsPagination': True,
   'supportsPaginationOnAggregatedQueries': True,
   'supportsQueryRelatedPagination': True,
   'supportsQueryWithDatumTransformation': True,
   'supportsQueryWithDistance': True,
   'supportsQueryWithResultType': True,
   'supportsReturningGeometryCentroid': False,
   'supportsReturningQueryExtent': True,
   'supportsSqlExpression': True,
   'supportsStatistics': True,
   'supportsTopFeaturesQuery': True},
  'allowGeometryUpdates': True,
  'capabilities': 'Create,Delete,Query,Update,Editing',
  'copyrightText': '',
  'currentVersion': 10.61,
  'defaultVisibility': True,
  'description': '',
  'displayField': '',
  'drawingInfo': {'renderer': {'symbol': {'contentType': 'image/png',
     'height': 15,
     'imageData':...

La méthode "append" permet d'ajouter et/ou de modifier des entités dans la couche d'entités cible. Vous indiquerez notamment les champs de la source à ajouter ("append_fields") avec ceux déjà existants dans la couche cible (field_mapping). Le paramètre "source_info" correspond aux informations de publication (nécessaire ici car le format est un CSV). Dernier paramètre indispensable, le paramètre "upsert_matching_field" permet de spécifier le champ identiant dans la couche cible qui permettra la mise en correspondance avec les enregistrements de la table à ajouter.

my_FL.append(item_id=csv_item.id, upload_format='csv', source_table_name=None, 
            field_mappings=["date_heure_creation","date_heure_dernier_changement","date_installation","id","direction","emplacement","equipement","latitude","longitude","route","type","vitesse_vehicules_legers_kmh","ObjectId"],
            source_info=my_gis.content.analyze(item=csv_item.id)['publishParameters'], 
            upsert=True, skip_updates=False, update_geometry=True, 
            append_fields=["date_heure_creation","date_heure_dernier_changement","date_installation","id","direction","emplacement","equipement","latitude","longitude","route","type","vitesse_vehicules_legers_kmh","ObjectId"],
            rollback=True, skip_inserts=False, upsert_matching_field="id")

True

Vérifions tout d'abord le nombre d'entités désormais présentes dans la couche. On constate que 29 entités ont été ajoutées.

my_query_result = my_FL.query(where="1=1", return_count_only=True)
my_query_result

3350

Vérifions que les attributs de l'entité possédant l'ID 15825 ont bien été actualisés.

my_query_result = my_FL.query(where="id=15825")
my_query_result.features[0]

{"attributes": {"date_heure_dernier_changement": 1536150217000, "type": "Radar discriminant", "equipement": "MORPHO", "emplacement": "LE LAMENTIN", "id": 15825, "direction": "FORT DE FRANCE vers LE MARIN", "latitude": 14.60521, "route": "A1", "departement": "972", "vitesse_poids_lourds_kmh": null, "ObjectId": 2340, "longueur_troncon_km": null, "vitesse_vehicules_legers_kmh": 110, "date_installation": 1392336000000, "date_heure_creation": 1536150217000, "longitude": -61.00321}, "geometry": {"y": 1643743.5967171323, "x": -6790846.273955135}}

Maintenant que la source de données CSV a été utilisée pour compléter et mettre à jour la couche d'entités, elle peut être supprimée du portail.

csv_item.delete()

True

Remplacer l'intégralité des données d'une couche d'entités¶

Dans certains cas d'usage vous pouvez avoir besoin, régulièrement et de manière autiomatisée, d'écraser la totalité des données d'une couche d'entités (ou d'une table) hébergée sur votre portail. Il existe une manière très simple de le faire en utilisant les instructions suivantes:

Commençons par charger une nouvelle source de données (ici un Shapefile) avec les informations démographiques sur le département de la Somme.

data_file = "/Users/glavenu/Documents/SIG/temp/DEMOGRAPHIE_2016.zip"
shp_item = my_gis.content.add({'title': 'Démographie des communes de la Somme - 2016', 
                            'tags': 'Démographie,Haut-de-France,Somme'},
                            data_file)

Publions cette source de données en tant que couche d'entités.

my_shp_lyr = shp_item.publish({'name':'Demographie_Communes_Dept_Somme',
                            'title':'Démographie des communes de la Somme - 2016',
                            'tags': 'Démographie,Haut-de-France,Somme'})
my_shp_lyr

Pour pouvoir écraser vos données, vous devez disposer du nouveau fichier source (ici le shapefile contenant les données démographiques de 2017) et instancier l'objet "FeatureLayerCollectionManager" correspondant à votre couche d'entités. Ce dernier est instancié grâce à l'URL du service d'entités de votre couche.

new_data_file= "/Users/glavenu/Documents/SIG/temp/DEMOGRAPHIE_2017.zip"

from arcgis.features.managers import FeatureLayerCollectionManager
my_FLCollectionManager = FeatureLayerCollectionManager(my_shp_lyr.url,my_gis)

Une fois l'objet "FeatureLayerCollectionManager" instancié, la méthode "overxrite" vous permettra de remplacer la totalité des données de votre couche.

my_FLCollectionManager.overwrite(data_file_overwrite)

{'success': True}

La démarche sera exactement la même avec d'autres sources de données comme un fichier GeoJSON, une Géodatabase, ... y compris si le service contient plus couches/tables. On doit cependant noter les contraintes suivantes:

Seuls les couches d'entités et les tables hébergées peuvent être utilisées
La source de données d'origine utilisée pour la publication du service doit toujours exister sur le portail
La nouvelle source de données servant à écraser les données doit être dans le même format que la source de données d'origine
Le schéma de la nouvelle source de données doit être exactement le même que la source de données d'origine. Le nombre d'enregistrement peut bien entendu être différent.

Supprimer tout ou partie d'une couche d'entités¶

Dans certains cas, votre couche d'entités peut avoir besoin d'être régulièrement vidée sans pour autant avoir besoin d'y recharger immédiatement des données. Voici deux méthodes permettant de vider tout ou partie d'une couche d'entités.

Si vous souhaitez maîtriser les entités (ou les enregistrements) à supprimer, vous pourrez utiliser la méthode "delete_features" sur votre objet "FeatureLayer" qui offre l'avantage de pouvoir spécifier une requête SQL ("where=xxx").

my_FL = FeatureLayer.fromitem(my_shp_lyr)
my_FL.delete_features(where="Population>100000", rollback_on_failure=True)

{'deleteResults': [{'globalId': None,
   'objectId': 19,
   'success': True,
   'uniqueId': 19}]}

Une autre possibilité consiste à utiliser la méthode "truncate" disponible sur l'objet "FeatureLayerManager". Dans ce cas, tous les enregistrements de la couche/table sont supprimés.

my_FL.manager.truncate()

{'success': True}

Passage d'ArcGIS Online à TLS 1.2, les impacts sur vos applications ArcGIS

Conseils & Astuces ArcGIS Online - N°106

Conseils & Astuces ArcGIS Online - N°105

Compléter ou modifier les données de vos couches d'entités en "batch"

Tuto 5: Compléter ou modifier les données de vos couches d'entités en "batch"¶

Publication initiale de la couche¶

Compléter et modifier les données de la couche d'entités¶

Remplacer l'intégralité des données d'une couche d'entités¶

Supprimer tout ou partie d'une couche d'entités¶

Des thèmes personnalisés pour Survey123 Web Designer

Introduction des types d'utilisateurs dans ArcGIS

Le samedi, c'est Map Story !

Archives du blog

Articles les plus consultés

HTML_arcorama_0

Nombre total de pages vues

HTML_arcorama_1

Abonnés à notre flux RSS

HTML_arcorama_2

Visiteurs actuellement connectés

HTML_arcorama_3_RSS

HTML_arcorama_4_EMAIL

Suivre arcOrama par email

Qui êtes-vous ?