Un niveau de sophistication au-delà de l'agent IA personnalisé réside dans l'extension de ses capacités avec la génération augmentée de récupération (RAG) et le Protocole de Contexte de Modèle (MCP). Ces méthodes permettent aux agents d'élargir leurs sources d'information et de communiquer avec d'autres agents IA. Cela conduit à des agents plus intelligents et plus adaptatifs.

Le RAG consiste, sans avoir à ré-entrainer le un modèle de langage (fine-tuning), à connecter le LLM à une base de connaissances externe pour qu’il réponde de manière plus précise et contextualisée.

Dans un SIG comme ArcGIS, cela signifie que l’agent IA peut :

Si les modèles pré-entraînés fournis par Esri (ou ses partenaires) ne correspondent pas à vos attentes, l'étape suivante consiste à configurer des modèles GeoAI personnalisés. Dans ArcGIS, vous disposez de plusieurs centaines d'algorithmes de Machine Learning et de Deep Learning que vous pouvez entrainer sur vos propres données. Ces modèles d'IA, entraînés sur les données d'imagerie ou les Géodatabases de votre organisation, peuvent être affinés pour offrir des résultats plus précis dans des domaines comme la prédiction d'événement à partir de séries spatio-temporelles, l'extraction d'objets à partir de données Lidar, la classification des sols, la détection de changements ou la détection d'objets dans des images. 

Utiliser des frameworks d’orchestration tels que LangChain facilitent la création d’assistants IA capables d’interagir avec vos services SIG ArcGIS ou même d’autres sources de données. LangChain agit comme une couche de logique et de mémoire entre le modèle de langage et vos systèmes métiers :

Exemple : un assistant IA peut, via LangChain, recevoir des questions comme "Compter combien de communes sont traversés par l'Allier ?" ou "Combien de communes sont concernées par des risques majeurs en terme d'inondation ?", interroger un service avec les communes, interroger un service avec les fleuves, lancer une géotraitement d’intersection, et restituer une carte ou un résumé chiffré.

Selon vos environnements, vos besoins et vos compétences en développement, d’autres solutions peuvent compléter ou remplacer LangChain :

Les modèles de GeoAI pré-entraînés sont des modèles prêts à l'emploi pour automatiser des tâches géospatiales. Ces modèles, basés sur l'apprentissage profond (Deep Learning), sont entraînés sur d'énormes jeux de données et sont ajustés pour des cas d'utilisation spatiaux tels que la classification de l'occupation des sols, l'extraction d'entités ou la détection d'objets dans des images, des texte, des nuages de points, ... En tirant parti de ces modèles, les équipes SIG peuvent rapidement améliorer leurs analyses sans avoir besoin d'entraîner des modèles à partir de zéro.

Ces modèles vous permettront de réaliser différentes tâches comme l'extraction des contours de bâtiment, le tracés des routes, les zones de végétations, ... à partir d'images satellitaires ou aérienne. Ils vous aideront également dans l'identifications d'objets, le floutage de visages ou de plaques d'immatriculation ou le calcul de profondeur à partir de photos terrain. En 3D, vous trouverez également des modèles pré-entrainés pertinents pour extraire des objets à partir de données Lidar et bientôt à partir de photomaillages 3D (Mesh 3D).

Vous trouverez plus de 100 modèles sur le site du Living Atlas ArcGIS. Certains d'entre eux, plus génériques, vous permettront d'exploiter des modèles de Deep Learning à partir d'instruction sous la forme de prompts (Grounding Dino, TextSAM, Image Interrogation, Prompt Based Classification, ...) ou encore d'exploiter des modèles pré-entrainés partagés sur la plateforme collaborative Hugging Face.