Détection non supervisée de changements dans les séries temporelles d'images satellites

1. Contexte et objectifs

Pour les équipes dédiées à l'analyse d'images satellites et à la détection de changements, la grande échelle temporelle et spatiale rend fastidieuse l'identification des changements les plus pertinents à analyser (par exemple, l'apparition d'une zone de déforestation, la détection d'un nouveau bâtiment/route dans une zone d'intérêt, l'inondation/assèchement de terres). L'approche proposée est la suivante :

• Extraire des représentations d'images locales en utilisant de grands modèles fondamentaux visuels ou multimodaux, à la fois généraux et du domaine (SAM2, DinoV2, Clay, Anysat)
• Détecter les changements dans les représentations locales d'une image à l'autre au sein d'une série temporelle
• Regrouper les variations dans les représentations locales
• Détecter les variations atypiques les plus pertinentes en les classant selon leur rareté ou l'ampleur du changement

L'analyste peut ensuite sélectionner un changement parmi les variations atypiques détectées par le modèle et concentrer son attention sur ce type de changement à d'autres points de la série temporelle ou dans une autre zone (une autre série temporelle).

Après avoir exploré le jeu de données Dynamic Earth Net, l’étude a comparé les performances de différents modèles fondamentaux dans la détection des changements étiquetés dans la vérité terrain. Les modèles les plus efficaces ont ensuite permis d’extraire des séries temporelles de représentations vectorielles d’images satellites pour mettre en œuvre des méthodes de détection non supervisée de changements.

2. Jeu de données et prétraitement

Nous avons utilisé pour ce projet le jeu de données Dynamic Earth Net (voir Figure 1). Il peut être téléchargé ici.

Figure 1 - Visualisation du jeu de données Dynamic Earth Net

Ce jeu de données se compose d'observations satellites multi-spectrales quotidiennes de 75 zones d'intérêt sélectionnées distribuées dans le monde avec des images de Planet Labs. Ces observations sont associées à des étiquettes mensuelles de segmentation sémantique pixel par pixel de sept classes d'utilisation et de couverture des sols (LULC).

Après avoir soigneusement vérifié l'alignement des images, nécessaire pour notre tâche de détection de changements, nous avons estimé les changements de vérité terrain basés sur les étiquettes LULC.

3. Comparaison des modèles fondamentaux

Les représentations vectorielles d’images ont été générées avec quatre modèles fondamentaux :

• SAM2 (général)
• DinoV2 (général)
• Clay (entraîné sur images satellites)
• Anysat (entraîné sur images satellites)

Nous avons comparé l’évolution des représentations vectorielles par portion d’image aux changements de vérité terrain agrégés sur ces mêmes portions pour évaluer les performances de chaque modèle.

Figure 2 — Méthode de comparaison entre les représentations vectorielles extraites et la vérité terrain

Les résultats ont été analysés à travers différents types de changements, incluant divers modèles temporels et sémantiques. Une étude de cas détaillée est présentée dans la section suivante.

4. Cas d'usage

Le cas d'usage sélectionné démontre un phénomène de sécheresse prolongée, qui est clairement visible dans les images satellites (voir Figure 3) et également reflété dans la vérité terrain (voir Figure 4).

Figure 3 - Extrait d'images satellites pour le cas d'usage

Figure 4 - Évolution de la vérité terrain au fil du temps pour l'étude de cas

La courbe ROC pour cette étude de cas montre de meilleures performances pour les deux modèles fondamentaux du domaine : Clay et Anysat (voir Figure 5).

Figure 5 - Courbe ROC obtenue pour l'étude de cas

L’analyse par portion d’image montre une forte tendance de SAM2 et DinoV2 à produire des faux positifs. La plus grande taille des portions analysées rend également la détection moins précise (voir Figure 6).

Figure 6 - Comparaison des performances des quatre modèles sur le cas d'usage de la sécheresse

5. Détection automatique de changements

Nous avons testé une méthode de détection locale des changements par portion d’image en comparant les nouvelles observations aux observations de référence, comme illustré à la Figure 7.

Figure 7 - Méthode de détection de changements locale

La Figure 8 montre que deux groupes sont clairement identifiés : avant et après le changement. La méthode fondée sur la distance et celle fondée sur le score LOF (facteur local d’aberration) permettent toutes deux de détecter les changements ; la méthode LOF distingue mieux le bruit des changements réels.

Figure 8 - Résultats de la méthode de détection de changements locale sur l'étude de cas

6. Conclusion

Notre étude démontre que les modèles fondamentaux entraînés spécifiquement sur l'imagerie satellite, tels que Clay et Anysat, surpassent les modèles généralistes dans la détection de changements au fil du temps.

En extrayant des représentations vectorielles locales par portion d’image, nous avons pu générer des séries temporelles facilitant la détection non supervisée des changements. La méthode fondée sur LOF s’est avérée efficace pour distinguer les changements réels du bruit.

Ces résultats mettent en évidence le potentiel de la combinaison de modèles fondamentaux du domaine avec des techniques non supervisées pour identifier efficacement les changements pertinents dans de vastes ensembles de données satellites.

Les travaux futurs devraient se concentrer sur le test de la robustesse de ces méthodes sur des images reconstruites ou des images avec des conditions d'éclairage variables, l'affinement de la distinction entre changements sémantiques et non sémantiques, et l'évaluation plus approfondie des performances de Clay et Anysat sur différents types de changements.

De plus, nous visons à développer une approche hiérarchique de détection de changements, regroupant différents types de changements et les priorisant en fonction de leur atypicité.