Xiao Xia Liang, chercheuse à l’Institut national de la recherche scientifique et Maxime Claprood, professeur en génie civil au Département des sciences appliquées
L’apprentissage automatique, un type d’intelligence artificielle (ou IA), est largement intégré dans notre vie quotidienne. Par exemple, l’auto-complétion de phrases dans les courriels, les systèmes de recommandation sur les réseaux sociaux, les grands modèles conversationnels tels que ChatGPT, les traductions linguistiques (de l’anglais vers le français, notamment utilisé pour traduire cet article), etc. Il est donc clair que l’IA a pénétré de nombreux aspects de notre vie, et bien entendu, elle s’est également infiltrée dans les domaines des géosciences. Jesper Sören Dramsch était un.e doctorant.e à l’Université technique du Danemark lorsqu’il a publié un article qui a passé en revue de manière approfondie toutes les méthodes d’apprentissage automatique différentes développées et utilisées au cours des 70 dernières années en géosciences. Dans cet article, Jesper a démontré que le nombre d’articles publiés en géosciences avec des méthodes d’apprentissage automatique a augmenté de manière exponentielle depuis 2013 [1].
Les applications de l’apprentissage automatique en géosciences
Les méthodes traditionnelles d’apprentissage automatique sont utilisées par les géoscientifiques depuis les années 1950. La première méthode d’apprentissage automatique développée pour le domaine des géosciences est le krigeage [2] pour l’exploitation minière. D’autres méthodes traditionnelles d’apprentissage automatique existent et sont utilisées en géosciences depuis les années 1960, incluant : la méthode des k-moyennes [3], la chaîne de Markov [4], les arbres de décision [5], la forêt aléatoire [6], les machines à vecteurs de support [7] et l’apprentissage par renforcement [8]. Les récents développements des réseaux neuronaux profonds (RNP) ont propulsé la recherche en géoscience dans une nouvelle ère d’IA. Les chercheurs utilisent des RNP tels que les réseaux neuronaux convolutifs (RNC) [9] et les réseaux neuronaux récurrents (RNR) [10] pour obtenir des avancées dans de nombreux domaines des géosciences. Un autre développement intéressant dans les RNP est l’utilisation de réseaux neuronaux informés par la physique (RNIP) [11]. Ces RNIP tirent parti des modèles RNP basés sur les données et les contraignent avec les principes physiques qui régissent un système. Cette méthode s’avère utile en géosciences car elle combine la puissance des modèles basés sur les données avec les lois physiques qui régissent le système modélisé. Cela ouvre la voie à des prédictions précises même avec des données limitées. Avec l’utilité prouvée et les excellents résultats des méthodes d’apprentissage automatique, nous nous sommes joints à l’effort d’IA pour faire progresser les géosciences.
Survol du projet
Nous travaillons actuellement sur une méthode d’apprentissage automatique relativement nouvelle appelée réseaux de neurones par graphes (RNG). Le modèle RNG a été développé pour la première fois par Scarselli et al. [12], et plus tard appelé apprentissage profond géométrique par Bronstein et al. [13]. En bref, les RNG utilisent des techniques de réseaux neuronaux et les appliquent aux domaines des graphes. Un graphe contient deux composantes, des nœuds et des arêtes ; les arêtes relient les nœuds dans un graphe. Il est plus simple d’imaginer un graphe dans le contexte des médias sociaux. Par exemple, sur Facebook, nous avons un ensemble d’amis dans notre réseau; ceux-ci sont représentés par des nœuds et, s’ils se connaissent, ils sont connectés par une arête. Nous appliquons cette idée de graphe à l’hydrogéologie. Nous utilisons un RNG couplé à un réseau LSTM (long short-term memory, qui est un type de réseau récurrent développé pour les données de séries temporelles longues) [14], pour prévoir les variations spatiotemporelles du niveau des eaux souterraines dans les puits de surveillance et de pompage. Nous avons utilisé les puits comme nœuds et les arêtes ont été construites en fonction de la connectivité spatiale des puits. Les puits dans une même couche aquifère sont ainsi connectés, et une arête relie ces nœuds. Les RNG sont beaucoup plus flexibles que les autres réseaux neuronaux, en raison de leur capacité à fonctionner sur des jeux de données non structurées. En revanche, les RNC se sont avérés utiles pour travailler avec des jeux de données structurées telles que des images comportant des pixels parfaitement alignés. Cependant, les RNC ne peuvent être employés avec les structures de graphes non-structurés, en raison de la méthode de glissement du filtre de convolution qu’ils emploient. La flexibilité des RNG est non négligeable. En fait, les RNG ont attiré l’attention des chercheurs de Google DeepMind qui ont récemment utilisé les RNG pour construire un modèle de prévisions des événements météorologiques extrêmes mondiaux qui a surpassé les modèles traditionnels [15].
Résultats et contributions
À notre humble manière, nous contribuons au domaine des géosciences, en particulier dans le domaine de l’hydrogéologie. Jusqu’à présent, nous avons développé un cadre RNG qui peut être couplé à des modèles numériques pour faciliter les dépenses informatiques et la complexité de la prévision dans ces modèles numériques. Ce cadre utilise des données simulées provenant de puits de surveillance et de pompage pour prévoir les variations des niveaux spatiotemporels des eaux souterraines avec des taux de pompage variables. Nos résultats sont prometteurs, et ce cadre donne l’espoir que les modèles physiques ne soient pas la seule solution pour modéliser les problèmes hydrogéologiques complexes. Ce cadre est suffisamment flexible pour que les données de puits mesurées sur le terrain puissent être utilisées pour entraîner notre modèle RNG pour la prévision des variations des niveaux des eaux souterraines. Avec les résultats prometteurs de notre premier cadre RNG, nous sommes en développement d’un deuxième cadre RNG plus flexible. Nous espérons que le deuxième cadre pourra prévoir les variations spatiotemporelles des niveaux des eaux souterraines avec la capacité d’ajouter et de retirer des puits de notre système. Ces cadres développés serviront d’outils pour les gestionnaires des ressources naturelles afin de prendre des décisions éclairées basées sur les données. Nous espérons également que les scientifiques pourront s’appuyer sur nos cadres pour développer des modèles plus performants afin d’approfondir la recherche et la compréhension des géosciences.
Références:
1. Dramsch, J.S., 70 years of machine learning in geoscience in review. 2020, © 2020 Jesper Sören Dramsch. p. 1-55.
2. Krige, D.G., A statistical approach to some basic mine valuation problems on the Witwatersrand. Journal of the Southern African Institute of Mining and Metallurgy, 1951. 52(6): p. 119-139.
3. Preston, F.W. and J. Henderson, Fourier series characterization of cyclic sediments for stratigraphic correlation. 1964: Kansas Geological Survey.
4. Krumbein, W.C. and M.F. Dacey, Markov chains and embedded Markov chains in geology. Journal of the International Association for Mathematical Geology, 1969. 1(1): p. 79-96.
5. Newendorp, P.D., Decision analysis for petroleum exploration. 1976.
6. Ho, T.K. Random decision forests. in Proceedings of 3rd International Conference on Document Analysis and Recognition. 1995.
7. Cortes, C. and V. Vapnik, Support-vector networks. Machine learning, 1995. 20(3): p. 273-297.
8. Watkins, C.J.C.H., Learning from delayed rewards. 1989.
9. LeCun, Y. and Y. Bengio, Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, 1995. 3361(10): p. 1995.
10. Hopfield, J.J., Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences, 1982. 79(8): p. 2554-2558.
11. Raissi, M., P. Perdikaris, and G.E. Karniadakis, Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 2019. 378: p. 686-707.
12. Scarselli, F., et al., The graph neural network model. IEEE transactions on neural networks, 2008. 20(1): p. 61-80.
13. Bronstein, M.M., et al., Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine, 2017. 34(4): p. 18-42.
14. Hochreiter, S. and J. Schmidhuber, Long Short-Term Memory. Neural Computation, 1997. 9(8): p. 1735-1780.
15. Lam, R., et al., GraphCast: Learning skillful medium-range global weather forecasting. arXiv preprint arXiv:2212.12794, 2022.
