AR 13 - lancement

Usage du Calcul Haute Performances en Géomatique

Paul Chapron

Etienne Delay

Jean-Baptiste Féret

Sébastien Rey-Coyrehourcq

(Laboratoire LASTIG Univ. Gustave Eiffel, ENSG-IGN),

(CIRAD UMR Sens),

(UMR TETIS, INRAE),

(UMR IDEES)

*

Juste Raimbault

(Laboratoire LASTIG Univ. Gustave Eiffel, ENSG-IGN),

*

Les porteurs

Quelques informations sur les porteurs ?

Réseaux
- Réseau MAPS (simulation multi-agent)
- Réseau MISS-ABMS
- Contributeurs OpenMOLE
- Pôle foncier
- Association ComMod (modélisation d'accompagnement)

Hobby
- co-construction de modèle SMA (Modélisation spatiale)
- relecture du monde à travers la théorie de l'acheteur réseau
- opérationnalisation de l'approche par les communs

Réseaux :
- Contributeurs OpenMOLE
- geotamtam de temps en temps

Hobby:
- les mesures                  - les visus de données

Hobby:
- analyse d'images optiques de télédétection (séries temporelles multispectrales & imagerie hyperspectrales)

- modélisation du transfert radiatif (1D et 3D) & inversion de modèles

- cartographie de variables biophysiques de la végétation

- cartographie d'indicateurs de biodiversité des forets

Réseaux :

- Réseau MAPS (simulation multi-agent)
- Contributeurs OpenMOLE
- GT "Données de la recherche" Comue Normandie
- Réseau métier Bap E "Sydre" Normandie
- GT interdisciplinaire sur les Notebooks
- Cist / Rzine

Hobby  :
- Simulation SMA
- WebScraping
- Reproductibilité
- Epistémo Info/HPC

Juste Raimbault

Etienne Delay

Jean-Baptiste Féret

Sébastien Rey-Coyrehourcq

Paul Chapron

Réseaux :
- ISC-PIF/contributeurs OpenMOLE / SCIC Trempoline
- GISRUK / DAFNI / CASA - IGP (UCL)

Hobby:
- systèmes urbains/co-évolution     - forme urbaine

- validation des modèles de simulation spatiaux

Qu'est ce que le HPC ?

"High Performance Computing" ou
"Calcul Haute Performances"

High-Performance Computing (HPC) refers to any form of computing where the density of processing or the size of the problems addressed require more than a standard or commodity computing system in order to achieve the expected result under the given constraints, and the application of advanced techniques such as the use of multiple processors (tens, hundreds, thousands or even more) connected together by some kind of network to achieve a performance well above that of a single processor.

Both projects began in 1993, with significant systems deployed in 1994,
and both had strong impact on the community, essentially defining the
range of capabilities and techniques to be incorporated to this day.

https://www.etp4hpc.eu/

Qu'est ce que le HPC ?

"High Performance Computing" ou
"Calcul Haute Performances"

The term “HPC” is very easy : it stands for high-performance
computing (or “computer” depending on context), but the definition of what is “high-performance” is vague, relative and almost constantly changing as hardware continues to improve.

 

It is a characteristic feature that today’s workstations now offer levels of performance (or better) than only three-five years ago required extremely expensive HPC hardware in the form of vector supercomputers.

OpenShaw & Turton 2000

High performance computing and the art of parallel programming : an introduction for geographers, social scientists, and engineers

Qu'est ce que le HPC ?

1957 - Elliot 405

2017 - RPI zéro

~ 5 $

~ 85,000 £

~ 3/6 tonnes

9 grammes

Le HPC et la géographie ?

[Rey-Coyrehourcq 2015]

P880 / 1970

CCSC 1968

Maison de la géo.

ex. RA CNRS 1972

- 15% SHS

- 3.25% de 2500H

Unité LISH - Paris / 1975

Une vieille histoire ...

1970's - 1990's

CURRI 1994

Montpellier

Paris

Strasbourg

IGA

Grenoble

CICG 1972

Calculateurs 

Géographes

Connections

Déplacements

(calculs & simulation)

Rouen

Le HPC en géomatique ?

simulation

NLP / TAL

teledetection

geoviz

3D

...

...

...

Le HPC en géomatique ?

Une première sortie au delà de l'entrée "simulation" ?

- Large ancrage historique :

- Communautée structurée autour des "Système Complexe"

simulation

- Réseaux (Maps, etc.) et outils existants (OpenMOLE, etc.)

• Marble, Pitts, Hagerstrand (1970's) ;
• OpenShaw, Batty, Pumain, etc. (1980's - 1990's)

- Enjeux déjà bien identifiés

Le HPC en géomatique ?

Une première "escapade" hors de la "simulation"

Comité d'orientation pour le calcul intensif (Cocin 2012)

Centre nationaux IDRISS / CINES / etc.

Rapport d'activités de la GENCI (pilotage FR / PRACE Européen)

Meso-Centre régionaux : Equip@Meso / MesoNet

TGIR Humanum

Bilan (wip) : Absence ou présence marginale des SHS et de la géo dans l'environnement HPC (hors GPU)

Discussions :

JCAD 2019 - table ronde SHS / HPC

Atelier Genci 2019 - Rencontre SHS

Ressources :

Laboratoire de quantitative avec simulation (mais pas que ...)

https://jcad2019.sciencesconf.org/

https://slides.com/sebastienreycoyrehourcq/jcad2019

https://www.bis-sorbonne.fr/biu/spip.php?rubrique392

https://slides.com/sebastienreycoyrehourcq/calcul-shs-paris

Le HPC, les enjeux ?

Méthodologiques

Ecologie

Réflexivité

Structurels

formations

infrastructures (accès, diversités)

réseaux

histoire

épistémologie

veille

formations

inventorier

transmettre

innover

partager

situer

OpenMOLE : exploration et validation des modèles de simulation

https://openmole.org

Enjeux méthodologiques

Illustration : problèmes méthodologiques ouverts pour la validation des modèles de simulation (spatiaux), en cours de développement dans la communauté OpenMOLE

• Equifinalité / multi-modélisation / model benchmark / couplage de modèles

         (Cottineau et al., 2015); (Raimbault, Pumain, Denis, 2021)

• Nouvelles heuristiques : problèmes inverses (R. Reuillon), espace faisable / approches bayesiennes (R. Reuillon et J. Perret)

• Analyse de sensibilité spatiale / données synthétiques

          (Raimbault et al., 2019)

Analyse de sensibilité spatiale

Variabilité des sorties de modèles en fonction de la configuration spatiale

Raimbault, J., Cottineau, C., Le Texier, M., Le Néchet, F., & Reuillon, R. (2019). Space Matters: Extending Sensitivity Analysis to Initial Spatial Conditions in Geosimulation Models. Journal of Artificial Societies & Social Simulation, 22(4).

Raimbault, J., Perret, J., & Reuillon, R. (2020). A scala library for spatial sensitivity analysis. GISRUK 2020 Proceedings.

Génération de données synthétiques

Contrôle du rôle de l'espace par l'application sur configuration territoriales synthétiques

MAGIS et HPC // OpenMOLE

Action de recherche

Objectifs

Moyens

Dresser un paysage/inventaire au niveau national

Enquête(s) interne besoins MAGIS

Webinaires

Faire connaitre et promouvoir le HPC

Rédaction d'un "Position Paper"

Ateliers

Présence dans la communauté "Calcul" nationale & européenne

Identifier et valoriser les enjeux présent / à venir

Fédérer et animer une communauté de pratiques

NewsLetter

Enquête(s) nationale auprès des ressources

(GIS FranceGrille , groupe Calcul => JCAD )

Action de recherche

Feuille de route (Work in Progress ...)

Action de recherche

Budget & modalités (Work in Progress)

• 2 journées de travail minimum / an
• participation hybride sagéo 2023

1ère edition :
1 juillet 2022 / Paris

AR 13 - 2022

Usage du Calcul Haute Performances en Géomatique

Paul Chapron

Etienne Delay

Jean-Baptiste Féret

Sébastien Rey-Coyrehourcq

(Laboratoire LASTIG Univ. Gustave Eiffel, ENSG-IGN),

(CIRAD UMR Sens),

(UMR TETIS, INRAE),

(UMR IDEES)

*

Juste Raimbault

(Laboratoire LASTIG Univ. Gustave Eiffel, ENSG-IGN),

Action de recherche

Objectifs

Moyens

Dresser un paysage/inventaire au niveau national

Enquête(s) interne besoins MAGIS

Webinaires

Faire connaitre et promouvoir le HPC

Rédaction d'un "Position Paper"

Ateliers

Présence dans la communauté "Calcul" nationale & européenne

Identifier et valoriser les enjeux présent / à venir

Fédérer et animer une communauté de pratiques

NewsLetter

Enquête(s) nationale auprès des ressources

(GIS FranceGrille , groupe Calcul => JCAD )

Le HPC, les enjeux ?

Méthodologiques

Ecologie

Réflexivité

Structurels

formations

infrastructures (accès, diversités)

réseaux

histoire

épistémologie

veille

formations

inventorier

transmettre

innover

partager

situer

Action de recherche

Bilan de l'année 2023

=> difficile de réunir les troupes cette année, conjoncturel ? ...

• 1 journée de travail (visio) => Finalisation de l'Enquête
• 54 "questions"
• Test de l'enquête (Lastig + collègues) => 11 réponses

Enquête

(fin de projets ANR, implications autres GT, naissances, etc.)

Action de recherche

Enquête, résultat(s) préliminaire

=> Télédetection, Simulation, Environnement

Mot Clef lié à l'activité

Action de recherche

Enquête, résultat(s) préliminaire

Langages

Ancienneté dans le domaine

Géomatique

min 9, max 20

min 2, max 15

HPC

Action de recherche

Enquête, résultat(s) préliminaire

Fréquence usage du HPC (jours par an)

Volumétrie (4 répondants seulement...) (h/CPU)

min 5, max 100

min 3, max 200000

Action de recherche

Enquête, résultat(s) préliminaire

Applications (types de modèles)

=> Simulation, MachineLearning

Action de recherche

Perspectives 2023 - 2024

• décortiquer et améliorer l'enquête "prototype"
• pour la diffuser plus largement début 2024
• version papier de l'enquête pour JCAD 2023 ?

OU

quelques pistes ...

Action de recherche

Piste 1: Couplage avec des réseaux proches

Piste 2 : Programmation de webinaires/rdvz 2024

• Discussions avec d'autres AR : Télédetection ?

• Couplage réseaux GT HPC <-> GT Notebook (site, vidéo)
  • Ateliers / Interventions
    • Couplages : DASK + Jupyter (HPC sur Notebook)
    • Plateformes : Onyxia (GPU / CPU à la demande)
• Rédaction d'une fiche méthodologique sur RZine.fr

=> Communauté "DataScience" importante, interdisciplinaire, motivé

=> Entrée intéressante pour désacraliser le cout d'entrée HPC !

Piste 3 : Site Web