Convergence HPC & Intelligence Artificielle

Organisé par : CC-FR & Inria
Langue : Français
Format : En ligne
Tarif : Gratuit

Présentation

Ce cours explore les activités situées à la convergence du calcul haute performance (HPC) et de l’intelligence artificielle (IA).
Il propose une vision complète des synergies entre HPC et IA, à travers quatre volets complémentaires : l’utilisation du HPC pour l’IA, l’analyse in situ des données de simulation, l’intégration de réseaux de neurones dans la simulation numérique, et l’emploi de l’IA pour l’optimisation des systèmes HPC.

Public visé

• Ingénieurs et chercheurs en simulation numérique
• Data scientists travaillant sur des volumes massifs de données
• Architectes et responsables de plateformes HPC / Edge / Cloud
• Développeurs impliqués dans l’entraînement ou l’inférence de grands modèles d’IA

Objectifs pédagogiques

À l’issue de ce module, les participants seront capables de :

• Comprendre les besoins massifs en calcul liés au training et à l’inférence des grands modèles d’IA
• Expliquer les principes et limites de l’analyse post hoc, in situ, in-line et in transit
• Identifier et positionner les outils comme ADIOS2 ou Damaris dans un workflow HPC–IA
• Comprendre l’usage de réseaux de neurones pour accélérer ou remplacer des composantes des simulations numériques
• Appliquer l’IA pour l’allocation de ressources, l’optimisation de code et l’ordonnancement HPC

Programme

Partie 1 : HPC pour l’IA – Olivier Beaumont

• Introduction générale
• Training : stratégies parallèles (data, pipeline, tensor, sequence) et analyse coûts communication / mémoire
• Inference : prefill, decode, batching

Partie 2 : Analyse de données In Situ – Gabriel Antoniu

• Contexte : explosion des volumes de données HPC et limites du post hoc
• Concepts clés : post hoc, in situ, in-line, in transit
• Panorama de solutions logicielles : ADIOS2, Damaris, outils de visualisation et IA
• Cas d’usage : applications CFD / physique numérique

Partie 3 : Utilisation de l’apprentissage dans la simulation numérique – Bruno Raffin

• Apprentissage de deep surrogates et réseaux neuronaux (PINNs, U-net, FNO, PDE-Transformers, réseaux de diffusion)
• Modes d’apprentissage : hors ligne / en ligne
• Couplage solveurs classiques et réseaux neuronaux : super-résolution, solveurs différentiables, problèmes inverses

Partie 4 : IA pour l’allocation de ressources, l’ordonnancement et la programmation – Emmanuelle Saillard

• Bases en compilation : LLVM, représentation intermédiaire (IR2VEC)
• Détection et optimisation de code parallèle via modèles IA
• Approches d’embedding pour analyser et guider le code HPC

Format

• Cours en ligne, interactif
• Module niveau 1 / état de l’art
• Accès gratuit

Vos formateurs

Olivier Beaumont est Directeur de Recherche à l’Inria depuis 2008. Son domaine de recherche, initialement centré sur l’optimisation combinatoire (ordonnancement, équilibrage de charge) et l’algèbre linéaire haute performance s’est fortement réorienté vers l’apprentissage haute performance depuis 2017. Il est actuellement responsable de l’équipe projet Topal (qui s’intéresse à la conception d’outils efficaces pour le HPC en Algèbre linéaire et en Apprentissage) et du défi Cupseli avec HiveNet (qui s’intéresse en particulier à l’apprentissage et l’inférence sur des ressources hétérogènes, volatiles et distribuées). Il a été entre 2010 et 2017 Délégué Scientifique du centre Inria Bordeaux Sud-Ouest. Il est Editeur Associé en Chef du Journal of Parallel and Distributed Algorithms (JPDC, Elsevier) depuis 2019 et a été Track Chair des principales conférences du domaine du HPC (SuperComputing, IPDPS, ICPP, EuroPar, HiPC, SBAC-PAD,…).

Gabriel Antoniu est directeur de recherche à Inria et responsable de l’équipe-projet KerData au centre Inria de l’Université de Rennes. Ses travaux portent sur la gestion de données et le calcul haute performance, en particulier sur les E/S à grande échelle, les workflows de données pour les simulations scientifiques et l’intégration de l’IA sur le continuum Edge–Cloud–HPC. Il coordonne le projet national Exa-DoST du PEPR NumPEx qui aborde des défis liés à l’analyse in situ et de la convergence HPC–IA.

Bruno Raffin est directeur de recherche à l’INRIA et responsable de l’équipe DataMove. Il a dirigé des recherches sur les applications parallèles à grande échelle orientées flux de données pour la visualisation scientifique, le pilotage computationnel, l’analyse de données in situ, l’analyse de sensibilité basée sur des ensembles, l’assimilation de données, avec aujourd’hui un accent particulier sur l’IA pour la science et l’apprentissage profond par substitution.

Emmanuelle Saillard est chargée de recherche au centre Inria de l’Université de Bordeaux dans l’équipe-projet Storm. Ses travaux de recherche s’orientent autour du HPC (calcul haute performance), et plus particulièrement sur le développement d’outils permettant d’aider les personnes qui créent des applications à les écrire de manière correcte et efficace.