L'organisme de formation continue du CNRS
Accueil > Deep Learning optimisé sur supercalculateur

Formation - Deep Learning optimisé sur supercalculateur

RESPONSABLE

Bertrand CABOT

Ingénieur de recherche

UAR 851

LIEU

ORSAY (91)

ORGANISATION

28 h
De 3 à 20 stagiaires

MÉTHODES PÉDAGOGIQUES

Alternance de cours (15 h) et de travaux pratiques (13 h)
Tout au long de la formation, des cas pratiques ou exercices corrigés permettront à l'apprenant d'évaluer l'acquisition des compétences.
Les supports de cours sous format PDF seront remis aux participants.

COÛT PÉDAGOGIQUE

2040 Euros

A L'ISSUE DE LA FORMATION

Evaluation de la formation par les stagiaires
Envoi d'une attestation de formation

DATES DES SESSIONS

Les informations indiquées pour cette page sont valables pour la première session à venir.
Avant de s'inscrire à une autre session, téléchargez son programme car des modifications mineures peuvent y avoir été apportées.

25018 : du mardi 14/01/2025 au vendredi 17/01/2025 à ORSAY

25297 : du mardi 11/03/2025 au vendredi 14/03/2025 à ORSAY

25298 : du mardi 24/06/2025 au vendredi 27/06/2025 à ORSAY

2025
Janvier
25018
Février Mars
25297
Avril
Mai Juin
25298
Juillet Août
Sept Oct Nov Déc
OBJECTIFS
-

Acquérir les principales techniques actuelles et en constante évolution, d'optimisation d'un apprentissage machine en Deep Learning avec pour but le passage à l'échelle sur un supercalculateur


-

Connaître les problématiques d'accélération et de distribution sur plusieurs GPU, d'un point de vue système et algorithmique

PUBLICS
Personnes qui maîtrisent les fondamentaux du Deep Learning et qui souhaitent se former aux enjeux du passage à l'échelle. La formation est orientée sur le supercalculateur public Jean Zay hébergé à l'IDRIS. Mais les utilisateurs de tout autre supercalculateur institutionnel ou Cluster de calcul privé, trouveront une expertise adaptée à leur environnement.
Pour mieux connaître vos attentes, nous vous remercions de compléter le questionnaire téléchargeable et de l'envoyer au moment de l'inscription.
PRÉREQUIS
Maîtriser Python et les notions de l'apprentissage en Deep Learning, et avoir des bases en Pytorch.
PROGRAMME
1er jour
- Présentation de la formation et du supercalculateur Jean Zay
- Les enjeux de la montée à l'échelle, l'accélération GPU et la précision mixte
- L'optimisation des formats de tenseur (Channels Last Memory Format)
- Profilage de code PyTorch

2ème jour
- Optimisation du prétraitement des données sur CPU (DataLoader)
- Entraînement distribué : notions générales et parallélisme de données
- Le stockage et le format des données d'entrée (webdataset)

3ème jour
- Compilation JIT et torchDynamo
- Entraînement Large Batches (Learning Rate Scheduler, optimiseurs Large Batches...)
- Les techniques d'optimisation de recherche des hyperparamètres

4ème jour
- Outils de visualisation des résultats
- Les techniques de Data Parallelism avancées (FSDP, ZeRO) pour les gros modèles
- Les parallélismes de modèle et les API pour les parallélismes de modèle
- Les bonnes pratiques
EQUIPEMENT
Supercalculateur Jean Zay de l'IDRIS ; salle informatique avec mise à disposition d'un ordinateur par stagiaire
INTERVENANTS
B. Cabot, N. Cassereau, K. Guerda et L. Hunout (ingénieurs IDRIS)