L'organisme de formation continue du CNRS
Accueil > Spécialisation des LLM : Fine-tuning et Prompt Engineering

Formation - Spécialisation des LLM : Fine-tuning et Prompt Engineering

Se préinscrire ou s'inscrire à cette formation Télécharger cette fiche
RESPONSABLE

Nathan CASSEREAU

Ingénieur de recherche

UAR 851

LIEU

ORSAY (91)

ORGANISATION

3 jours
6 à 12 stagiaires

MÉTHODES PÉDAGOGIQUES

Alternance de cours et de travaux pratiques
Tout au long de la formation, des exercices corrigés permettront au stagiaire d'évaluer l'acquisition des connaissances.
Les fichiers au format PDF, des Notebooks et les codes seront mis à disposition du stagiaire.

COÛT PÉDAGOGIQUE

2000 Euros

A L'ISSUE DE LA FORMATION

Evaluation de la formation par les stagiaires
Envoi d'une attestation de formation

DATE DU STAGE

Nous consulter

2024
Janvier Février Mars Avril
Mai Juin Juillet Août
Sept Oct Nov Déc
24451
2025
Janvier Février
25025		 Mars Avril
Mai Juin Juillet Août
Sept Oct Nov Déc
NOUVEAU
OBJECTIFS
-

Acquérir les bases théoriques des Transformers (mécanisme d'attention, language modeling...)


-

Connaître les différentes méthodes de Fine-tuning (classique, LoRA...) et de Prompt Engineering (RAG, Chain of Thought...)


-

Savoir mettre en place un environnement d'entraînement et d'optimisation de Large Language Models (LLM) : boucle d'entraînement, évaluation, tracking des résultats, nettoyage des données...


-

Savoir appliquer la théorie dans un cas d'usage précis

PUBLICS
Ingénieur, chercheur, développeur
Prérequis : bases du deep learning acquises et maîtrise de Python. Des bases en pytorch sont recommandées.
PROGRAMME
1er jour
- Théorie des Transformers (mécanisme d'attention, language modeling...)
- Fine-tuning classique
- Evaluations et métriques des Large Language Models (1ère partie)
- Mise en place d'un cadre pour le développement de LLM (mlflow, multi-GPU...)

2ème jour
- Nettoyage des données textuelles (data cleaning)
- Prompt Engineering
- Retrieval Augmented Generation (RAG)
- Parameter-Efficient Fine-tuning (PEFT)
- Optimisation des hyperparamètres des LLM spécialisés

3 ème jour
- Evaluations et métriques des Large Language Models (2ème partie)
- Mise en production (inférence)
- Alignement de LLM (DPO, RLHF...)
- Discussion sur les projets des stagiaires (optionnel)
EQUIPEMENT
Salle informatique avec mise à disposition d'un ordinateur par stagiaire connecté à la machine de cours de l'IDRIS (16 A100). La machine de cours peut être utilisée via un pc personnel. Il est recommandé au stagiaire d'avoir un compte GitHub pour la récupération des ressources.
INTERVENANTS
H. Bourfoune, P. Cornette, N. Cassereau (ingénieurs de recherche, IDRIS) et T. Betton (ingénieur de recherche, IRISA)
FORMATIONS SIMILAIRES
Nous n'avons pas de stage similaire à vous proposer.