Une question ?
Message envoyé. Fermer

Formation - IA Générative - Les modèles de langages massifs (LLMs)

L'avènement des modèles de langages massifs, Large Language Models ou LLMs, tels ChatGPT, constitue une étape clé pour l'IA. Nous ... Voir plus
Instructeur
EUDOXE
13 Étudiants Inscrit
0
0 revue
  • Description
  • Curriculum
  • FAQ
  • Notice
  • Examens
nasa-Q1p7bh3SHj8-unsplash

 

L’avènement des modèles de langages massifs, Large Language Models ou LLMs, tels ChatGPT, constitue une étape clé pour l’IA. Nous sommes au stade où des machines désormais peuvent appréhender une quantité extrême de contenu et d’en développer des formes nouvelles de services aujourd’hui efficients. Pour les entreprises et les organisation il s’agit de se positionner face à ces évolutions majeures en terme de création de valeur. Il devient dès lors nécessaire pour elles d’identifier les cas d’usages couverts par ces technologies, de comprendre leurs éléments et mécanismes d’apprentissage fondateurs, de connaître les différents modèles et offres disponibles aujourd’hui et enfin d’appréhender sereinement la mise en oeuvre des LLMs en leur sein. A travers cette formation, les participants pourront observer et analyser, sur la base d’explications et de démonstrations concrètes, chacune des composantes significatives de ces modèles massifs.

A qui s’adresse cette formation ?

Pour qui

  • Chefs de projets, Data scientists

Prérequis

  • Aucun.
 

Le programme

1 – Introduction

  • Du machine learning à l’IA Générative
  • La spécificité d’un modèle de langage
  • La quête de scalabilité des approches
  • L’avènement des Large Language Models (LLMs)

2 – Cas d’usage

  • Agents conversationnels et assistants virtuels
  • Génération de code et debuggage
  • Analyse de sentiments / opinions
  • Classification de texte et clusterisation
  • Synthèse de texte ou corpus
  • Traduction
  • Génération de contenu
  • Autres cas d’usages significatifs
  • LAB : Proof of concept sur cas concrets

3 – Fondations

  • L’apprentissage profond comme mécanique de base
  • Le pré-apprentissage massif non supervisé
  • Le traitement de larges séquences
  • Le principe d’encodage – décodage
  • Le mécanisme transversal d’attention
  • Le Transformer une architecture fondamentale
  • La recherche de variantes spécifiques
  • Les approches encodeurs simples
  • Les approches décodeurs simples
  • Les modes de réglages fin des modèles
  • Les méthodes a posteriori ou few shot learning
  • Le renforcement des modèles par l’humain
  • Une loi fondamentale d’efficacité des grands modèles
  • LAB : Performance et scalabilité des modèles LLMs

4 – Modèles

  • Panorama général des modélisations
  • Caractéristiques communes des modèles discriminants
  • Les modèles à encodeur simple type BERTs
  • Les approches encodeur-décodeur type T5LAB : Réglage fin d’un modèle discriminant
  • Caractéristiques communes des modèles génératifs
  • Les modèles d’openAI – GPTs
  • L’approche BigScience – BLOOM
  • La collection de modèles de MetaAI – LLaMA
  • Autres modèles clés
  • LAB : Prompt engineering d’un modèle type ChatGPT
  • Grille de choix

5 – Mise en oeuvre

  • Choix service / in house / hybrid
  • In house workflow
  • Service workflow
  • Écosystèmes d’entraînement et d’inférence
  • L’entraînement d’un modèle massif
  • L’étape d’évaluation des modèles
  • Le réglage des hyperparamètres
  • Déploiement d’un modèle
  • Model fine-tuning
  • Prompt engineering
  • MLOps d’un LLMs
  • LAB : Environnement de déploiement d’un LLM

6 – Prospective

  • Impact environnemental et évolution des architectures LLMs
  • Démocratisation graduelle des modèles LLMs
  • Évolution critique des réglementations
  • Problématiques récurrentes de souveraineté

Les objectifs de la formation

  • Comprendre l’utilité des LLM
  • Maîtriser l’usage des LLM et de l’IA générative
  • Développer de nouveaux projets avec l’aide des LLM

Evaluation

  • Cette formation fait l’objet d’une évaluation formative.

Les points forts de la formation

  • Une pédagogie basée sur l’alternance de phases théoriques, d’ateliers de mise en pratique, de retours d’expériences et de séances d’échanges.
  • Le partage de bonnes pratiques de la part de consultants experts en Intelligence Artificielle.
FAQ 1
Faq Content 1
FAQ 2
Faq Content 2

Productivity Hacks to Get More Done in 2018

— 28 February 2017

  1. Facebook News Feed Eradicator (free chrome extension) Stay focused by removing your Facebook newsfeed and replacing it with an inspirational quote. Disable the tool anytime you want to see what friends are up to!
  2. Hide My Inbox (free chrome extension for Gmail) Stay focused by hiding your inbox. Click "show your inbox" at a scheduled time and batch processs everything one go.
  3. Habitica (free mobile + web app) Gamify your to do list. Treat your life like a game and earn gold goins for getting stuff done!


Share
Course details
Durée 2 jours
Conférences 1
Quizz 1
Niveau Intermédiaire

Archive

Working hours

Monday 9:30 am - 6.00 pm
Tuesday 9:30 am - 6.00 pm
Wednesday 9:30 am - 6.00 pm
Thursday 9:30 am - 6.00 pm
Friday 9:30 am - 5.00 pm
Saturday Closed
Sunday Closed
Formation - IA Générative - Les modèles de langages massifs (LLMs)