Initiatition à l'IA générative
Nicolas Rochet
2025
Activité participative
Quels mots vous évoquent l'Intelligence Artificielle ?
Connectez vous pour participer :
https://app.wooclap.com/NXYAET
IA générative
Ne vous servez pas de l'IA comme un bouton !
L'IA n'est pas un bouton
Une définition ?
L'étude et le design d'agents intelligents
Meilleure
que le hasard
Autant qu'un humain
Performances
Programmes
4 définitions
'Agir' comme un humain
'Agir' rationnellement
'Réfléchir' rationnellement
'Réfléchir' comme un humain
The automation of activities that we associate with human thinking, activities such as decision making, problem sloving, learning, ...
Bellmann, 1978
The art of creating machines that perform functions that require intelligence when performed by people.
Kurzweil 1990
Computationnal Intelligence is the study of the design of intelligents agents .
Poole et al. 1998
The study of mental faculties through the use of computationnal models
Charniak & Mc Dermott, 1985
Une définition simplifiée
Ensemble de théories et techniques qui confèrent à des machines la capacité d'accomplir des tâches attribuées aux être intelligents
Disciplines de l'IA
Une brève histoire de l'IA
50-56
>2011
93-2011
87-93
80-87
74-80
56-74
Naissance
de l'IA
1er hiver
L'age d'or
2e age d'or
2e hiver
maturité
discrète
Essor du
Deep Learning
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
MACHINE
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
HUMAIN
Autoportrait par Rembrandt
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
MACHINE
IA de microsoft
projet The Next Rembrandt
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
MACHINE
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
HUMAIN
Allen Ginsberg
That tree said
I don't like that white car under me,
it smells gasoline
That other tree next to it said
O you're always complaining
you're a neurotic
you can see by the way you're bent over
Source: http://botpoet.com/
'Blind test' de Turing
Ces créations sont elles dues à un humain ou une machine ?
MACHINE
Généré par Racter
A crow is a bird, an eagle is a bird, a dove is a bird.
They all fly in the night and in the day. They fly when the sky is red and when the heaven is blue. They fly through the atmosphere. We cannot fly. We are not like a crow or an eagle or a dove.
We are not birds. But we can dream about them. You can.
Source: http://botpoet.com/
Quelques domaines d'applications
Traitement de
l'image et du son
Traitement
du
langage naturel
Systèmes de
recommandation
Systèmes
prédictifs
Aide à la
décision
Robotique
Optimisation
& planification
Systèmes
de
recommandations
Produits / Services
Contenu
Personnes
Parcours
Evénements
...
Systèmes
prédicifs
Données
catégorielles
Données
spatio-temporelles
Météo
Pollution
...
Trafic
Age
Sexe
Données
physiologiques
Molécules
Données
avec des caractéristiques
Pannes
Aide à la
décision
Aide au
diagnostic
Détection
d'anomalie
Maintenance prédictive
Segmentation profils
Matching
Identifier des tendances
...
Flotte de véhicules
Optimisation & planification
Jeux
Poker
Echecs
Go
Shogi
Dota 2
Starcraft 2
Chaîne de
montage
Gestion de ressources
Matériel
Humains
Supply chain
Optimisation et planification
AlphaZero de DeepMind
OpenAI Bot pour Dota 2
Traitement de
l'image et du son
Description
d'une scène visuelle
Identification des objets
d'une scène visuelle
Colorisation d'images
Détection de pose
Transfert de style
Synthèse de sons
Capture de mouvements
Amélioration de photos
...
Reconnaître et décrire une scène visuelle
Identification des objets
d'une scène visuelle
Description
d'une scène visuelle
colorisation
Modifier une image/vidéo
Corriger des anomalies dans l'image
Image & video in painting
...
super resolution
améliorer la résolution d'une image (super resolution)
transfert de style (2015)
Modifier le style dans une image/vidéo
transfert de style vidéo et sur les simulation (2019)
Modifier une image/vidéo
... avec des intentions très discutables
Appliquer une perturbation à l'image pour la manipuler
... voire potentiellement dangereuses
Le trucage par les "deep fake"
ces mêmes méthodes peuvent aussi détecter les deep fake
Retouche & modification d'images
Retouches d'images avec Open AI Glide
Edition paramétrable de photos avec StyleFlow
Générer de l'image
Design génératif (Dream Catcher)
Générer des visages
(NVIDIA face generator)
dessin d'images réalistes
Dessiner une image réaliste à partir d'une ébauche
... et de videos
Changer l'exposition lumineuse d'une vidéo
(Google AI)
Edition de vidéos
Capture de poses et mouvements
Motion capture - Radical
Motion capture dans les vidéos
simulations réalistes deformables
Déformer des simulations en temps réel
génerer des environnements virtuels
Générer du son
... ou copier une voix !
Copier une voix à partir de 5 sec d'enregistrement !
Génération de vidéo
... aux modèles multimodaux
Multimodal input-out put models
Audio
Image
Video
Text
Input
Audio
Image
Video
Text
Output
Mod_les
Traitement
du
langage naturel
Synthèse vocale
Reconnaissance
du locuteur
Résumé
Traduction
Sous titrage
Synthèse de texte
Agents conversationnels
...
Reconnaissance
vocale
Analyse sémantique
Ecrire des ouvrages
Générer de la voix
synthèse vocale multi langue
Modèles de langages généralisés
Nouveaux modèles très "gros" basés sur le mécanisme d'attention (post 2018)
Capables d'effectuer plusieurs tâches avec de relatives bonnes performances :
réponse aux questions
résumé
génération de texte
traduction
...
... encore des questions éthiques
Des questions éthiques se posent concernant
Les biais dans les données
Les biais dans les modèles (entrainement, évaluation)
...
2017
2020
2019
2018
CoVE
BERT
ELMo
T5
Modèles de langages généralisés
CVT
ULMFiT
GPT
CamenBERT
FlauBERT
ALBERT
RoBERTa
GPT-3
ELECTRA
XLNet
BART
GPT-4
Bard
> 2023
...
LLama 3
Les IA génératives
Depuis quelques années les progrès de la recherche ont abouti à des IA capable de générer des données réalistes
Vers des capacités multi-taches
"Raisonnement"
Traduction
Résoudre des problèmes mathématiques
Des images
vidéos
dessins
illustrations
photo realistes
paysages
portraits
...
Du texte
Code
paragraphes
questions / réponses
Listes
résumés
...
Des sons
voix
musique
...
Les Large Language Models (LLM)
Résumer du texte
Répondre à des questions
Robotique
Robot Nao
Robot simulateur de patient Pediatric HAL
Robotique
Robot chirurgien
Shademan et al., 2016
Robots kiva
Quelques domaines métiers
INDUSTRIE
FINANCE
COMMERCE
MEDECINE
ARTISTIQUE
MEDIA
TRANSPORT
...
Maintenance
prédictive
Robots
Gestion de flux
Scoring de crédit
Détection de fraude
Trading automatique
Marketing prédictif
Analyse de sentiment
Découverte de traitements
Prédictions de succès ou récidive
Anticipation de pannes
Robots cuisiniers
Robots
Design génératif
Synthèse de sons
Synthèse d'image
Gestion de ressources
Aide au diagnostic
Véhicules autonomes
Résumé automatique
Ecriture automatique
Recommandation de produits
Recommandation de
contenus
légendage
La prédominance du
Deep Learning
Deep learning
IA
\subset
\neq
Le succès du deep learning
3 raisons principales
L'essor des méga données ou Big Data
L'augmentation de la puissance de calcul des ordinateurs
Les progrès récents de la recherche
... et ses défauts
Repose souvent sur de l'apprentissage supervisé
Nécessite souvent beaucoup de données
Zoom sur les IAs génératives
IAs génératives ?
Depuis quelques années les progrès de la recherche ont abouti à des IAs capables de générer des données réalistes
Des images
vidéos
dessins
illustrations
photo realistes
...
Du texte
Code
paragraphes
questions / réponses
Listes
résumés
...
Les Large Language Models (LLM)
Des sons
voix
musique
...
De très gros réseaux de neurones
Entrainés très longuement sur des jeux de données gigantesques ...
... à prédire chaque prochain token d'un texte
Le réseau apprend des représentations complexes (embeding)
Exemple simplifié de la génération de texte
Conception & Entraînement
"L'apprentissage automatique est une branche de l'IA
Bonnes capacités de généralisation
Le réseau entrainé a appris des représentations généralisables
Exemple simplifié de la génération de texte
Inférence
Génération de texte token par token
Ré-entrainement sur des données spécifiques
Sélectionner un ensemble de documents à donner en contexte
fine tuning
En tant qu'expert de la data science programmant en python ...
contexte : prompt
Retrieval Augmented Generation
+
IAs génératives de texte
Les plus connues (mais non les seules)
IAs génératives de texte
Les modèles de fondation ouverts (les plus connus)
Falcon
Claude
Llama 3
Large Langage Model Meta AI
IAs génératives d'images
Leurs capacités
Inpainting
Outpainting
Image-to-image
Prompt-to-image
Modifier l'intérieur d'une image
Etendre l'extérieur d'une image
Générer un image à partir d'une image
Générer un image à partir d'une instruction textuelle
IAs génératives d'images
DALL-E
Stable diffusion
MidJourney
Groupe CompViz
Les plus connues
IAs génératives d'images
IA génératives de sons
Exemple : Stable audio
Générer du son à partir d'une instruction texte (prompt)
A tour of some tools for Machine Learning
Plateforms & comunities
Code frameworks
To build & deploy AI models
Classical
Machine Learning
Deep learning
Large Langage Models (LLM)
SaaS
A sample of solutions
...
...
Generative AI
Solutions + calcul providers
No-Code
Sovereign AI
...
...
To be called with an API
With a Graphical User Interface (GUI)
Demos
Pre-trained models & notebooks code
Using Spaces to build a prototype
Generate Music
Segment object and video
Perspectives
"Raisonnement"
Traduction
Résoudre des problèmes mathématiques
Résumer du texte
Répondre à des questions
Vers des IAs aux capacités multi-tâches
Conduire un véhicule
Analyse de sentiments
... mais pas autant que dans l'imaginaire
Les progrès de ses dernières années en IA sont impressionnants !
MAIS on est encore loin d'une Intelligence Artificielle Générale ou d'une Intelligence humaine
Extrait du film
Ex Machina
Extrait du film Her
Impacts et enjeux de l'IA
Société
Organisations
Individus
Nuisance écologique
Suppression d'emplois
Induire ou renforcer des inégalités
Invasion de la
vie privée
risques
progrès
Faible prise de conscience
Risque de
dépendance technologique
Amélioration des
conditions de travail
Amélioration du niveau de vie
Assistance de l'humain
Résoudre des problèmes systémiques
Accompagner les progrès de la science
Considérations éthiques
Nécessité d'encadrer l'IA par de l'éthique
Impact environnemental croissant des IAs
Biais des données et modèles
Initiation à l'IA générative
By Nicolas Rochet
Initiation à l'IA générative
Découverte de l'IA à l'ère du deep learning
