Papa, dessine moi un mouton 🐑 !
Vincent Ogloblinsky - @vogloblinsky
Vincent Ogloblinsky
Compodoc maintainer
Architecte logiciel web / Référent Open-Source
Indie hacker on personal side-projects
Devlog
Développement d'un jeu multijoueurs
Disclaimer
La suite n'est qu'une vision "technique" du point de vue d'un développeur.
Je n'ai pas une formation de data-scientist. 😉
Certains sujets ne sont pas traités.
Agenda
1.
AI image generation - Késako ?
2.
Sous le capot
3.
Et l'open-source dans tout ça
4.
Produits B2B & B2C
5.
Impacts business & sociaux
6.
Perspectives
AI image generation - Késako ?
AI image generation - Késako ?
L'art créé par intelligence artificielle est toute œuvre d'art créée par une personne avec l'interventionnisme d'une intelligence artificielle.
1973 - AARON par Harold Cohen
2014 - GANs (Generative Adversarial Networks)
2015 - DeepDream / Google
2021 - DALL-E / Open AI, etc
2009 - Imagenet dataset avec 14 millions d'images annotées
AI image generation - Késako ?
AI image generation - Késako ?
Sous le capot
Sous le capot
L'idée simple et magique : à partir d'un texte, obtenir une image
a skateboarder doing a trick in the air, skatepark in the background, wide angle, ultra photoreal, photography style, 85mm bookeh detailed, high resolution...
Boîte noire
Sous le capot
Sous le capot
Mots encodés en vecteurs : relations entre ces mots
Sous le capot - Text encoder
Text encoding
Choix du modèle très important
Stable diffusion utilise OpenClip ( GPT based model - 354M paramètres)
Modèle entrainé sur plus de 400 millions d'images annotées
Sous le capot - Text encoder
Training simplifié - image et légende sont encodées
Sous le capot - Text encoder
Training simplifié - Comparaison
Sous le capot - Text encoder
Training simplifié - Renforcement
Sous le capot
Sous le capot - Image generator
Modèles génératifs
Sous le capot - Image generator
Modèles de diffusion
Sous le capot - Image generator
Modèles de diffusion : entraîner à enlever du bruit sur une image
Sous le capot - Image generator
Modèle de diffusion
Sous le capot - Image generator
Création du dataset
Sous le capot - Image generator
Création du dataset
Sous le capot - Image generator
Création du dataset
Sous le capot - Image generator
Entrainement du modèle de diffusion (forward diffusion)
Sous le capot - Image generator
Création d'une image (reverse diffusion)
Sous le capot - Image generator
Création d'une image (reverse diffusion)
Aucun contrôle sur l'image produite
Sous le capot - Image generator
Création d'une image avec contrôle
Aucun contrôle sur l'image produite
Sous le capot - Image generator
Mise à jour du dataset avec les légendes tokenisées
Aucun contrôle sur l'image produite
Sous le capot - Image generator
Aucun contrôle sur l'image produite
Sous le capot - Image generator
Aucun contrôle sur l'image produite
Extensions : ControlNet
Aucun contrôle sur l'image produite
En plus d'un contrôle textuel, la génération d'image peut être guidée
Extensions : ControlNet
Aucun contrôle sur l'image produite
"Les bons artistes copient, les grands artistes volent..." - Steve Jobs 1984
Et l'open-source dans tout ça
Et l'open-source dans tout ça
Beaucoup de modèles OSS :
- Stable Diffusion (+ Dreambooth)
- Craiyon
- modèles Hugging Face
Et l'open-source dans tout ça
Beaucoup de dérivés de Stable Diffusion (training custom)
https://dataconomy.com/2023/08/28/best-stable-diffusion-models-how-to-use/
Modèles fermés
DALL-E 3 - OpenAI
Et plus encore ...
Produits B2B & B2C
Produits B2B & B2C
Produits B2B & B2C
Paint !!!
Windows 11 22H2 Update
Produits B2B & B2C
Produits B2B & B2C
Produits B2B & B2C
Projet artistique
Projet artistique
Cet appareil photo IA vous déshabille en quelques secondes
Impacts business & sociaux
Impacts business & sociaux
Industrie de l'information :
- fake news
- photo d'illustration en DR
Gros problème de confiance et à la fois d'évangélisation du public
Impacts business & sociaux
Industrie du jeu vidéo :
- hyperscaling - creation d'assets ou texturing - 3D models
- évolution de certains métiers et processus créatif
Impacts business & sociaux
Industrie de la photo de masse :
- plateformes l'intègre mais ne sont qu'intermédiaires
- mais à terme ce sont les créateurs qui pourraient en patire
Impacts business & sociaux
Industrie publicitaire :
- problème de confiance
Impacts business & sociaux
Réseaux sociaux :
Deep fakes
Porn revenge
Problèmes actuels amplifiés (dépression, anxiété, narcissisme, comportements anti-socials)
Impacts business & sociaux
Perspectives
Perspectives
Big bubble ?
NFT (& Web3 ?) are dead
Perspectives
Perspectives
Les IAs générative sont des accélérateurs ouvrant des opportunités encore jamais atteintes à cause de contraintes technologiques.
Ça bouscule pas mal d'industrie qui généralement doivent s'adapter avec hélas pertes et fracas.
Certains métiers se ré-inventent, d'autres disparaissent, et d'autres apparaissent.
Les métiers créatifs resteront pré-dominants : les IAs doivent être entrainées ou renforcées par de nouvelles données.
Perspectives
Outils puissants disponibles pour le grand public.
Un processus créatif reste un processus créatif : le meilleur prompt engineer du monde ne sera jamais meilleur qu'un photographe avec un vrai style et une vraie "patte".
Aucune AI ne remplacera l'authenticité et les expériences réelles.
Ressources
Ressources
Ressources
Ressources
Ressources
Merci pour votre attention !
Des questions ?
Slides : https://bit.ly/48rOF3j
Crédit photos - Unsplash.com
Un feedback ? 👉🏻 C'est par ici
Papa, dessine moi un mouton 🐑 !
By Vincent Ogloblinsky
Papa, dessine moi un mouton 🐑 !
Les IA génératives d'images font le buzz depuis plusieurs mois, elles fascinent autant qu’elles inquiètent. N’importe quel internaute est maintenant capable de générer des images extrêmement complexes en quelques secondes. Au-delà du bouleversement des milieux créatifs et des implications politico-sociétales, l'envers du décor est tout aussi intéressant pour nous les curieux développeurs. Je vous propose un voyage dans les profondeurs de ces modèles de diffusion, entre encodeurs, datasets et réseaux de neurones. En sortant de ce talk, vous ne regarderez plus une photo de cowboy à dos de T-Rex 🦖 de la même manière 😉
