Papa, dessine moi un mouton 🐑 !

Vincent Ogloblinsky - @vogloblinsky

Vincent Ogloblinsky

Compodoc maintainer

Architecte logiciel web / Référent Open-Source

Indie hacker on personal side-projects

Side projects récents

Disclaimer

La suite n'est qu'une vision "technique" du point de vue d'un développeur.

Je n'ai pas une formation de data-scientist. 😉

Certains sujets ne sont pas traités.

Agenda

1.

AI image generation - Késako ?

2.

Sous le capot

3.

Et l'open-source dans tout ça

4.

Produits B2B & B2C

5.

Impacts business & sociaux

6.

Perspectives

AI image generation - Késako ?

AI image generation - Késako ?

L'art créé par intelligence artificielle est toute œuvre d'art créée par une personne avec l'interventionnisme d'une intelligence artificielle.

1973 - AARON par Harold Cohen

2014 - GANs (Generative Adversarial Networks)

2015 - DeepDream / Google

2021 - DALL-E / Open AI, etc

2009 - Imagenet dataset avec 14 millions d'images annotées

AI image generation - Késako ?

AI image generation - Késako ?

Sous le capot

Sous le capot

L'idée simple et magique : à partir d'un texte, obtenir une image

a skateboarder doing a trick in the air, skatepark in the background, wide angle, ultra photoreal, photography style, 85mm bookeh detailed, high resolution...

Boîte noire

Sous le capot

Sous le capot

Mots encodés en vecteurs : relations entre ces mots

Sous le capot - Text encoder

Text encoding

Choix du modèle très important

Stable diffusion utilise OpenClip ( GPT based model - 354M paramètres)

Modèle entrainé sur plus de 400 millions d'images annotées

Sous le capot - Text encoder

Training simplifié - image et légende sont encodées

Sous le capot - Text encoder

Training simplifié - Comparaison

Sous le capot - Text encoder

Training simplifié - Renforcement

Sous le capot

Sous le capot - Image generator

Modèles génératifs

Sous le capot - Image generator

Modèles de diffusion

Sous le capot - Image generator

Modèles de diffusion : entraîner à enlever du bruit sur une image

Sous le capot - Image generator

Modèle de diffusion

Sous le capot - Image generator

Création du dataset

Sous le capot - Image generator

Création du dataset

Sous le capot - Image generator

Création du dataset

Sous le capot - Image generator

Entrainement du modèle de diffusion (forward diffusion)

Sous le capot - Image generator

Création d'une image (reverse diffusion)

Sous le capot - Image generator

Création d'une image (reverse diffusion)

Aucun contrôle sur l'image produite

Sous le capot - Image generator

Création d'une image avec contrôle

Aucun contrôle sur l'image produite

Sous le capot - Image generator

Mise à jour du dataset avec les légendes tokenisées

Aucun contrôle sur l'image produite

Sous le capot - Image generator

Aucun contrôle sur l'image produite

Sous le capot - Image generator

Aucun contrôle sur l'image produite

Extensions : ControlNet

Aucun contrôle sur l'image produite

En plus d'un contrôle textuel, la génération d'image peut être guidée

Extensions : ControlNet

Aucun contrôle sur l'image produite

"Les bons artistes copient, les grands artistes volent..." - Steve Jobs 1984

Et l'open-source dans tout ça

Et l'open-source dans tout ça

Beaucoup de modèles OSS :

 

- Stable Diffusion (+ Dreambooth)

 

- Craiyon

 

- modèles Hugging Face

Et l'open-source dans tout ça

Beaucoup de dérivés de Stable Diffusion (training custom)

 

https://dataconomy.com/2023/08/28/best-stable-diffusion-models-how-to-use/

Modèles fermés

DALL-E 3 - OpenAI

Et plus encore ...

Produits B2B & B2C

Produits B2B & B2C

https://photoai.com

 

by Pieter Levels - @levelsio

Produits B2B & B2C

Paint !!!

 

Windows 11 22H2 Update

Produits B2B & B2C

https://interiorai.com

 

by Pieter Levels - @levelsio

Produits B2B & B2C

Produits B2B & B2C

Projet artistique

Projet artistique

Cet appareil photo IA vous déshabille en quelques secondes

Impacts business & sociaux

Impacts business & sociaux

Industrie de l'information :

 

- fake news

 

- photo d'illustration en DR

 

Gros problème de confiance et à la fois d'évangélisation du public

Impacts business & sociaux

Industrie du jeu vidéo :

 

- hyperscaling - creation d'assets ou texturing - 3D models

 

- évolution de certains métiers et processus créatif

Impacts business & sociaux

Industrie de la photo de masse :

 

- plateformes l'intègre mais ne sont qu'intermédiaires

 

- mais à terme ce sont les créateurs qui pourraient en patire 

Impacts business & sociaux

Industrie publicitaire :

 

- problème de confiance

Impacts business & sociaux

Réseaux sociaux :

 

Deep fakes

 

Porn revenge

 

Problèmes actuels amplifiés (dépression, anxiété, narcissisme, comportements anti-socials)

Impacts business & sociaux

Perspectives

Perspectives

Big bubble ?

NFT (& Web3 ?) are dead

Perspectives

Perspectives

Les IAs générative sont des accélérateurs ouvrant des opportunités encore jamais atteintes à cause de contraintes technologiques.

Ça bouscule pas mal d'industrie qui généralement doivent s'adapter avec hélas pertes et fracas.

Certains métiers se ré-inventent, d'autres disparaissent, et d'autres apparaissent.

Les métiers créatifs resteront pré-dominants : les IAs doivent être entrainées ou renforcées par de nouvelles données.

Perspectives

Outils puissants disponibles pour le grand public.

Un processus créatif reste un processus créatif : le meilleur prompt engineer du monde ne sera jamais meilleur qu'un photographe avec un vrai style et une vraie "patte".

Aucune AI ne remplacera l'authenticité et les expériences réelles.

Ressources

Ressources

Ressources

Ressources

Ressources

Merci pour votre attention !

Des questions ?

Crédit photos - Unsplash.com

Un feedback ? 👉🏻 C'est par ici

Papa, dessine moi un mouton 🐑 !

By Vincent Ogloblinsky

Papa, dessine moi un mouton 🐑 !

Les IA génératives d'images font le buzz depuis plusieurs mois, elles fascinent autant qu’elles inquiètent. N’importe quel internaute est maintenant capable de générer des images extrêmement complexes en quelques secondes. Au-delà du bouleversement des milieux créatifs et des implications politico-sociétales, l'envers du décor est tout aussi intéressant pour nous les curieux développeurs. Je vous propose un voyage dans les profondeurs de ces modèles de diffusion, entre encodeurs, datasets et réseaux de neurones. En sortant de ce talk, vous ne regarderez plus une photo de cowboy à dos de T-Rex 🦖 de la même manière 😉

  • 1,025