Découverte:

Les métiers de la data & de l'IA

Nicolas Rochet

Qui suis-je ?

Data for Good

Activité participative

Quels mots vous évoquent la Science des Données ?

Connectez vous pour participer:

https://app.wooclap.com/EAXUBQ

Définition résumée

Mathématiques

Informatique

"Domain

knowledge"

Discipline utilisant des méthodes scientifiques, algorithmes et systèmes d'information pour extraire des connaissances à partir de données structurées ou non structurées

Science de l'information

Différents types de données

...

IMAGES

LANGUAGE

SERIES DE NOMBRES

SONS

METIERS

photos

voix

bruits

avis

commentaires

conversations

météo

capteurs

meta données

site web

applications

logiciels

tweets

ventes

stock

logistique

vidéos

Réseaux sociaux

amis

partages

likes

abonnements

musique

forums

META DONNEES

... aux Méga Données

Les 3V du Big Data

Volume

Variété

Vélocité

Traiter de grandes quantités de données

Traiter ces données avec une grande vitesse

Traiter de sources de données variées

technologies permettant de produire, collecter, stocker, structurer, accéder, et présenter des données digitales

BIG DATA

DATA SETS

SMALL DATA

Deux ingédients principaux

Données

Algorithmes

serie non ambigüe d'instructions

+

représentation informatique d'une information

Problème

Résultats

Traitements

L'essor du monde de la donnée

Le marché de la donnée

L'explosion des données

200

world data consumtion (Zb)

2015

2025

2020

1~Zb = 10^{21}b

... et ses conséquences

Risques

Bénéfices

Coût écologique

Impact sociétal

Dépendance aux outils

Assistance de l'humain

Gain de temps

Innovation

Dans la peau d'un praticien de la donnée

Ses missions

Collecter la donnée

Exploiter la donnée

Résoudre un problème

Communiquer ses conclusions

Expliquer un phénomène

Découvrir des tendeances

Structurer la donnée

Traduire un besoin

Data Scientist ?

Mathématiques

Informatique

Un data scientist est meilleur en mathématiques qu'un informaticien et meilleur en informatique qu'un mathématicien

Intelligence Artificielle

Algorithmes

Code

Calcul

Statistiques

Probabilités

Infrastructure de données

Algèbre linéaire

Modelisation

Mathématiques

Statistiques

Probabilités

Algèbre

Analyse

tendance centrale

Probabilité conditionnelle

Fonctions

Optimisation

Variables

Equations

Visualisations

covariance

modelisation

Théorème de Bayes

corrélation

Espace vectoriel

Plongement

Calcul matriciel

Distributions

Echantillonage

Tests d'hypothèses

intervalle de confiance

Théorème central limite

régularisation

Differentielles

...

Informatique

Systèmes d'information

Calcul

Programmation

Algorithmes

Structures de données

Langages

Base de données

CPU

GPU

TPU

Frameworks

Bonnes pratiques

Controle de version

Terminal

Conteneur

Orchestrateur

Cloud computing

Machine virtuelle

Automatisation

tests

pipeline

Des compétences variées à maitriser

Dans la peau d'un data scientist

from sklearn.cluster import KMeans
import numpy as np
X = np.array([[1, 2], [1, 4], [1, 0],
              [10, 2], [10, 4], [10, 0]])
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)
kmeans.labels_

kmeans.predict([[0, 0], [12, 3]])

Analyses & graphiques

exemples issus de la librairie seaborn

Données

Code

Modèles mathématiques

Logiciels

KNIME

Python

Jupyter notebooks

Tableau Software

Logiciels & Platformes

SAP

Microsoft Power BI

Hadoop

Plateforme SaaS

Scikit learn

Tensorflow

Pandas

ERP

Data management

Déploiement

SQL

No-SQL

Data warehouse

Data lake

Databases

Data structures

ETL

Exploration & Visualisation

CRM

Sales force

...

Big Data

Stockage distribué

Calcul distribué

Code

Dev Ops

Git

assistant code

Pipelines

Conteneurs

API

Modeles pré entraines

Hugging Face

Une veille permanente

Plateformes

...

Blogs & portails

Articles scientifiques

Cours & livres

Wikipedia

Elements of statistical learning

Langages

& Logiciels

Les métiers

Le data scientist : le couteau suisse de la data ?

Les principaux métiers de la data

Une evolution vers 3 grand types de métiers

Les principaux métiers de la data

Specialiste en Data Visualisation

Data analyste

Prepare et explore les données

Répond à une problématique par des analyses

Communique l'information

(data visualisations, tableaux de bord)

Les principaux métiers de la data

Ingénieur IA

Data scientist

Elabore des modèles pour traiter les données

Recherche & applique des algorithmes pour résoudre des problèmes

Interprète et surveille la pertinence des résultats

vision par ordinateur

traitement du langage

Machine Learning

Les principaux métiers de la data

Data Ingénieur

Data Architecte

Récolte les données

Structure les données pour les rendre accessibles

Met en place des outils d'automatisation

Déploie les modèles & algorithmes

Métiers plus orientés informatique

Métiers impliqués dans un projet

Etapes projet

Chercheur

Ingénieur IA

Data visualiseur

Communiquant

Data Analyste

Data Architecte

Data Manager

Data Scientiste

Decideurs

Ethicien

DPD

Chef de projet

Data ingénieur

Designer

Mini jeu:

Quels métiers pour quel cas d'usage ?

Compétences nécessaires

Cas d'usage n° 1

Une grande entreprise veut centraliser les données pour les rendre exploitables par différents services (compabilité, marketing, R&D, ...)

Récolter les données provenant de différentes sources (mails, documents, photos, ...)

Structurer les données dans des bases de données pour les rendre accessibles

Data architecte

Compétences nécessaires

Cas d'usage n° 2

Une association veut mesurer et communiquer sur l'utilisation des vélos en ville

Analyser des données déja structurée

Faire des graphiques et savoir les expliquer à un public non expert

Data analyst

Compétences nécessaires

Cas d'usage n° 3

Une entreprise de vidéo à la demande veut pour recommander les vidéos les plus adaptées à chaque utilisateur

Utiliser des outils pour automatiser le traitement et la récommandation à donner quand l'utilisateur veut choisir une vidéo

Data scientist

Data ingénieur

Mettre en place des algorithmes de recommandation qui prennent en compte les caractéristiques des utilisateurs

Compétences nécessaires

Cas d'usage n° 4

L'association Open Food Fact veut aider les utilisateurs à catégoriser automatiquement des produits alimentaires à partir de leurs photos

Utiliser des modèles pour prédire le type du produit

Data scientist

Mettre en place des algorithmes pour extraire les données des photos (nom du produit, ingrédients, ...)

Comment mener un projet data ?

Deux approches

Fouille de données

Analyses dirigées

Extraire des connaissances

à partir d'un vaste ensemble de données

Les données & méthodes d'analyses sont choisies en fonction du problème

Les étapes d'un projet data

Déployer &

mettre en production

Structurer les données

Principes d'éthiques

Etude du besoin

Auditer les données

Veille scientifique et technique

Implémenter

algorithmes & modèles

Packaging du code

Livraison

Rapport

Communiquer

Procesus de traitement

Collecte de données

Préparation de donnes

Traitement
des données

Déploiement

Exploration des données

Modelisation

Identification de pattern

Besoin

Problème à résoudre

Réalité

Communication

Visualisation

Rapport

produit/service

Prise de décisions

données

nettoyées

Algorithmes

Le cycle de vie d'un logiciel

Adopter les principes d'ethic-by-design !

idée

definition

projet

Preuve

Concept

développement & déploiement

retours

utilisateur

veille éthique

Intégration & Déploiement continu (CI/CD)

Quelques cas d'usages

Rapports d'analyse

Raconter une histoire avec les données

Panneau de bord

Logiciel ou application

Rapports d'analyse

Raconter une histoire avec les données

Panneau de bord

Logiciel ou application

Indicateurs décisionnels

Extraction de données

...

Journaux en ligne

Des plateformes d'experts

de la donnée

Des sites de visualisation de données sociétales

Moteurs de recherche

GPS

Matching

Système de recommandation

Assistants personnels

IA génératives

Des exemples de réalisations

Rapports d'analyse

Raconter une histoire avec les données

le site

Our Word in data

Le site

Global Forest Watch

le site

Statista

Panneau de bord

...

L'étude

Climatoscope

Des exemples de réalisations

Logiciel ou application

L'application

PlantNet

L'application

Open Food Fact

...

La plateforme

Tournesol

Des exemples de réalisations

Pour les praticiens & experts

La plateforme

Kaggle

La plateforme Streamlit

...

Le site

data-to-viz

L a plateforme Hugging Face

Qui utilise la data science ?

Les employeurs dans la data science

source : kaggle 2021 survey

Les organisations & la data science en 2021

Quelques résultats intéressants

Une partie des organisations n'ont pas adopté la data science et l'IA !

L'adoption passe par un changement de culture dans l'organisation

Il y a des niveaux d'adoptions très variables dans les organisations

Le challenge de la gouvernance des données

Stratégie & procédures relative à la gestion des données, ses flux, ses accès, son stockage, sa consommation

Exemple du paradigme diu data mesh

Chaque domaine organise la gouvernance de ses données

Des services pour assurer une interopérabilité des domaines

Architecture évolutive

Activité

Imaginez un projet utilisant la science des données

Quelles données ?

Le problème

L'idée de solution

La tâche

Quels impacts ?

Quel rendu ?

Connectez vous pour participer: www.wooclap.com/NZLEBL

Science des données

Intelligence Artificielle

+

Activité participative

Quels mots vous évoquent l'Intelligence Artificielle ?

Connectez vous pour participer:

https://app.wooclap.com/EAXUBQ

Intelligence Artificielle ?

L'étude et le design d'agents intelligents

Meilleure
que le hasard

Autant qu'un humain

Performances

Programmes

Une définition

Ensemble de théories et techniques qui confèrent à des machines la capacité d'accomplir des tâches attribuées aux être intelligents

4 définitions

'Agir' comme un humain

'Agir' rationnellement

'Réfléchir' rationnellement

'Réfléchir' comme un humain

The automation of activities that we associate with human thinking, activities such as decision making, problem sloving, learning, ...
Bellmann, 1978

The art of creating machines that perform functions that require intelligence when performed by people.
Kurzweil 1990

Computationnal Intelligence is the study of the design of intelligents agents .
Poole et al. 1998

The study of mental faculties through the use of computationnal models
Charniak & Mc Dermott, 1985

Une brève histoire de l'IA

50-56

>2011

93-2011

87-93

80-87

74-80

56-74

Naissance

de l'IA

1er hiver

L'age d'or

2e age d'or

2e hiver

maturité

discrète

Essor du

Deep Learning

Disciplines de l'IA

Jouez contre une IA

Le jeu : deviner le personnage qui a été choisi en secret

VS

Votre groupe

Quels algorithmes se cache derrière Akinator ?

Il s'agit d'un système expert !

une base de connaissances

un ensemble de règles

un moteur d'inférence

Les composantes d'un système expert:

L'ère de l'apprentissage automatique

Machine learning

Deep learning

50-56

>2011

93-2011

87-93

80-87

74-80

56-74

IA symbolique

Système expert

Deep learning

IA générative

Définition

L'apprentissage automatique est un champ de l'Intelligence Artificielle utilisant des méthodes statistiques pour donner aux ordinateurs la capacité d'apprendre (c.a.d augmenter leur performance sur une tâche donnée) à partir des données, sans avoir été explicitement programmé pour résoudre cette tâche

Traduit de la définition d'Arthur Samuels (source : Wikipedia)

Catégories d'apprentissage

Apprentissage supervisé

Apprentissage auto-supervisé

Apprentissage non supervisé

Apprentissage par renforcement

Apprentissage par transfert

Apprentissage semi-supervisé

Apprentissage supervisé

Principe :
trouver la règle générale qui relie données et labels

Classification

Régression

D'après Wikipedia

linéaire

logistique

polynomiale

Prédire une série temporelle

Apprentissage non supervisé

Exemple :
Former des groupes ou partitions (clustering)

Illustration du clustering

Détection d'anomalies

D'apres Dominik Polzer

D'apres scikit-learn

Apprentissage par renforcement

Principe :
Un agent apprend les actions à realiser sur son environnement en maximisant une récompense

Apprentissage auto supervisé

Exemple avec le traitement de séquence

D'apres Yann LeCun

A l'origine des General Langage Model !

l'ère du deep learning

Les réseaux de neurones profonds

humains

artificiels

Le succès du deep learning

3 raisons principales

L'essor des méga données ou Big Data

L'augmentation de la puissance de calcul des ordinateurs

Les progrès récents de la recherche

... et ses défauts

Repose souvent sur des données labellisées (apprentissage supervisé)

Nécessite souvent beaucoup de données

Leurs "décisions" sont difficilememt interprétables

2017

2020

2019

2018

CoVE

BERT

ELMo

vers les Large Langage Models

CVT

ULMFiT

GPT

CamenBERT

FlauBERT

ALBERT

RoBERTa

GPT-3

ELECTRA

XLNet

BART

GPT-4

Bard

> 2023

...

LLama 3

'Blind test' de Turing