Des données pérennes

Entraînement

Inférence

Monitoring

Les données sont la matière première de notre système

Lyon Data Science                 @saby_nastasia

Données

Fonction

Programme

Résultats

Lyon Data Science                 @saby_nastasia

Données

Fonction

Résultats

Programme

Lyon Data Science                 @saby_nastasia

Données > Code

Lyon Data Science                 @saby_nastasia

Construire des pipelines régulières de données

Lyon Data Science                 @saby_nastasia

Versionner ses données

Lyon Data Science                 @saby_nastasia

A la main

- year = 2019

   - month = 11

     - month = 12

Lyon Data Science                 @saby_nastasia

Automatiquement

#DeltaLake

Lyon Data Science                 @saby_nastasia

Les données peuvent vont évoluer

#PyDeequ, #GreatExpectations

Lyon Data Science                 @saby_nastasia

Versionner le code

#Git

Lyon Data Science                 @saby_nastasia

Versionner le modèle :

Hyperparamètres

Métriques

Modèle

Version de la donnée utilisée

#MLFlow

Lyon Data Science                 @saby_nastasia

Versionner ses données

Versionner son modèle

Versionner le code

=

Reproducibilité

Lyon Data Science                 @saby_nastasia

Feature engineering = grosse partie à tester

#Pytest

Lyon Data Science                 @saby_nastasia

La folie des notebooks

Lyon Data Science                 @saby_nastasia

Plusieurs choix : temps réel ou pas, une ou des prédictions ?

Lyon Data Science                 @saby_nastasia

API Web

Lyon Data Science                 @saby_nastasia

API Web :

- Compétences web

- Docker

- Kubernetes

Lyon Data Science                 @saby_nastasia

Solutions web pour data scientistes :

- FastAPI

- Streamlit

- S'aider des copains

Lyon Data Science                 @saby_nastasia

Dashboard

Lyon Data Science                 @saby_nastasia

Dashboard :

- Pas de versioning (pas de retour en arrière)

- Pas de test

- Erreurs 500

- Des compétences en dataviz

Lyon Data Science                 @saby_nastasia

Solutions dashboard pour data scientistes :

- Certains outils sont plus sympas que d'autres

- S'aider des copains

#Dashboards depuis un notebook

#Superset

#SQLAnalytics

Lyon Data Science                 @saby_nastasia

Intégration dans un autre produit

Lyon Data Science                 @saby_nastasia

Susciter l'intérêt des utilisateurs

#Interprétabilité

#Fairness

Lyon Data Science                 @saby_nastasia

Lyon Data Science                 @saby_nastasia

Monitoring classique

Lyon Data Science                 @saby_nastasia

Différents niveaux

Lyon Data Science                 @saby_nastasia

Différentes cibles

Lyon Data Science                 @saby_nastasia

Jauger les alertes

Lyon Data Science                 @saby_nastasia

Faire des post-mortems

Lyon Data Science                 @saby_nastasia

C'est l'histoire d'un petit virus né à Wuhan

Lyon Data Science                 @saby_nastasia

Différentes formes de model drift

Lyon Data Science                 @saby_nastasia

Comment s'en protéger ?

Lyon Data Science                 @saby_nastasia

Réentraîner

Lyon Data Science                 @saby_nastasia

Monitorer l'entraînement

Lyon Data Science                 @saby_nastasia

Lyon Data Science    -     Nastasia Saby    -    @saby_nastasia

En réentraînant

Monitorer la vraie vie

Lyon Data Science                 @saby_nastasia

Monitorer les données elles-mêmes

Lyon Data Science                 @saby_nastasia

Monitorer les données elles-mêmes

- Mesures de distance

- Tests statistiques

=> Domaine ouvert

Lyon Data Science                 @saby_nastasia

Pas à négliger

- Mais peut en effet dépendre de la criticité du projet

- Techniques de détection de drift vont se démocratiser

Lyon Data Science                 @saby_nastasia