Machine learning en production
Nastasia Saby
@saby_nastasia
Machine learning en production
Nastasia Saby
@saby_nastasia
Des données pérennes
Entraînement
Inférence
Monitoring
Des données pérennes
Les données sont la matière première de notre système
Lyon Data Science @saby_nastasia
Données
Fonction
Programme
Résultats
Lyon Data Science @saby_nastasia
Données
Fonction
Résultats
Programme
Lyon Data Science @saby_nastasia
Données > Code
Lyon Data Science @saby_nastasia
Construire des pipelines régulières de données
Lyon Data Science @saby_nastasia
Versionner ses données
Lyon Data Science @saby_nastasia
A la main
- year = 2019
- month = 11
- month = 12
Lyon Data Science @saby_nastasia
Automatiquement
#DeltaLake
Lyon Data Science @saby_nastasia
Les données peuvent vont évoluer
#PyDeequ, #GreatExpectations
Lyon Data Science @saby_nastasia
Automatiser l'entraînement
Versionner le code
#Git
Lyon Data Science @saby_nastasia
Versionner le modèle :
Hyperparamètres
Métriques
Modèle
Version de la donnée utilisée
#MLFlow
Lyon Data Science @saby_nastasia
Versionner ses données
Versionner son modèle
Versionner le code
=
Reproducibilité
Lyon Data Science @saby_nastasia
Feature engineering = grosse partie à tester
#Pytest
Lyon Data Science @saby_nastasia
La folie des notebooks
Lyon Data Science @saby_nastasia
Automatiser l'inférence
Plusieurs choix : temps réel ou pas, une ou des prédictions ?
Lyon Data Science @saby_nastasia
API Web
Lyon Data Science @saby_nastasia
API Web :
- Compétences web
- Docker
- Kubernetes
Lyon Data Science @saby_nastasia
Solutions web pour data scientistes :
- FastAPI
- Streamlit
- S'aider des copains
Lyon Data Science @saby_nastasia
Dashboard
Lyon Data Science @saby_nastasia
Dashboard :
- Pas de versioning (pas de retour en arrière)
- Pas de test
- Erreurs 500
- Des compétences en dataviz
Lyon Data Science @saby_nastasia
Solutions dashboard pour data scientistes :
- Certains outils sont plus sympas que d'autres
- S'aider des copains
#Dashboards depuis un notebook
#Superset
#SQLAnalytics
Lyon Data Science @saby_nastasia
Intégration dans un autre produit
Lyon Data Science @saby_nastasia
Susciter l'intérêt des utilisateurs
#Interprétabilité
#Fairness
Lyon Data Science @saby_nastasia
Lyon Data Science @saby_nastasia
Monitoring
Monitoring classique
Lyon Data Science @saby_nastasia
Différents niveaux
Lyon Data Science @saby_nastasia
Différentes cibles
Lyon Data Science @saby_nastasia
Jauger les alertes
Lyon Data Science @saby_nastasia
Faire des post-mortems
Lyon Data Science @saby_nastasia
Monitoring de model drift
C'est l'histoire d'un petit virus né à Wuhan
Lyon Data Science @saby_nastasia
Différentes formes de model drift
Lyon Data Science @saby_nastasia
Comment s'en protéger ?
Lyon Data Science @saby_nastasia
Réentraîner
Lyon Data Science @saby_nastasia
Monitorer l'entraînement
Lyon Data Science @saby_nastasia
Lyon Data Science - Nastasia Saby - @saby_nastasia
En réentraînant
Monitorer la vraie vie
Lyon Data Science @saby_nastasia
Monitorer les données elles-mêmes
Lyon Data Science @saby_nastasia
Monitorer les données elles-mêmes
- Mesures de distance
- Tests statistiques
=> Domaine ouvert
Lyon Data Science @saby_nastasia
Pas à négliger
- Mais peut en effet dépendre de la criticité du projet
- Techniques de détection de drift vont se démocratiser
Lyon Data Science @saby_nastasia
(Annoté) Machine learning en production
By nastasiasaby
