Prenez soin de vos données : votre système prédictif le mérite !
Nastasia Saby
@saby_nastasia
Pourquoi prendre soin de son système prédictif ?
Monitoring de données
Tests de données
Versionning de données
Pourquoi prendre soin de son système prédictif ?
Les systèmes prédictifs ont beaucoup à apprendre de la programmation classique
MaltAcademy @saby_nastasia
- Tests
- Code
- Monitoring
- DevOps
MaltAcademy @saby_nastasia
Les systèmes prédictifs sont différents de la programmation classique
MaltAcademy @saby_nastasia
Données
Fonction
Programme
Résultats
MaltAcademy @saby_nastasia
Données
Fonction
Résultats
Programme
MaltAcademy @saby_nastasia
Données > Code
MaltAcademy @saby_nastasia
Prendre soin de son système prédictif pour ajouter de la valeur constamment à un rythme constant
MaltAcademy @saby_nastasia
"Les processus agiles encouragent un rythme de développement soutenable. Ensemble, les commanditaires, les développeurs et les utilisateurs devraient être capables de maintenir indéfiniment un rythme constant."
MaltAcademy @saby_nastasia
"Pas seulement l'adaptation aux changements, mais aussi l'ajout constant de valeur."
MaltAcademy @saby_nastasia
Reproducibility
Pas de peur, pas d'héroïsme
- S'inspirer de la programmation classique, mais aller un peu plus loin
- Etre capable de produire de la valeur de manière constante
- Pouvoir reproduire un bug ou une prédiction
La sérénité
Versionner ses données
Pourquoi versionner ses données ?
Données > Code
MaltAcademy @saby_nastasia
A la main
- year = 2019
- month = 11
- month = 12
MaltAcademy @saby_nastasia
Automatiquement
#DeltaLake
MaltAcademy @saby_nastasia
DEMO
Versionner ses données
Versionner son modèle
Versionner le code
=
Reproducibilité
MaltAcademy @saby_nastasia
Tester ses données
Les données peuvent vont évoluer
#PyDeequ, #GreatExpectations
MaltAcademy @saby_nastasia
DEMO
Différentes stratégies pour traiter ces "mauvaises" données
MaltAcademy @saby_nastasia
Monitorer les données
Pourquoi monitorer ses données ?
#modelDrift
#dataDrift
MaltAcademy @saby_nastasia
C'est l'histoire d'un petit virus né à Wuhan
MaltAcademy @saby_nastasia
Comment s'en protéger ?
MaltAcademy @saby_nastasia
Réentraîner
MaltAcademy @saby_nastasia
Monitorer l'entraînement
MaltAcademy @saby_nastasia
En réentraînant
MaltAcademy @saby_nastasia
Monitorer la vraie vie
MaltAcademy @saby_nastasia
Monitorer les données elles-mêmes
MaltAcademy @saby_nastasia
Monitorer les données elles-mêmes
- Mesures de distance
- Tests statistiques
=> Domaine ouvert
MaltAcademy @saby_nastasia
NO DEMO
Custom
MaltAcademy @saby_nastasia
Azure Data Drift
MaltAcademy @saby_nastasia
Alibi-detect
MaltAcademy @saby_nastasia
EvidentlyAI
MaltAcademy @saby_nastasia
- Tests statistiques un peu dans le noir
- Peut dépendre de la criticité du projet
- Beaucoup de techniques
- Techniques de détection de drift vont se démocratiser
MaltAcademy @saby_nastasia
Pourquoi prendre soin de son système prédictif ?
Monitoring de données
Tests de données
Versionning de données