Measure netneutrality
Un outil d'extraction et de rapport automatisé de mesures de la
neutralité du net
Framartin
30 octobre 2014
moi
- Membre de Framasoft
- MeasureNetNeutrality débuté en stage à LQdN
- Étudiant en Data Science à l'ENSAE
- Passionné par le libre
La neutralité du net
Exclusion de toute discrimination par le réseau
en fonction de la source, de la destination ou du contenu des données transmises
en fonction de la source, de la destination ou du contenu des données transmises
Constats
Besoin d'objectivité
Non transparence des FAI
+
Complexité d'identification
=
Besoin de mesure des atteintes à la neutralité du net
(quantitatif en complément du qualitatif)
+
Complexité d'identification
=
Besoin de mesure des atteintes à la neutralité du net
(quantitatif en complément du qualitatif)
Diversité des atteintes
Exemples :
-
blocage/censure
-
traffic shaping
-
prioritarisation de trafic
-
modification à la volée
- etc.
→ Diversité des méthodes de mesure
Menaces
-
économiques
distordre la concurrence, innovation
-
politiques
liberté d'expression (anonymat)
- techniques
qualité de service
Measure Net neutrality
but
Rendre accessible les données
- brutes (nettoyées et enrichies)
- visuellement (cartes, graphiques divers)
- analytiquement (méthodes statistiques)
d’un maximum d’outils
de mesure de la neutralité du net
avec un objectif
- citoyen
- régulateur
fonctionnement
-
exécution automatique (1 fois/semaine)
- modulaire (ajout de nouvelles mesures)
- licence GPL : code ouvert et public (github)
- téléchargement des nouvelles données
- parsing et post-traitement
localisation du pays, association du FAI, qualification des données, etc.
- calcul et export de statistiques basiques
moyennes pondérées selon différents niveaux d’agrégation - Génération de rapports statistiques en HTML
analyse avancée des données ; rapports globaux, par pays, par FAI
Sources des données
Plateforme du MeasurementLab
- diversité des mesures
- données accessibles ( CC0 – domaine public)
- popularité (296 millions de tests pour 856 To)
- infrastructure mondiale
Ce qui est fait
actuellement Fonctionnel
- 1 outil : Shaperprobe (traffic shaping)
- Gestion des données
téléchargement, parsing, base de données, post-traitements divers - Statistiques
calcul et export de statistiques descriptives - Génération du rapport détaillé global (presque)
avec R : cartographie, représentations graphiques,
analyses statistiques, etc.
Shaperprobe
-
multi-plateforme
- « active probing method »
- données mondiales...
- ...mais très peu utilisées
- chez l'utilisateur final
détection du traffic shaping
Quelques Résultats
Répartition des résultats des tests
1 428 592 tests
calcul des résultats
Moyennes pondérées (requêtes SQL complexes)
Résultats par pays
| Pays | upShape | dShape | shape | upSpeed | dSpeed | nbIP | nbTests |
|---|---|---|---|---|---|---|---|
| France | 0.078 | 0.072 | 0.142 | 0.351 | 0.389 | 27645 | 36992 |
| USA | 0.314 | 0.387 | 0.492 | 0.459 | 0.369 | 181967 | 318313 |
- upShape (dShape) : taux de traffic shaping en upload (download)
- shape : taux de traffic shaping en upload ou en download
- upSpeed (dSpeed) : taux de réduction de la vitesse en upload (download)
- nbIP (nbTest) : nombre d’adresses IP (tests) pour calculer ces moyennes
carte mondiale du traffic shaping
Résultats par FAI
| FAI | upShape | dShape | shape | upSpeed | dSpeed | nbIP | nbTests |
|---|---|---|---|---|---|---|---|
| Bouygues | 0.079 | 0.063 | 0.063 | 0.350 | 0.393 | 1458 | 2190 |
| Free | 0.075 | 0.074 | 0.143 | 0.411 | 0.369 | 6781 | 10051 |
| Numericable | 0.030 | 0.100 | 0.125 | 0.420 | 0.432 | 3081 | 4569 |
| Orange | 0.097 | 0.067 | 0.155 | 0.304 | 0.378 | 9221 | 10988 |
| Comcast | 0.578 | 0.619 | 0.762 | 0.467 | 0.340 | 73360 | 152967 |
Erreurs dans les données
- utilisateur final = environnement non contrôlé
- plusieurs utilisateurs : fluctuations de la vitesse du réseau→ faux positifs
Présence d'erreurs confirmée par des tests personnels
Nécessité d'un seuil pour déterminer si un FAI fait du traffic shaping
Première approche du taux d'erreur
242 adresses IP ont fait plus de 50 tests
Proportion d'erreurs de 12,17 %
Intervalle de confiance à 95% : 0,1038 ; 0,1395
Capacité et traffic shaping
Lien entre présence de traffic shaping
et capacité de la connexion ?
et capacité de la connexion ?
Le traffic shaping aide t'il à bien gérer le réseau ?
| Moyenne en Kbps | Traffic shaping détecté | Traffic shaping non-détécté |
|---|---|---|
| Vitesse upload | 4702.833 | 4167.454 |
| Vitesse download | 23124.09 | 17867.03 |
| — | — | — |
| Médiane en Kbps | Traffic shaping détecté | Traffic shaping non-détécté |
| Vitesse upload | 3917.38 | 945.08 |
| Vitesse download | 22572 | 9344 |
Comparaison de moyennes : rejet des tests de Student et de Wilcoxon (p-valeurs <1%)
La différence de capacité de connexion entre
présence/absence de traffic shaping est significative
présence/absence de traffic shaping est significative
Cependant, ne pas en conclure que le traffic shaping conduit à de meilleurs débits : il y a simultanéité
- le TS participe à fluidifier le réseau
- le TS est mis en place sur de grosses connexions
Capacité de connexion
Les vitesses de connexion en upload et en download
ont un coefficient de corrélation de 0,5656
ont un coefficient de corrélation de 0,5656
Futures évolutions
Prolongements
Projet en développement
- visualisation dans respectmynet
- optimisation de la localisation des addresses IP (en cours)
-
génération automatique de rapport statistique et de visualisation (en cours)avec paquet « KnitR » de R
-
ajout d'autres logiciels de mesureréseau mobile, traffic shaping selon protocole, bandwidth throttling, etc.
Toute aide est la bienvenue :)