Measure netneutrality

Un outil d'extraction et de rapport automatisé de mesures de la

neutralité du net


Framartin

30 octobre 2014


moi


  • Membre de Framasoft
  • MeasureNetNeutrality débuté en stage à LQdN
  • Étudiant en Data Science à l'ENSAE
  • Passionné par le libre



framartin[chez]framasoft[point]org




La neutralité du net






Exclusion de toute discrimination par le réseau
en fonction de la source, de la destination ou du contenu des données transmises




Constats


Besoin d'objectivité



Non transparence des FAI
+
Complexité d'identification
=
Besoin de mesure des atteintes à la neutralité du net
(quantitatif en complément du qualitatif)


Diversité des atteintes


Exemples :
  • blocage/censure
  • traffic shaping
  • prioritarisation de trafic
  • modification à la volée
  • etc.


Diversité des méthodes de mesure

Menaces



  • économiques
    distordre la concurrence, innovation

  • politiques
    liberté d'expression (anonymat)

  • techniques
    qualité de service




Measure Net neutrality

but


Rendre accessible les données
  • brutes (nettoyées et enrichies)
  • visuellement (cartes, graphiques divers)
  • analytiquement (méthodes statistiques)


d’un maximum d’outils

de mesure de la neutralité du net

 avec un objectif

  • citoyen
  • régulateur

fonctionnement


  • exécution automatique (1 fois/semaine)
  • modulaire (ajout de nouvelles mesures)
  • licence GPL : code ouvert et public (github)


  1. téléchargement des nouvelles données
  2. parsing et post-traitement
    localisation du pays, association du FAI, qualification des données, etc.
  3. calcul et export de statistiques basiques
    moyennes pondérées selon différents niveaux d’agrégation
  4. Génération de rapports statistiques en HTML
    analyse avancée des données ; rapports globaux, par pays, par FAI


Sources des données



Plateforme du MeasurementLab

  • diversité des mesures
  • données accessibles ( CC0 – domaine public)
  • popularité (296 millions de tests pour 856 To)
  • infrastructure mondiale




Ce qui est fait


actuellement Fonctionnel


  • 1 outil : Shaperprobe (traffic shaping)
  • Gestion des données
    téléchargement, parsing, base de données, post-traitements divers
  • Statistiques
    calcul et export de statistiques descriptives
  • Génération du rapport détaillé global (presque)
    avec R : cartographie, représentations graphiques,
    analyses statistiques, etc.

Shaperprobe

  • multi-plateforme
  • « active probing method »
  • données mondiales...
  • ...mais très peu utilisées
  • chez l'utilisateur final

détection du traffic shaping





Quelques Résultats

Répartition des résultats des tests

1 428 592 tests


calcul des résultats

Moyennes pondérées (requêtes SQL complexes)


Résultats par pays



Pays upShape dShape shape upSpeed dSpeed nbIP nbTests
France 0.078 0.072 0.142 0.351 0.389 27645 36992
USA 0.314 0.387 0.492 0.459 0.369 181967 318313


  • upShape (dShape) : taux de traffic shaping en upload (download)
  • shape : taux de traffic shaping en upload ou en download
  • upSpeed (dSpeed) : taux de réduction de la vitesse en upload (download)
  • nbIP (nbTest) : nombre d’adresses IP (tests) pour calculer ces moyennes

carte mondiale du traffic shaping



Résultats par FAI



FAI upShape dShape shape upSpeed dSpeed nbIP nbTests
Bouygues 0.079 0.063 0.063 0.350 0.393 1458 2190
Free 0.075 0.074 0.143 0.411 0.369 6781 10051
Numericable 0.030 0.100 0.125 0.420 0.432 3081 4569
Orange 0.097 0.067 0.155 0.304 0.378 9221 10988
Comcast 0.578 0.619 0.762 0.467 0.340 73360 152967

Erreurs dans les données



  • utilisateur final = environnement non contrôlé
  • plusieurs utilisateurs : fluctuations de la vitesse du réseau
    → faux positifs

Présence d'erreurs confirmée par des tests personnels

Nécessité d'un seuil pour déterminer si un FAI fait du traffic shaping

Première approche du taux d'erreur


242 adresses IP ont fait plus de 50 tests

Proportion d'erreurs de 12,17 %
Intervalle de confiance à 95% : 0,1038 ; 0,1395

Capacité et traffic shaping




Lien entre présence de traffic shaping
et capacité de la connexion ?

Le traffic shaping aide t'il à bien gérer le réseau ?
Moyenne en Kbps Traffic shaping détecté Traffic shaping non-détécté
Vitesse upload 4702.833 4167.454
Vitesse download 23124.09 17867.03
Médiane en Kbps Traffic shaping détecté Traffic shaping non-détécté
Vitesse upload 3917.38 945.08
Vitesse download 22572 9344


Comparaison de moyennes : rejet des tests de Student et de Wilcoxon (p-valeurs <1%)


La différence de capacité de connexion entre
présence/absence de traffic shaping est significative


Cependant, ne pas en conclure que le traffic shaping conduit à de meilleurs débits : il y a simultanéité 

  • le TS participe à fluidifier le réseau
  • le TS est mis en place sur de grosses connexions 

Capacité de connexion





Les vitesses de connexion en upload et en download
ont un coefficient de corrélation de 0,5656




Futures évolutions

Prolongements


Projet en développement

  • visualisation dans respectmynet
  • optimisation de la localisation des addresses IP (en cours)
  • génération automatique de rapport statistique et de visualisation (en cours)
    avec paquet « KnitR » de R
  • ajout d'autres logiciels de mesure
    réseau mobile, traffic shaping selon protocole, bandwidth throttling, etc.


Toute aide est la bienvenue :)




Merci de votre écoute !

Presentation of Measure Net Neutrality - 3 minutes

By framartin

Presentation of Measure Net Neutrality - 3 minutes

  • 822
Loading comments...

More from framartin