21 juin 2024

Introduction au

Léa Christophe

Robin Cura

Hugues Pecout

Alexandre Cebeillac

Sébastien Rey-Coyrehourcq

ebscraping

w

21 juin 2024

Webscraping

1. Introduction (5 min)

2. Exemples d'application (10-15 min)

3. Mise en pratique

Introduction

Le WebScraping est une pratique qui nécessite l’articulation plus ou moins complexe de méthodes, de logiciels et d’infrastructures pour naviguer et extraire du contenu (des informations) d’un ou de plusieurs sites Web de façon automatisé.

Web scraping, web harvesting, or web data extraction is data scraping used for extracting data from websites. Web scraping software may directly access the World Wide Web using the Hypertext Transfer Protocol or a web browser. While web scraping can be done manually by a software user, the term typically refers to automated processes implemented using a bot or web crawler.

Wikipedia (en)

notre GT (wip)

Définition(s)

Introduction

• Constitution de corpus ...
  • en // de corpus existants
  • originaux

Intérêt croissant au sein des laboratoires en SHS ...

De multiples utilisations pour les SHS ...

• ... collectés avec un
  • flux continu
  • échantillonage

études comparatives

sauvegarde / patrimoine

mondialisé

suivi longitudinal

• ... faits de de sources et de nature de sources variés (son, images, textes)

 mixte quali/quanti

• (I) légalité de la :
  • collecte
  • stockage
  • de la (re)diffusion
• (II) contrôle qualité
  • validation
  • harmonisation
• (III) techniques lié à l'objet à capturer :
  • résilience
  • intégration
  • reproductibilité

Introduction

... mais des verrous à différents niveaux

Exemple : https://journals.openedition.org/cybergeo/36478

Discuté ici (vidéo à venir) : https://atelierdatapaperadn.sciencesconf.org/

trop problème dépendant

GT Webscraping

(partie éthique & légalité)

GT Webscraping

(docker, sgbd, forge, etc.)

une multiplicité de facteurs interdépendants

• (1) Pays
• (2) CGU / Robots.txt
• (3) Nature de l'information
• (4) Visibilité de l'information
• (5) Qui récolte l'information
• (6) Volumétrie
• (7) Finalité de la récolte

Jurisprudences & droit d'auteurs

Loi Nationale & Européenne

Personnelles ? Sensibles ?

Publiques ? Privés ?

Institutions ? Chercheurs ? Entreprises ?

Lucratif / Non lucratif ?

Avec ou Sans modifications ?

Traitements, Aggrégation ?

Substansielle ? Non Substantielle ?

(... +/-  loi du plus fort à l'international entre multinationales ...)

Légalité

Pratiques touristiques

Comparer les localisations des types d'offres dans les villes

Localisation des hébergements à Bangkok

Arctique & système monde

ANR PUR (2016 - 2020) / Yvette Vaguet

Un des objectifs :

Analyser temporellement les flux affectant les zones arctiques, notamment les flux aériens.

Comment ?

En créant des réseaux à partir des données les plus appropriées et accessibles

Mobilités urbaines

FP7 DENFREE & ANR MO3

ANR Escape (2016 - 2024)

Mobilité quotidiennes & propagation des épidémies de dengue

Besoin de données sur les mobilités comme les conditions de trafic pour nourrir et/ou valider les modèles

Condition de trafic

Trafic après l'explosion de Lubrizol

Condition de trafic

Données vectorielles scrappées plus complètes (niveau de trafic)

TomTom

Collecte en temps réel des conditions de circulation

Condition de trafic

TomTom

Collecte en temps réel des conditions de circulation

Permet la validation de modèles de mobilités

Écart entre mobilité simulées et trafic observé

GeoCaching

GRR Trenum (2015 - 2019) / Philippe Vidal

Site web : geocaching.com

Langage : Python

Framework : Scrapy

Type de récolte : Campagne

Format : Json

Difficultés :

• Pas d'API & limitation à 1000 résultats par recherche
• Mon premier scraping
• Login/Pwd pour accès à la donnée complète
• ASPX avec gestion des états précédents

Téléchargement automatique

Projet RachelNet / Denis Eckert

Téléchargement semi-automatisé des pages d'ouvrages numérisés accessibles uniquement en navigation.

- Permettre une consultation et un archivage hors-ligne et plus rapide des documents

Marché immobilier mexicain

PrimoMex / A. Ribardière, J.-F. Valette & L. Salinas

Un des objectifs :

Étudier l'évolution des prix à différentes échelles depuis 2015

Moyen : Base 2015 exhaustive, scraping de l'ensemble des annonces en 06/2024

Un des enjeux :

Détecter les annonces incomplètes, mal renseignées, ou trompeuses.

MGB : tarif des bars parisiens

Projet pédagogique : Interpolations et lissages

Un des objectifs :

Récupérer un jeu de données ponctuel très bruité mais présentant une nette structure spatiale

Moyen : Scraping "géomatique" de la carte du site MGB via fenêtres spatiales mouvants

Un des enjeux :

Passer outre la limite du site qui n'affichait que 20 annonces à la fois

Mobilités urbaines

FP7 DENFREE & ANR MO3 / Eric Daudé

Un des objectifs :

Comprendre le rôle des mobilités quotidiennes dans la propagation des épidémies à Bangkok & Delhi

Moyen :

Créer un modèle de mobilité, individu centré, à base d'agents (couplé à d'autres modèles)

Concept d'espace d'activité

Un des enjeux :

Collecte de données de mobilité

Évacuations massives

ANR Escape (2016 - 2024) / Eric Daudé

Un des objectifs :

Simuler les mobilités en cas de catastrophes (industrielles ou naturelles). Multisites

Comment ?

Simulation à base d'agents

Préalable :

Connaître les comportements de mobilités en condition "normale"

==> Intérêt des conditions de trafic

(en plus des EMD)

web asynchrone

protection anti-bot

(a) définir un logigramme pour mieux s'y retrouver

(III) Verrous techniques

(b) mettre une campagne de collecte h24/7J en place, une problématique complexe rapidement ...

(III) Verrous techniques