Artoo.js

Un outil :

développé par Guillaume Plique

Sciences-Po médialab

Les killer features :

• Une syntaxe jQuery-like
• Des tonnes d'helpers (exports, throttle, ...)
• Les spiders pour scraper d'autres pages du même site
• La génération de bookmarklets
• Sandcrawler pour le scraping server-side

Récupérer des liens depuis une page Reddit

Démo :

Récupérer le bookmarklet de Artoo

Étape 1

drag-n-dropper le logo depuis le site Web

dans la barre de favoris

Trouver le bon sélecteur

Étape 2

en utilisant l'inspecteur du DOM

du navigateur et document.querySelectorAll

document.querySelectorAll('#siteTable .thing .entry a.title');

Récupérer les liens

Étape 3

avec Artoo, ça donne :

artoo.scrape(
  '#siteTable .thing .entry a.title',
  {
    title: 'text',
    url: 'href'
  }
);

Récupérer les liens

Étape 4

// On utilise le même scraper :
var scraper = {
  iterator: '#siteTable .thing .entry a.title',
  data: { title: 'text', url: 'href' }
};

// On scrape la première page (celle ouverte) :
var frontpageData = artoo.scrape(scraper);

// On scrape les pages suivantes :
artoo.ajaxSpider(
  // Cette fonction va déterminer, en fonction de
  // la dernière page scrapée, l'URL de la suivante :
  function(i, $data) {
    var $context = i ? $data : artoo.$(document);

    return (
      $context
        .find('.nav-buttons .nextprev a[rel~="next"]')
        .attr('href')
    );
  },
  {
    limit: 2,
    scrape: scraper,
    concat: true,
    done: function(data) {
      // On ajoute les datas de la première page :
      data = frontpageData.concat(data);
      console.log(data);
    }
  }
);

avec les spiders de Artoo :

des pages suivantes

Exporter les données

Étape 5

avec les helpers dédiés :

artoo.saveCsv(data);

Générer un bookmarklet

Étape 5

grâce à l'outil dédié