WEB CRAWLER

EM

CLUSTER

Anaconda + Jupyter

Scrapy em Cluster

Scrapy em Cluster

• Python2.7: https://www.python.org/downloads/

• Redis: http://redis.io

• Zookeeper: https://zookeeper.apache.org

• Kafka: http://kafka.apache.org

Ferramentas:

Scrapy em Cluster

Ferramentas

Scrapy em Cluster

Benchmarks

• Testes em ambiente centralizado

• Testes utilizando cluster

•  Testes utilizando Framework Scrapy em Cluster 

Próximos Passos

​ Apache Spark + Scrapy