Gabi Cavalcante
dev python | pyladies | let's talk about tests and QA/QE
WebScraping, Python e Ordem da Câmara dos Vereadores
o que é?
a construção de um agente para baixar, analisar e organizar dados da Web de maneira automatizada
fonte: Practical Web Scraping for Data Science (Broucke and Baesens).
o que é?
parameters = {"ano_id": '8', "mes_id": '01'}
url = "https://www.cmnat.rn.gov.br/ordens/send"
# request to find the documents
response = requests.post(url, data=parameters)
print(response.text)web scraping vs ?
-
api
-
banco de dados
-
arquivos com dados tabulados
Projeto: Ordens CMN
-
Web Scraping
-
Extrair os dados
-
Análise de Dados
ordens da câmara municipal de natal
ordens da câmara municipal de natal
Títulos de cidadão
natalense
Total de pautas: 1773
Títulos: 21 | 1.18%
Total de pautas: 1773
Infraestrutura: 1080 | 60.91%
SEMOV 518
SEMOB 0
SEMOPI 2
SEMURB 17
URBANA 179
SEMSUR 367
STTU 119
CAERN 15
DNIT 3
TOTAL Secretarias: 1220
TOTAL Pautas: 1773
Requerimentos: 83.98 %
Secretarias: 68.81 %
Dúvidas?
web scraping
By Gabi Cavalcante
