自主学习答辩

基于Python语言的网络爬虫

by  CrownDaisy

2018.4.9

为什么学

1.暑假学习web

2.被Python吸引

3.有趣的爬虫

学习过程

1.MOOC视频+技术博客+书籍

2.学习日志

3.学习笔记

学习成果

项目实现 项目技术路线
淘宝商品比价 requests + re
股票信息爬取 requests + bs4 + re

淘宝商品比价

getHTMLText

parsePage

printGoodsList

主要

获取页面

解析页面

打印商品信息

主逻辑函数

淘宝商品比价

淘宝商品比价——爬虫改进

股票信息爬取

getHTMLText

getStockList

getStockInfo

主要

获得页面

获得股票列表

各股的具体信息

爬取并存储

股票信息爬取

后期学习计划

1.数据分析

2.爬虫与数据库

3.分布式爬虫

学无止境......

Python Crawler

By CrownDaisy

Python Crawler

  • 1,321