自主学习答辩
基于Python语言的网络爬虫
by CrownDaisy
2018.4.9
为什么学
1.暑假学习web
2.被Python吸引
3.有趣的爬虫
学习过程
1.MOOC视频+技术博客+书籍
2.学习日志
3.学习笔记
学习成果
| 项目实现 | 项目技术路线 |
|---|---|
| 淘宝商品比价 | requests + re |
| 股票信息爬取 | requests + bs4 + re |
淘宝商品比价
getHTMLText
parsePage
printGoodsList
主要
获取页面
解析页面
打印商品信息
主逻辑函数
淘宝商品比价
淘宝商品比价——爬虫改进
股票信息爬取
getHTMLText
getStockList
getStockInfo
主要
获得页面
获得股票列表
各股的具体信息
爬取并存储
股票信息爬取
后期学习计划
1.数据分析
2.爬虫与数据库
3.分布式爬虫
学无止境......