網路爬蟲

亦稱網路蜘蛛、網路機器人...

是一種

「自動化瀏覽網路」的程式

做作業用的到

資料探勘用的到

Data mining 

(LinkedIn 2014 年熱門工作技能)

EX:啤酒與尿布的關係

Google有用到

每個搜尋引擎背後都有隻蜘蛛王!!

資料庫的作業

利用中選會網站提供的所有資料

寫出跟他一樣能查詢的程式

(2014 九合一大選)

縣市長 22

縣市議員 907

鄉鎮市長 204

鄉鎮市民代表 2146

村里長 7851

請注意

以上只是當選人總數

UPDATE : 村里長 14194 (大概ㄅ) 

沒錯!!!

我就是當時被選到村里長的人

一般學生

放棄 然後去打LOL

分工合作型學生

(・∀・):ㄟㄟ我收集北部的資料

(   ﾟдﾟ) :那我做中部的

╰(〒皿〒)╯ :我做南部的ㄅ

(｀・ω・´):東部給我ㄅ

(ﾟ∀ﾟ) :那我做功能

．     ∧,,∧      ∧,,∧
  ∧ (´・ω・) (・ω・｀) ∧∧
( ´・ω)    Ｕ) ( つと ﾉ(ω・｀ )
｜   Ｕ (    ・) (・｀      ) と ﾉ
  ｕ-ｕ （l        ) (        ﾉu-ｕ
             `ｕ-ｕ’. `ｕ-u’

台幣戰士型學生

( ﾟ∀ﾟ)ﾌﾊﾊ八八ﾉヽﾉヽﾉヽﾉ ＼ / ＼/ ＼ (撒錢

[全頻]收sql檔案!!

兵者，詭道也

兵は詭道なり

光是建個DB

蜘蛛人:3~7天up

爬蟲程式:1~2分鐘     

(以1萬多筆來說)

爬蟲的語言與分析工具

如C# PHP python JAVA...

工具如Kimono Applebot

或是自己寫

要了解HTML

以及其屬性 套用的CSS等

試著想像

別人的網頁是怎麼寫的

PHP Simple HTML DOM Parser

HTML分析工具

聽說有DEMO