Python程式設計

# 1. 引入webdriver功能
from selenium import webdriver

# 2. 設定驅動程式路徑
dirverPath = 'D:\drivers\chromedriver.exe'

# 3. 建立webdriver物件
browser = webdriver.Chrome(dirverPath)

print(type(browser))

from selenium import webdriver  # 引入webdriver'
from selenium.webdriver.common.by import By
import time
# 版本：0.1
driverPath = 'C:/DRIVERS/chromedriver.exe'
# 連線到網頁url, 回傳解析結果
def get_browser(url):
    browser  = webdriver.Chrome(driverPath)
    browser.get(url)
    time.sleep(3)
    return browser
# 主程式
電影資料={}   # 所有欄位存放的字典
url = 'https://play.google.com/store/movies/details/Minions_The_Rise_of_Gru?id=xXdWrJF8KPQ.P&hl=zh_TW&gl=SI'
#
browser = get_browser(url)    # 連結網頁, 解析網頁內容
# 電影片名
h1_tag = browser.find_element(By.TAG_NAME, 'h1') # 找第一個h1
電影片名 = h1_tag.text  # 取出文字
電影資料['電影片名'] = 電影片名  # 存到字典

# 以上省略
# 版本：0.3

# 主程式
電影資料={}   # 所有欄位存放的字典
url = 'https://play.google.com/store/movies/details/Minions_The_Rise_of_Gru?id=xXdWrJF8KPQ.P&hl=zh_TW&gl=SI'
#
browser = get_browser(url)    # 連結網頁, 解析網頁內容
# 電影片名
h1_tag = browser.find_element(By.TAG_NAME, 'h1') # 找第一個h1
電影片名 = h1_tag.text  # 取出文字
電影資料['電影片名'] = 電影片名  # 存到字典
# 年份/電影長度
div_year = browser.find_element(By.CLASS_NAME,'tv4jIf')
for item in div_year.text.split('•'):
    if '年' in item:
        電影資料['年份'] = item
    else:
        電影資料['電影長度'] = item
print(電影資料)

# 以上省略
# 版本：0.5

# 主程式
電影資料={}   # 所有欄位存放的字典
url = 'https://play.google.com/store/movies/details/Minions_The_Rise_of_Gru?id=xXdWrJF8KPQ.P&hl=zh_TW&gl=SI'
#
# ...略...
# 爛蕃茄新鮮度
fresh_tag = browser.find_element(By.CLASS_NAME, 'ClM7O')
電影資料['新鮮度'] = fresh_tag.text
# 價格
price_tag = browser.find_element(By.CLASS_NAME, 'u4ICaf')
電影資料['價格'] = price_tag.text

print(電影資料)

# 以上省略
# 版本：0.5

# 主程式
電影資料={}   # 所有欄位存放的字典
url = 'https://play.google.com/store/movies/details/Minions_The_Rise_of_Gru?id=xXdWrJF8KPQ.P&hl=zh_TW&gl=SI'
#
# ...略...
# # 關於這部電影
about = browser.find_element(By.XPATH, '//div[@data-g-id="description"]')
電影資料['關於'] = about.text

print(電影資料)

from selenium import webdriver  # 引入webdriver'
from selenium.webdriver.common.by import By
import time
# 版本：1.0
driverPath = 'C:/DRIVERS/chromedriver.exe'
# 連線到網頁url, 回傳解析結果
def get_browser(url):
    browser  = webdriver.Chrome(driverPath)
    browser.get(url)
    time.sleep(3)
    return browser
# 主程式
電影資料={}   # 所有欄位存放的字典
url = 'https://play.google.com/store/movies/details/Minions_The_Rise_of_Gru?id=xXdWrJF8KPQ.P&hl=zh_TW&gl=SI'
#
browser = get_browser(url)    # 連結網頁, 解析網頁內容
# 電影片名
h1_tag = browser.find_element(By.TAG_NAME, 'h1') # 找第一個h1
電影片名 = h1_tag.text  # 取出文字
電影資料['電影片名'] = 電影片名  # 存到字典
# 年份/電影長度
div_year = browser.find_element(By.CLASS_NAME,'tv4jIf')
for item in div_year.text.split('•'):
    if '年' in item:
        電影資料['年份'] = item
    else:
        電影資料['電影長度'] = item
# 爛蕃茄新鮮度  itemprop="tomatoMeter"
# 分級 itemprop="contentRating"
# try:
    ft = browser.find_element(By.XPATH,"//span[@itemprop='tomatoMeter']")
    電影資料['新鮮度'] = ft.text
except:
    print('沒有爛番茄指數')
    電影資料['新鮮度'] = ''
# 價格
price_tag = browser.find_element(By.CLASS_NAME, 'u4ICaf')
電影資料['價格'] = price_tag.text
# # 關於這部電影
about = browser.find_element(By.XPATH, '//div[@data-g-id="description"]')
電影資料['關於'] = about.text
# 內容分級
try:
    grade_tag = browser.find_element(By.XPATH, '//div[@class="xg1aie"]')
    電影資料['分級'] = grade_tag.text
except:
    print('找不到內容分級')
print(電影資料)

# 找到new movies 的 div class
list_tag= browser.find_element(By.CLASS_NAME, 'zuJxTd')

# 在裡面找出所有role = listitem, 注意XPath最前面的. 代表從目前的層級,而非從root層級
item_tags = list_tag.find_elements(By.XPATH,'.//div[@role="listitem"]')

for item in item_tags:
    print(item)  # 但內容還包含很多HTML標籤

for item in item_tags:
    a_tag = item.find_element(By.TAG_NAME, 'a')
    href = a_tag.get_attribute('href')  # 讀取href屬性

for item in item_tags:
    name = a_tag.find_element(By.CLASS_NAME,"Epkrse")  # 找岀電影名
    price = a_tag.find_element(By.CLASS_NAME, "LrNMN") # 找出價格

from selenium import webdriver  # 引入webdriver'
from selenium.webdriver.common.by import By
import time
import csv
import os

driverPath = 'C:/DRIVERS/chromedriver.exe'

def get_browser(url):
    browser  = webdriver.Chrome(driverPath)
    browser.get(url)
    time.sleep(3)
    return browser

url = 'https://play.google.com/store/movies?hl=zh_TW&gl=SI'
browser = get_browser(url)


# 找到new movies 的 div class
list_tag= browser.find_element(By.CLASS_NAME, 'zuJxTd')

# 在裡面找出所有role = listitem, 注意XPath最前面的. 代表從目前的層級,而非從root層級
item_tags = list_tag.find_elements(By.XPATH,'.//div[@role="listitem"]')

# 將連結存起來
links = []
names = []
prices = []
for item in item_tags:
    a_tag = item.find_element(By.TAG_NAME, 'a')
    href = a_tag.get_attribute('href')  # 讀取href屬性
    name = a_tag.find_element(By.CLASS_NAME,"Epkrse")  # 找岀電影名
    price = a_tag.find_element(By.CLASS_NAME, "LrNMN") # 找出價格
    links.append(href)
    names.append(name.text)
    prices.append(price.text)
    print(f'{href},{name.text},{price.text}')

# 輸出CSV檔, 以'\t'間隔 三個欄位
fn = os.path.dirname(__file__)+'/out_links.csv'
with open(fn, mode='w+', encoding='utf-8', newline='') as cf:
    cf_writer = csv.writer(cf, delimiter='\t')
    cf_writer.writerow(['片名','網址','價格'])
    for row in zip(names, links, prices):   # zip是將三個串列'縫'在一起
        cf_writer.writerow(row)
    cf.close()

pip install requests

pip install beautifulsoup4

pip install lxml

import requests, bs4

# (1) 連線
url = "https://www.au.edu.tw/"  # url: 要擷取的網址
resp = requests.get(url)  # 發出HTTP request

# (2) 網頁解析
soup = bs4.BeautifulSoup(resp.content, "lxml")  # 分析網頁

# (3) 擷取內容

print(f'編碼：{resp.encoding}') # HTTP回應有部份訊息可供使用

print('網頁標題', soup.title)   # 解析後有也有資訊可用

url = "擷取的網址"
resp = requests.get(url)  # (1)連線
if resp.status_code == 200:                     # 代碼200表示連線正常
    soup = BeautifulSoup(resp.content, "lxml")  # (2)分析
else:
    exit(1)      # 非200代碼，程式直接結束

import requests
from bs4 import BeautifulSoup

### 維基百科頁面標題特徵： id="firstHeading"
title = soup.find(id="firstHeading")  # 根據id值進行搜尋
print(f'頁面標題{title.text}')

### 維基百科頁面內容：假設只對包含在id="mw-pages"內的超連結感興趣
### 注意！！！每個網頁內容的id可能都不一樣！！！必須先詳細了解網頁格式
all_links = soup.find(id="mw-pages").find_all("a")  #找出所有<A>標籤

# 走訪過濾後的<A>標籤：
for link in all_links:
    if link['href'].find("/wiki/") == -1:   # 站外連結跳過不處理
        continue
    if link.text == '之後200':        # 網頁特定內容，跳過不處理
        continue
    print(f"球員:{link.text} 網址:{link['href']}") # 印出網址

from bs4 import BeautifulSoup
import requests
import pandas

sections = [    # data frame的column name,共9個
    '簡介', # 同義詞段落'生平簡介'
    '基本資料',
    '經歷',
    '個人年表',
    '特殊事蹟',
    '職棒生涯成績',
    '備註',
    '註釋或參考文獻',
    '外部連結',
]

sid = {                        # 台灣棒球維基館的section id
    '基本資料': '.E5.9F.BA.E6.9C.AC.E8.B3.87.E6.96.99',
    '經歷': '.E7.B6.93.E6.AD.B7',
    '個人年表': '.E5.80.8B.E4.BA.BA.E5.B9.B4.E8.A1.A8',
    '特殊事蹟': '.E7.89.B9.E6.AE.8A.E4.BA.8B.E8.B9.9F',
    '職棒生涯成績':'.E8.81.B7.E6.A3.92.E7.94.9F.E6.B6.AF.E6.88.90.E7.B8.BE',
    '備註':'.E5.82.99.E8.A8.BB',
    '註釋或參考文獻': '.E8.A8.BB.E9.87.8B.E6.88.96.E5.8F.83.E8.80.83.E6.96.87.E7.8D.BB',
    '外部連結': '.E5.A4.96.E9.83.A8.E9.80.A3.E7.B5.90',
    '結尾': 'stub'
}
intro = {
    '簡介': '.E7.B0.A1.E4.BB.8B',
    '生平簡介': '.E7.94.9F.E5.B9.B3.E7.B0.A1.E4.BB.8B'
}

def extract_introduction(content, key, value):
    pos = str(content).find(f'id="{value}"')  # 簡介 / 生平簡介
    if pos == -1:
        return None
    else:
        next_pos = str(content).find('<span class="mw-headline" id=".E5.9F.BA.E6.9C.AC.E8.B3.87.E6.96.99">基本資料</span>')
        
        intro_str = str(content)[pos:next_pos]         # 擷取 「簡介/生平簡介」 段落
        # print('*****',key, len(key))
        intro_str = intro_str[intro_str.find(key):]  # 去掉最前面未切乾淨的html碼 
        # print(intro_str)
        
        intro_soup = BeautifulSoup(intro_str, 'lxml')  # parsing
        texts = intro_soup.find_all(text=True)         # 取出所有元素的文字,不含標籤屬性
                                                       # 資料格式為串列
        return u"".join(t.strip() for t in texts)      # 將串列元素接在一起形單一字串,u""為unicode

####使用字串.find()和取得子字串的功能，切出每個段落大致的內容
# 參數:
#   content: http response回應的內容部份
#   start: 開始字串(不含)，要裁切內容的開始位置
#   end: 結尾字串(不含), 裁切內容的結束位置 
# 回傳:
#     裁切好的子字串
def get_sub_content(content, start, end):
    start_pos = str(content).find(f'id="{start}"')
    print(f'sp:{start_pos}')
    if start_pos == -1:     # 找不到start字串
        return None
    else:                   # 找到 start字串
        end_pos = str(content).find(f'id="{end}"')   # 尋找end字串
        
        if end_pos == -1:
            return None     # 找不到end字串
        else:
            print(f'ep:{end_pos}')
            return str(content)[start_pos: end_pos]  # 回傳裁切子字串

#### 使用BeatuifulSoup的功能，取出以<dd></dd>包起來的段落內容
# 參數:
#      html_str: 要分析的段落內容字串
# 回傳:
#      段落內容串列，每一個li為一個串列元素
def extract_dlist(html_str):
    soup = BeautifulSoup(html_str, 'lxml')  # parsing
    li = soup.find_all('li')         # 找到<li>
    li_texts = []    # 空字串, 將存入所有li的文字
    for item in li:
        item_text = item.find_all(text=True)
        if u"".join(item_text).strip() != '':
            li_texts.append(u"".join(item_text).strip())
    return li_texts
     
# Step 1: 發出Http Request, 解析(parse)Http Response 
## url: 要擷取的網址
base_url = "http://twbsball.dils.tku.edu.tw"
url = "http://twbsball.dils.tku.edu.tw/wiki/index.php/%E4%BD%95%E9%9C%87%E7%83%8A"
url = "http://twbsball.dils.tku.edu.tw/wiki/index.php/%E7%8E%8B%E5%BB%BA%E6%B0%91(1980)"
resp = requests.get(url)  # 發出HTTP request
if resp.status_code == 200:
    soup = BeautifulSoup(resp.content, "lxml")  # parsing網頁內容
else:
    exit(1)
final_result = {}  # 最後擷取的全文結果
all_content = soup.find(id="bodyContent") # 取得全部HTML內文
for key, value in intro.items():
    pp = extract_introduction(all_content, key, value)  # 取得 簡介
    if pp != None:
        print(f'找到{key}')
        final_result[key] = pp  # 簡介
        break
    else:
        print(f'找不到{key}')

start_str = ''  # 擷取段落用的開始字串
end_str = ''    # 擷取段落用的結束字串
title = ''      # 目前擷取的段落名稱：對應至sid的key
next_title = '' # 下一個擷取的段落名稱：對應至sid的key

for key, value in sid.items():  #　遍訪sid串列,取出定位字串
    if start_str == '':  # 1. 設定開始字串
        start_str = value # 1.1開始字串
        title = key       # 1.2段落名稱
        continue
    else:
        if end_str == '':  # 2. 設定結束字串
            end_str = value  # 2.1 結束字串
            next_title = key # 2.2 下一個段落名稱
            print(title)
            # 使用開始字串,結束字串取得中間的html內容
            sub_content_str = get_sub_content(all_content, start_str, end_str)
            if sub_content_str == None:  # 如果擷取回來沒有內容
                end_str = ''   # 清除結束字串,繼續處理下一個sid項目
                continue
            # 處理擷取回來的段落內容
            li_list = extract_dlist(sub_content_str) # 取出當中的li
            final_result[title] = ''.join(li_list)  # 紀錄起來
            start_str = end_str # 設定下一段的開始字串
            end_str = ''        # 清除結束字串
            title =next_title   # 設定下一段的段落名稱
# print(final_result)  # 印出擷取的資料
fr_array = []      # 準備空白表格資料
fr_array.append(final_result)  # 加入一筆資料至表格
index=[i for i in range(len(fr_array))]   # data frame的索引
### 建立dataframe
#   1. fr_array: 表格資料(目前只有一筆)
#   2. index=index:  前者是參數名稱,後者是第9行建立的索引串列
#   3. columns=sections: 前者是參數名稱, 後者是先前定義的欄位串列
df = pandas.DataFrame(fr_array,index=index, columns=sections)

df.to_csv('out_file.csv')   # 寫出檔案（utf-8編碼）

####使用字串.find()和取得子字串的功能，切出每個段落大致的內容
# 參數:
#   content: http response回應的內容部份
#   start: 開始字串(不含)，要裁切內容的開始位置
#   end: 結尾字串(不含), 裁切內容的結束位置 
# 回傳:
#     裁切好的子字串
def get_sub_content(content, start, end):
    start_pos = str(content).find(f'id="{start}"')
    print(f'sp:{start_pos}')
    if start_pos == -1:     # 找不到start字串
        return None
    else:                   # 找到 start字串
        end_pos = str(content).find(f'id="{end}"')   # 尋找end字串
        
        if end_pos == -1:
            return None     # 找不到end字串
        else:
            print(f'ep:{end_pos}')
            return str(content)[start_pos: end_pos]  # 回傳裁切子字串

sid = {                        # 台灣棒球維基館的section id
    '基本資料': '.E5.9F.BA.E6.9C.AC.E8.B3.87.E6.96.99',
    '經歷': '.E7.B6.93.E6.AD.B7',
    '個人年表': '.E5.80.8B.E4.BA.BA.E5.B9.B4.E8.A1.A8',
    '特殊事蹟': '.E7.89.B9.E6.AE.8A.E4.BA.8B.E8.B9.9F',
    '職棒生涯成績':'.E8.81.B7.E6.A3.92.E7.94.9F.E6.B6.AF.E6.88.90.E7.B8.BE',
    '備註':'.E5.82.99.E8.A8.BB',
    '註釋或參考文獻': '.E8.A8.BB.E9.87.8B.E6.88.96.E5.8F.83.E8.80.83.E6.96.87.E7.8D.BB',
    '外部連結': '.E5.A4.96.E9.83.A8.E9.80.A3.E7.B5.90',
    '結尾': 'stub'
}

#### 使用BeatuifulSoup的功能，取出以<dd></dd>包起來的段落內容
# 參數:
#      html_str: 要分析的段落內容字串
# 回傳:
#      段落內容串列，每一個li為一個串列元素
def extract_dlist(html_str):
    soup = BeautifulSoup(html_str, 'lxml')  # parsing
    li = soup.find_all('li')         # 找到<li>
    li_texts = []    # 空字串, 將存入所有li的文字
    for item in li:
        item_text = item.find_all(text=True)  # 只要內文
        if u"".join(item_text).strip() != '':
            li_texts.append(u"".join(item_text).strip())
    return li_texts

def extract_introduction(content, value):
    pos = str(content).find(f'id="{value}"')  # 簡介 / 生平簡介
    if pos == -1:
        return None
    else:
        next_pos = str(content).find('<span class="mw-headline" id=".E5.9F.BA.E6.9C.AC.E8.B3.87.E6.96.99">基本資料</span>')
        
        intro_str = str(content)[pos:next_pos]         # 擷取 「簡介/生平簡介」 段落
       
        intro_str = intro_str[intro_str.find(key):]  # 去掉最前面未切乾淨的html碼 
        
        intro_soup = BeautifulSoup(intro_str, 'lxml')  # parsing
        texts = intro_soup.find_all(text=True)         # 取出所有元素的文字,不含標籤屬性
                                                       # 資料格式為串列
        return u"".join(t.strip() for t in texts)      # 將串列元素接在一起形單一字串,u""為unicode

intro = {
    '簡介': '.E7.B0.A1.E4.BB.8B',
    '生平簡介': '.E7.94.9F.E5.B9.B3.E7.B0.A1.E4.BB.8B'
}

soup = BeautifulSoup(resp.content, "lxml")
all_content = soup.find(id="bodyContent") # 取得全部HTML內文

start_str = ''  # 擷取段落用的開始字串
end_str = ''    # 擷取段落用的結束字串
title = ''      # 目前擷取的段落名稱：對應至sid的key
next_title = '' # 下一個擷取的段落名稱：對應至sid的key
final_result = {}
for key, value in sid.items():  #　遍訪sid串列,取出定位字串
    if start_str == '':  # 1. 設定開始字串
        start_str = value # 1.1開始字串
        title = key       # 1.2段落名稱
        continue
    else:
        if end_str == '':  # 2. 設定結束字串
            end_str = value  # 2.1 結束字串
            next_title = key # 2.2 下一個段落名稱
            print(title)
            # 使用開始字串,結束字串取得中間的html內容
            sub_content_str = get_sub_content(all_content, start_str, end_str)
            if sub_content_str == None:  # 如果擷取回來沒有內容
                end_str = ''   # 清除結束字串,繼續處理下一個sid項目
                continue
            # 處理擷取回來的段落內容
            li_list = extract_dlist(sub_content_str) # 取出當中的li
            final_result[title] = li_list  # 紀錄起來
            start_str = end_str # 設定下一段的開始字串
            end_str = ''        # 清除結束字串
            title =next_title   # 設定下一段的段落名稱
print(final_result)  # 印出擷取的資料