淺談數位人文資料分析
Pickering, W. A. 1889,
"Pioneering in Formosa; recollections of adventures among mandarins, wreckers, & head-hunting savages
真理大學資訊管理學系 王柳鋐
Outline
- 文本分析
- 社會網路分析
瀏覽版
同步版
文本分析
文本分析基本任務: 斷詞、詞性標記、實體辨識
"我和順仔早上5點登上「福建號」"
我和<person>順仔</person>早上5點登上「<ship>福建號</ship>」
斷詞(tagger)
(命名)實體辨識
name-entity-recognition
原文
我 和 順仔 早上 5點 登上 福建號
r c nr t t v nr
詞性標記
part-of-speech
專業術語 + 分類
應用：索引、Hyperlink
q: 數量詞
v: 動詞
nr: 人名
n: 名詞
t: 時間詞
馬偕日記斷詞統計應用
時間:第一次返回加拿大述職前, 詞性過濾:名詞（2582/6197）, 詞頻>3(598)
文字雲
教學應用：寫作提示（使用排名前10位的關鍵字寫一個故事）
地點: 五股坑、八里坌、大龍峒、洲裡、三重埔、滬尾、新港、竹塹、中壢
人名: 閏虔益、李庥
馬偕日記斷詞統計應用
時間:第一次返回加拿大述職前,詞性未過濾:名詞(6197), 詞頻>5(998),
資料來源：DocuSky 數位人文學術研究平臺：視覺化與統計分析，2020數位人文培訓營
分成13類
地理資訊系統
馬偕的書單
馬偕日記實體辨識應用
荳蘭社
地理資訊
參考台灣百年歷史地圖
文本分析開發工具中研院CKIP Lab
斷詞、實體辨識的困難
拜訪 我 普林斯 頓 神學院 的 老同 學麥克 切斯 尼 先生 和 幾位 宣教 師 。 晚上 介紹 加拿大 ， 哈巴 安德 醫師 翻譯
斷詞
困難: 斷詞錯誤 雜訊
"拜訪我普林斯頓(Princeton)神學院的老同學麥克切斯尼(McChesney)先生和幾位宣教師。晚上介紹加拿大，哈巴安德醫師翻譯。"
自訂辭典
停用字列表
普林斯頓
老同學
麥克切斯尼先生
哈巴安德醫師
宣教師
我
的
和
晚上
幾位
拜訪 普林斯頓 神學院 老同學 麥克切斯尼先生 宣教師 。 介紹 加拿大 ， 哈巴安德醫師 翻譯
困難: 錯別字、同義詞(不同稱呼/不同翻譯)
拜訪南勢番(南方的原住民)，在包干、李流(Li-lau)，薄薄、斗蘭(Tau-lan)和七腳川拍了一些照片。
台灣堡圖
1904
我們拜訪流流、薄薄、里腦，又回到大社
問題：究竟是里腦,李流還是流流？
不同翻譯
回到五股坑，蔥仔在前往領事館費里德(A.Frater)先生那裡後和我們一起。
和偕師母及閏虔益一起到五股坑，然後去洲裡，在晚上回來。
同義詞
專家
修正與建議
里漏社
斷詞、實體辨識的困難
自訂辭典
停用字列表
雲端工具平台
雲端工具平台DocuSky文本標記建庫
➊ 匯入「文本 + 自訂metadata欄位」
歷代名畫記（維基文庫、中國哲學書電子化計畫）
自訂欄位metadata
文本
分類
標記字詞
權威詞
資料連結
➋ 提供規範表 for 標記、交互參照
歷代名畫記(卷四至十)：自訂標籤文字雲(metadata)
DocuSky系統
資料來源：DocuSky 數位人文學術研究平臺實作，2020數位人文培訓營
資料來源：DocuSky 數位人文學術研究平臺實作，2020數位人文培訓營
東西魏北齊北周淨土相關題記(資料庫)：自訂標籤文字雲
DocuSky系統
關鍵詞：西方淨土、彌陀像
小結
研究素材
平台、工具
研究走向: 決定素材
設計、填寫metadata
資料分析、觀察脈絡
Social Network Analysis
社會網路分析簡介
- 一種定量分析方法：使用數學工具如圖論等進行分析
- 目的：解析結構(如找出領導者、意見領袖、邊緣者、群組、不對稱或互惠關係...)
社會網路
節點
關聯
節點
關聯？
權重
分析成敗的關鍵
主角分析 (冰與火之歌第三部：劍刃風暴)
關聯(邊)：共同出現的次數
(兩個名字在15個字的距離內)
社會網路分析「關聯」: 共同出現
(1) 107個角色, 353個邊
(2) 找出7個群組
(3) 使用6種「中心性」公式計算每
個角色的重要性
Q. 前三名主角是？
Tyrion, Jon, Sansa
軟體: Gephi
小朋友的交友情況解析
關聯：透過觀察或是直接詢問小朋友
Q: 誰比較邊緣？為什麼？
社會網路分析「關聯」: 社交行為
資料來源：DocuSky 數位人文學術研究平臺：視覺化與統計分析，2020數位人文培訓營
資料來源：DocuSky 數位人文學術研究平臺：視覺化與統計分析，2020數位人文培訓營
多文本間的詞彙共現
宮廟「斗內」碑刻中的關連分析
資料來源：DocuSky 數位人文學術研究平臺：視覺化與統計分析，2020數位人文培訓營
二元關聯圖
2021,杜協昌, DocuSky 的二元關聯視覺化呈現工具, DADH2021研討會
2021,杜協昌, DocuSky 的二元關聯視覺化呈現工具, DADH2021研討會
社會網路類型
Social environment: analysis of support, influence
Affiliation network
Inter-organizational network
Intra-organization network
General purpose
Specific
competition network
interaction network: game-based(sports for example)
關聯網路bipartite network
關聯網路bipartite network
關於Gephi
資料視覺化軟體gephi
資料視覺化軟體gephi
- 匯入資料
- 視覺化設定：layout演算法
- 調整顏色與大小：ranking模組
- 計算重要性評量「指標」：statistics模組
- 文字標籤
- 群組偵測：statistics模組
- 設定過濾方式：過濾器(filter)
- 預覽
資料視覺化軟體匯入資料
支援格式：
- GEXF
- CSV
- GraphML
- GML
- ...
有無方向性
節點數量
邊的數量
layout演算法
大小、顏色（Ranking功能）
指標計算
（統計模組）
過濾功能
（Fiilter）
標籤、大小...
指標計算參考：淺談社會網路分析（中心性計算）
感謝您的聆聽
製茶。淡水
Greey, Edward (Sung-tie). "'Tai-wan' -- Formosa." Frank Leslie's Illustrated Newspaper Vol 33, No. 834 (23 September 1871): 28.