LOD 做為數位人文時代下的思考方式

Allen Wang

Wikidata Taiwan

Wikidata / Wikibase 實踐初探

王文岳

• Wikidata Taiwan 共同發起人
• 立法院開放國會第一屆委員
• 前台灣維基媒體協會秘書長
• 李梅樹紀念館資訊組召集人
• 國家文化記憶庫社群經營研究：資訊技術協力

人文研究與內容

內容

Content

人

People

紙本內容流通

內容

Content

人

People

數位時代下內容流通

後設資料

Metadata

搜尋引擎/機器

Search Engine/Bot

搜尋行為/資料存取

人為編寫/機器生成

檢索成為研究最大的成本

 Open Data 、 Linked Open Data 簡介

Wikidata / Wikibase 簡介

Wikidata 應用於資料檢索機制與案例

 Open Data

Linked Data

Linked Open Data

開放資料 (Open Data)：
以開放格式提供，採無償且不限制使用目的、地區及期間 ，並不可撤回之方式授權利用。

--【國家科學及技術委員會 政府資料開放行動策略】

2022/8/22

鏈結資料 (Linked Data)：

• 利用 URI 為事物命名

• 以 HTTP 做為客戶端和伺服器端之間查詢及傳送URI的機制，使人或電腦可以查詢特定 URI 所代表事物的相關資訊

• 伺服器端使用 RDF 與 SPARQL 等標準，提供更多的資訊。當伺服器端接獲客戶端對於特定 URI 的請求時，伺服器端會以標準格式將該 URI 所代表事物的相關資訊傳 回給客戶端。若客戶端是「人」，則伺服器端可回傳 HTML 格式的文件；若客戶端是「應用程式」，則伺服器端可回傳 RDF 格式的文件，以方便客戶端的應用程式再利用這些資訊

• 對於特定URI所代表事物的相關資訊中，應包含與其他相關事物的連結(連結到該事物的URI)，使得事物間得以串連，以達成構築全域資料空間的目標

--【鏈結資料在圖書館的應用】

以統一識別碼(URI)為物件命名

以HTTP服務提供URI的查詢與資訊提供

特定URI的內容應保留連結到其他URI的連結

對於任意 URI 的資料請求，都以標準格式提供

對人使用 HTML

對機器使用機讀友善格式

成功大學

Q706708

國家 P17

中華民國

Q865

RDF 三元組資料結構示意

以 Wikidata 結構為例

以統一識別碼(URI)為物件命名

特定URI的內容應保留連結到其他URI的連結

以HTTP服務提供URI的查詢與資訊提供

網際網路已成為人們取得資訊的主要來源，

如何取用與再利用、發現、整合網際網路上的資料並予以加值乃成為一項重要議題，

無論採用 Web Scraping 或 API 等技術都有其困難點，

語意網和鏈結資料乃因運而生。

尤其是鏈結資料，其為語意網的最佳實務，

具有極大的可實行性。

--【鏈結資料在圖書館的應用】

柯皓仁、陳亞寧

2013/11

開放資料五顆星

鏈結開放資料（Linked Open Data，LOD）：

就是鏈結資料（Linked Data，LD）與開放資料（Open Data，OD）等兩種概念的結合，即LOD＝OD＋LD。

相較這兩種資源類型，鏈結開放資料又綜合其優點。

讓資訊發揮其最佳的再利用性、資源間的串連功能。

--中央研究院鏈結開放資料平台

大漢溪

Q199374

河流

Q4022

P31

P31

三峽河

Q199374

支流

P974

注入河流P403

注入河流P403

分流 P5998

橫溪

Q11122285

支流

P974

注入河流P403

P31

P31

支流

P974

支流

P974

注入河流P403

內部語意連結鏈結外部的網際網路來源

使得各資料源、資料庫的資料能夠交互連結

Wikidata/Wikibase 作為 LoD 平台

Wikidata.org

是美國維基媒體基金會繼維基共享資源後

第一個跨語言專案

Q

Q

P

P

P

Q

P

P

P

在 Wikidata 結構中

陳述主要是透過屬性(property)串聯Q或P來完成詮釋

當然也有對應字串的屬性

但那多是用於陳述純數值或是特定內容

日益倍增且更加的資料存取需求

傳統的 Wikipedia 已經無法處理

Wikidata 透過結構化、鏈結資料的方式達到機讀友善

維基百科基於人類閱讀的需求

使得部分瑣碎資料無法被獨立紀錄與分述

機讀對於關聯的需求更甚

Wikidata 得以收錄更細節更多元的內容

提供基礎資訊的建構

Wikidata 同時透過「亦稱為」一欄

以及多語言欄位

提供跨語言對照以及權威詞彙對照的功能

樂信·瓦旦

• 音界號?
  • 樂信·瓦旦? 樂信‧瓦旦?
• 拼寫不同或是各不同語言
  • Losing Watan 、樂信·瓦旦
• 不同時期的姓名
  • 渡井三郎、日野三郎

語言欄位連結各語言與各通同名稱

並使用唯一識別碼互相溝通

提供權威對照的功能

Wikidata 透過 P279 這類型的屬性

來達成類似索引典的特性

來擴大與不同層級物件的互動可能性

那 Wikibase 呢 ？

Wikibase 是個自由且開源的軟體套件，於2012年由 德國維基媒體協會 所發布。

Wikidata 即是採用 Wikibase 技術所佈建的開放資料平台，各個機構也能夠過 Wikibase 構建出自己的 LoD 平台。

Q

Q

P

P

P

Q

P

P

P

在 Wikibase 結構中

陳述結構同樣為三元組結構

只要使用 Wikibase 即可建構一個專屬結構的LOD資料庫

歐盟知識圖譜 (EU Knowledge Graph)

Wikidata 應用於跨域資料檢索機制與案例

A資料庫

B資料庫

資料Z-B

資料Z-A

要確定兩者的通同性

就需要進行對照工作

在許多時候我們都可能需要進行資料庫對照

像是資料庫匯入、多資料庫整合等等

當只有兩個資料庫時

對照工作或許是可行的

但是當有數十個甚至更多的資料庫時...

同時對照工作還會牽涉到組織權責問題

大量增加成本跟可能的阻礙

A資料庫

B資料庫

資料Z-B

資料Z-A

加入 Wikidata 做為第三方

各資料庫之間對照只需要滿足與 Wikidata 之間的對照

就能在與其他資料庫進行對照

資料Z-W

QNNNNNNN

Wikidata

B資料庫

GeoNames

河川代碼

130000

1667049

頭前溪

Q8007827

Wikidata

XXXXX

OO部/OO署/OO公司

XXXXX

環境/水文/水保資料

XXXXX

文化/交通/觀光資料

在維基媒體計畫內部

Wikidata 也扮演著多語言/多計畫資料整合對照

A 資料庫

B 資料庫

Wikidata

Item

導出

應用

對照

跨域檢索

隨著資料的快速擴展

串聯多元資料庫/集將會是資料整合的關鍵

VIAF 成員內部對照與交互索引

早前VIAF是與英文維基百科進行對照

後來發現可能有不精準對應的問題

便改為與 Wikidata 對照

透過 Wikidata / Wikibase 串接 LOD 資源

再透過外部連結連結網際網路資源

建構整體機讀友善的資料源

Wikidata 人文應用案例

使用 wikidata 做為關鍵字檢索依據

基於 Wikidata 關鍵字的藏品後設資料撰寫平台

將文本資料庫化後

進行結構化資料的分析與圖像化

結構資料再處理與應用

MoMA 透過 Wikidata 與 Wikipedia 來提供基礎資訊

圖書館可以各自使用不同的，

唯一的或選擇的識別碼和權威控制方法來消除歧義。

Wikidata越來越成為一種重要的工具，可用於跨識別碼進行同步。

整合對 Wikidata 及其用於增強 metadata 和鏈結開放資料用途的認識將有助於推進更加互聯的研究網路。

-- Opportunities for Academic and Research Libraries and Wikipedia

2016 IFLA

Wikidata 可以有效降低打造 LoD 平台的成本

並擴展相關的應用

--ARL White Paper on Wikidata

2019

李梅樹紀念館官網中

提供有 Wikidataqid 對照

以 Wikidata 作為權威詞彙的對照基礎

資料庫不再只服務人

服務機器的資料庫將是趨勢

越來越多資料庫導入機讀特性

在提高閱覽次數的同時

也是改善後續維護的方式

在每天都有1300萬"人"在看維基百科時

同時分別有540萬與快800萬個"機器人"

正看著 Wikidata 與 Wikipedia

同時機讀友善可創造

更多轉譯的可能性

除了與人協作以外

更是與機器人協作

從外部的跨資料庫連結

能夠用更低成本、低介入的方式來進行資料庫/集整合

跨領域的資料庫整合創造數位人文研究的新可能

謝謝大家

Wikidata 與一般資料庫的編輯差異

做為一個結構化資料、鏈結資料庫

使用方式是比較不一樣的

Wikidata 內容有三種

分別是

P

L

Q

Property

屬性

Lexeme

詞意/詞位

Item

物件

國家人權博物館(Q10926902)

該筆資料的統一編號

多語言說明欄

只要有填入對應語言就會依照填入值翻譯

目前支援 300+ 種語言

描述

用於分別其他同名資料

供編輯者辨別用

亦稱為

可用於辭彙對照用

描述非常重要可以迅速分別不同的同名物件

性質(P31):他是什麼東西?

圖片(P18):代表的圖片是?

成立或建立時間(P571)

國家(P17)

每一種P都有不同的用法

詳見每一條屬性的說明

但是主要分三類

P

國家人權館

Q199374

性質P31

博物館

Q33506

透過屬性連結兩個物件

EX:性質(P31)、國家(P17)

所在行政領土實體(P131)、輪椅使用性（P2846）

成立或建立時間P571

20180315

連結實際數值/內容

EX:官方名稱(P1448)、母語標籤(P1705)、地上層數(P1101)

國家人權館

Q199374

官方網站P856

https://www.nhrm.gov.tw

連結外部連結與資料庫

EX:官方網站(P856)、360°環景圖 （P5282）、

GeoNames編號 （P1566）、VIAF ID（P214）

WorldCat Identities ID P2326

viaf-454152200731414400003

國家人權館

Q199374

謝謝大家