Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation
Author: Hongwei Wang, Fuzheng Zhang, Miao Zhao, Wenjie Li, Xing Xie, Minyi Guo
圖資三 邱妍瑛
Date: 2021.4.26
-
推薦系統
-
知識圖譜
-
問題描述
-
MKR 模型框架
-
理論分析
-
研究結果
-
總結
-
未來展望
Outline
推薦系統
Recommender Systems
What's Recommender Systems
一種信息過濾系統，用於預測用戶對物品的「評分」或「偏好」
content-based
recommendation
內容過濾
collaborative
filtering
協同過濾
協同過濾
collaborative filtering
- 是一種在推薦系統中廣泛使用的技術。
- 通過分析使用者或者事物之間的相似性，來預測使用者可能感興趣的內容並將此內容推薦給使用者。
協同過濾的問題點
problems of collaborative filtering
沒有足夠的使用者
與物品間的訊息
cold start
冷啟動
sparsity
稀疏性
規模擴大所以商品
與用戶重疊性降低
知識圖譜
Knowledge Graph
What's Knowledge Graph
是一種用圖模型 (Graph)
來描述真實世界萬物之間的關係的技術方法。
其他結合知識圖譜推薦系統問題
problems of other knowledge graphs-aware methods
依賴人工給定的圖
personalized Entity
Recommendation
PER
Factorization Machine
with Group lasso
FMG
Collaborative Knowledge
base Embedding
CKE
需要提前訓練好知識圖譜，並且很難運用文本以外的其他信息。
Deep Knowledge-aware
Network
DKN
不是很適合推薦應用
RippleMet
對關係的建模非常微弱
問題描述
Problem Formulation
- A set of M users U = {u ,u , ...,u }
- A set of N items V = {v ,v , ...,v }
- Y ∈ R
- y = 1
- knowledge graph G comprised of (h,r,t)
- e.g. triple (Quentin Tarantino, film.director.film, Pulp
Fiction)
- e.g. triple (Quentin Tarantino, film.director.film, Pulp
- Goal: yˆ = F (u,v|Θ, Y, G)
M×N
uv
uv
1
2
M
1
2
N
MKR 模型框架
The framework of MKR
MKR由三個主要元件組成
recommendation
module
推薦模塊
KGE module
KGE 模塊
cross&compress units
交叉和壓縮單元
交叉和壓縮單元
Cross & compress unit
Cross 操作
cross operation
Compress 操作
crmpress operation
推薦模塊
recommendation module
KGE 模塊
Knowledge Graph Embedding module
綜上所述
In summary
總結來說，MKR的模型框架如下，
左側是推薦任務，右側是知識圖譜特徵學習任務。
整個模型的損失函數
The complete loss function of MKR
學習算法
Learning Algorithm
理論分析
Theoretical Analysis
- Polynomial Approximation（多項式逼近）
- 證明交叉與壓縮單元有足夠的多項式逼近能力
- Unified View of Representative Methods
- Factorization machines (FM)
- Deep & Cross Network (DCN)
- Cross-stitch Network
- Datasets
- MovieLens - 1M
- Book-Crossing
- Last.FM
- Bing-News
使用的 Datasets 和 Baselines
Datasets & Baselines
- Baselines
- PER
- CKE
- DKN
- RippleNet
- LibFM
- Wide&Deep
研究結果
Results
對於 CTR 的預測
The results of AUC and Accuracy in CTR prediction
精確率、回收率
The results of Precision and Recall
關於稀疏問題
The results in sparse scenarios
Results of AUC on MovieLens-1M in CTR prediction with different ratios of training set r.
總結
Conclution
- 本文將知識圖譜看作是 side information 的來源。提出了一種多任務特徵學習方法 MKR，用於知識圖譜增強推薦。
- MKR 解決了在實際的推薦方案中，協同過濾常常存在稀疏和冷啟動問題。
- 通過對真實世界數據集的大量實驗，證明了 MKR 在電影、書籍、音樂和新聞推薦方面取得了超越最新基線的實質性進展。
- 即使用戶與物品交互很少，MKR 也能夠保持良好的性能。
未來展望
Future Work
- 計劃在MKR框架中研究其他類型的神經網絡（例如CNN）
- 通過重新設計交叉壓縮單元，將其他KGE方法納入MKR中的KGE模塊實施中。
Thanks for listening.
References
- Wang, H., Zhang, F., Zhao, M., Li, W., Xie, X., & Guo, M. (2019). Multi-task feature learning for knowledge graph enhanced recommendation. In The World Wide Web Conference (pp. 2000-2010).
- 黃福銘(2019). 就這樣懂AI — 推薦系統系列1：什麼是推薦系統. Retrieved from https://medium.com/if-lab-ai/就這樣懂ai-推薦系統系列1-什麼是推薦系統-f1e08b36aa68
- 伯禹人工智能学院(2020).10 Mins Paper：斯坦福博后王鸿伟为你讲解推荐系统经典论文. Retrieved from https://zhuanlan.zhihu.com/p/108096683
References
- 黃正傑(2020). 知識圖譜：數據挖礦的探照燈. Retrieved from https://www.digiwin.com/tw/blog/5/index/2540.html
- 羽美野萌子(2019). #PaperCarrier：知識圖譜與推薦——MKR. Retrieved from https://zhuanlan.zhihu.com/p/96506171
- 王鸿伟(2018). 如何将知识图谱特征学习应用到推荐系统？. Retrieved from https://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=2649443804&idx=1&sn=79be363f8b08a9b591cadb3f8dd73904&chksm=82c0a458b5b72d4e21d5edc7359d99ccde3c92d967825a6cbb4c354af51b0c28a25be682251b&scene=21#wechat_redirect
Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation Author: Hongwei Wang, Fuzheng Zhang, Miao Zhao, Wenjie Li, Xing Xie, Minyi Guo 圖資三 邱妍瑛 Date: 2021.4.26
MKR
By oneone
MKR
The midterm report about "Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation".
- 113
