Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation

Author: Hongwei Wang,  Fuzheng Zhang, Miao Zhao, Wenjie Li, Xing Xie, Minyi Guo

圖資三 邱妍瑛

Date: 2021.4.26

  • 推薦系統

  • 知識圖譜

  • 問題描述

  • MKR 模型框架

  • 理論分析

  • 研究結果

  • 總結

  • 未來展望

Outline

推薦系統

Recommender Systems

What's Recommender Systems

一種信息過濾系統，用於預測用戶對物品的「評分」或「偏好」

content-based

recommendation

內容過濾

collaborative

filtering

協同過濾

協同過濾

collaborative filtering

  • 是一種在推薦系統中廣泛使用的技術。
  • 通過分析使用者或者事物之間的相似性，來預測使用者可能感興趣的內容並將此內容推薦給使用者。

協同過濾的問題點

problems of collaborative filtering

沒有足夠的使用者

與物品間的訊息

cold start

冷啟動

sparsity

稀疏性

規模擴大所以商品

與用戶重疊性降低

知識圖譜

Knowledge Graph

What's Knowledge Graph

是一種用圖模型 (Graph)

來描述真實世界萬物之間的關係的技術方法。

其他結合知識圖譜推薦系統問題

problems of other knowledge graphs-aware methods

依賴人工給定的圖

 

personalized Entity

Recommendation

PER

Factorization Machine

with Group lasso

FMG

Collaborative Knowledge

base Embedding

CKE

需要提前訓練好知識圖譜，並且很難運用文本以外的其他信息。

Deep Knowledge-aware

Network

DKN

不是很適合推薦應用

RippleMet

對關係的建模非常微弱

問題描述

Problem Formulation

  • A set of M users U = {u  ,u  , ...,u   }
  • A set of N items V = {v  ,v  , ...,v   }
  • Y ∈ R
  • y   = 1 
  • knowledge graph G comprised of (h,r,t)
    • e.g. triple (Quentin Tarantino, film.director.film, Pulp
      Fiction)
  • Goal: yˆ = F (u,v|Θ, Y, G)

M×N

uv

uv

1

2

M

1

2

N

MKR 模型框架

The framework of MKR 

MKR由三個主要元件組成

recommendation

module

推薦模塊

KGE module

KGE 模塊

cross&compress units

交叉和壓縮單元

交叉和壓縮單元

Cross & compress unit

Cross 操作

cross operation

Compress 操作

crmpress operation

推薦模塊

recommendation module

KGE 模塊

Knowledge Graph Embedding module

綜上所述

In summary

總結來說，MKR的模型框架如下，

左側是推薦任務，右側是知識圖譜特徵學習任務。

整個模型的損失函數

The complete loss function of MKR

學習算法

 Learning Algorithm

理論分析

Theoretical Analysis

  • Polynomial Approximation（多項式逼近）
    • 證明交叉與壓縮單元有足夠的多項式逼近能力
  • Unified View of Representative Methods
    • Factorization machines (FM)
    • Deep & Cross Network (DCN)
    • Cross-stitch Network
  • Datasets
    • MovieLens - 1M
    • Book-Crossing
    • Last.FM
    • Bing-News

使用的 Datasets 和 Baselines

Datasets & Baselines

  • Baselines
    • PER
    • CKE
    • DKN
    • RippleNet
    • LibFM
    • Wide&Deep

研究結果

Results

對於 CTR 的預測

The results of AUC and Accuracy in CTR prediction

精確率、回收率

The results of Precision and Recall

關於稀疏問題

The results in sparse scenarios

Results of AUC on MovieLens-1M in CTR prediction with different ratios of training set r.

總結

Conclution

  • 本文將知識圖譜看作是 side information 的來​​源。提出了一種多任務特徵學習方法 MKR，用於知識圖譜增強推薦。
  • MKR 解決了在實際的推薦方案中，協同過濾常常存在稀疏和冷啟動問題。
  • 通過對真實世界數據集的大量實驗，證明了 MKR 在電影、書籍、音樂和新聞推薦方面取得了超越最新基線的實質性進展。
  • 即使用戶與物品交互很少，MKR 也能夠保持良好的性能。

未來展望

Future Work

  • 計劃在MKR框架中研究其他類型的神經網絡（例如CNN）
  • 通過重新設計交叉壓縮單元，將其他KGE方法納入MKR中的KGE模塊實施中。 

Thanks for listening.

References

  • Wang, H., Zhang, F., Zhao, M., Li, W., Xie, X., & Guo, M. (2019). Multi-task feature learning for knowledge graph enhanced recommendation. In The World Wide Web Conference (pp. 2000-2010).
  • 黃福銘(2019). 就這樣懂AI — 推薦系統系列1：什麼是推薦系統. Retrieved from https://medium.com/if-lab-ai/就這樣懂ai-推薦系統系列1-什麼是推薦系統-f1e08b36aa68
  • 伯禹人工智能学院(2020).10 Mins Paper：斯坦福博后王鸿伟为你讲解推荐系统经典论文. Retrieved from https://zhuanlan.zhihu.com/p/108096683

References

  • 黃正傑(2020). 知識圖譜：數據挖礦的探照燈. Retrieved from https://www.digiwin.com/tw/blog/5/index/2540.html
  • 羽美野萌子(2019). #PaperCarrier：知識圖譜與推薦——MKR. Retrieved from https://zhuanlan.zhihu.com/p/96506171
  • 王鸿伟(2018). 如何将知识图谱特征学习应用到推荐系统？. Retrieved from https://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=2649443804&idx=1&sn=79be363f8b08a9b591cadb3f8dd73904&chksm=82c0a458b5b72d4e21d5edc7359d99ccde3c92d967825a6cbb4c354af51b0c28a25be682251b&scene=21#wechat_redirect
Made with Slides.com