Kenshin Abe
- "Representation Learning on Graphs: Methods and Applications"というsurvey論文のまとめです。
- グラフから、機械学習の入力として簡単に利用できる特徴量を抽出。
- 無向グラフ\(G = (V, E)\)が与えられる。 (隣接行列\(A\), 頂点の特徴量\(X \in R^{m * |V|}\))
- 各頂点またはsubgraphについて、embedding
\(z \in R^d (d << |V|)\)
を出力。(後に機械学習で問題を解くときに、必要な情報が復元できるような形にしたい)
- 今回は頂点についてのembeddingのみ扱う。
- この論文で提案されている統一的なフレームワーク
- \(ENC: V \to R^d\)
d次元のベクトル(embeddings)に圧縮
- \(DEC: R^d * R^d \to R^+\)
(多くの場合で使われるpairwise decoder)
元のグラフでのsimilarity\(s_G(v_i, v_j)\)に近似したい
- \(L = \sum_{(v_i, v_j) \in{D}} l(DEC(z_i, z_j), s_G(v_i, v_j))\)
損失関数
- 既存手法は、人間が調整して機械学習に投げる前の前処理という側面が大きい。
- degree statistics
- graph kernel
- その他手動のヒューリスティクス
- 新規手法は、エンコード手法そのものを機械学習で学習。
- Shallow Embedding
- Neighborhood Autoencoder Methods
- Neighborhood Aggregation and Convolutional Encoders
- \(ENC(v_i) = Z v_i\) (\(Z \in R^{d * |V|}, v_i\)はワンホットなベクトル)
- Factorization-based
- Random Walk
- 頂点ごとにパラメータが独立なので冗長な可能性が高い
- Encodeの際に元のグラフの頂点の特徴量をうまく扱えない
- 動的なグラフに対応できない
- unary decoderを採用。
- \(DEC(ENC(s_i)) \approx s_i\) を目指す (\(s_i\)は頂点iのsimilarity vector)
- deep autoencodersにより次元を下げる。
- SDNE, DNGR(\(s_i\)とautoencodersの最適化手法が違う)
- autoencodersのinputサイズが\(|V|\)なので計算量が大変
- 頂点の特徴量\(x_i \in R^m\)をaggregationしていく。
- Graph Convolutional Networks
- column networks
- GraphSAGE algorithm
- \(AGGREGATE_k, W^k\)を学習
- ほぼ\(|V|\)の線形時間
- 動的なグラフもok(訓練中に存在しなかった頂点にも対応)
- Subgraph Embeddings
- GCNの具体的手法の論文
- NP困難問題を解く論文
By knshnb
