Convolutional Neural Network

一般物体認識によい成績を残している Neural Network

Y. LeCun+. Gradient-Based Learning Applied to Document Recognition. 1998

• Convolution(畳み込み)と Pooling(プーリング) を交互に行う
• 最終層に分類クラス数と同数のノードを置く
• 直前のプーリング層とFull Network全結合ネットワークで結ぶ

* 間に正規化層を挿入することもある

ImageNet Large Scale Visual Recognition Challenge(ILSVRC) 2012

で優勝した記念碑的 CNN

A. Krizhevsky+. ImageNet Classification with Deep Convolutional Neural Networks. 2012 

畳み込み層: 5 つ

プーリング層 : 3 つ

正規化層 : 2 つ

全結合層: 3 つ

Classification

Localization

その他成果

Text Recognition

T. Wang, et al. End-to-End Text Recognition with Convolutional Neural Networks. 2012.

Text Detection

O. Alsharif and J. Pineau. End-to-End Text Recognition with Hybrid HMM Maxout Models. 2013. 

Recurrent Neural

Network

• Sequence (音声・文・アクセスログなど)を入力出力

• Sequence 間の対応関係や Sequence の分布を学習

• 内部に(有向)閉路を持つ Neural Network の総称

時間方向に展開した図

• 曲生成

• 文章生成

• 手書き文字列生成

• 手書き文字列認識

• 文の特徴抽出

• 機械翻訳 ※Sequence to Sequence Learning

• 履歴情報を用いたレコメンデーション

応用

手書き文字列生成

上記 A.Gravis のデモで生成

自動対話

O. Vinyals+, “A Neural Conversational Model”, ICML2015

A Neural Algorithm of 

Artistic Style

Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge.
"A Neural Algorithm of Artistic Style." arXiv preprint arXiv:1508.06576 (2015).

左: https://commons.wikimedia.org/wiki/File:Tuebingen_Neckarfront.jpg

右: https://en.wikipedia.org/wiki/HMS_Minotaur_(1793)

…      

Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge.
"A Neural Algorithm of Artistic Style." arXiv preprint arXiv:1508.06576 (2015).

他のスタイルでも...

画像認識用の CNN を使用 (学習は行わない)

• 深い層まで進んでも空間的な位置関係は保たれる

• 色合いや質感の情報は相対的に弱められている

情報が弱まっている部分を別の画像の画風に置き換えてやる

基本アイデア

目的関数

(中間層のコンテンツ画像とのズレ)

＋

(スタイル行列のスタイル画像とのズレ)

remark: 前者は深い層で、後者は浅い層・浅い層両方でずれをとる

目的関数を設定したら...

最適化の出番です！！