Conditional SeqGAN
2019-02-01 pixiv社内勉強会 LT
@hakatashi
@hakatashi
- アルバイト
- フロントエンドエンジニア
- すきなもの: CTF, esolang, 小説
- ルービックキューブ20秒切りました (Ao100)
- 明日大会あり
「たほいや」
知ってますか?
たほいやとは
- 誰も知らなさそうなドマイナーな単語をお題として選ぶ
- 参加者はお題の単語の意味を想像して考える
- 全員が考えた意味をシャッフルし、選択肢として見せる
- 参加者はお題の単語の「本当の意味」だと思うものを選ぶ
出典: 【プログラミング生放送】TSG LIVE! 2 (1日目) (見てね!!!!!!!!)
出典: 【プログラミング生放送】TSG LIVE! 2 (1日目) (見てね!!!!!!!!!!!!!!!)
ところで
賢い人は気づいたはず
このシステム
正しい意味
それっぽい
意味を考える
正しい
意味を
選ぶ
お題の単語
出典: はじめてのGAN
そのまんまGAN
つまり
Conditional SeqGAN
Sequence-to-Sequence (seq2seq)
SeqGAN
Conditional SeqGAN
「たほいや」AIで重要なこと
- ここで潜在空間の離散ベクトルは必ずしもLSTMの出力である必要はない
- 入力は文章ではなく単語なので文脈から読み取れる単語一つの意味が重要になってくる
- 今回は事前にFastTextを用いて学習させた単語ベクトルをConditionとして入力
- 勾配の伝播はGeneratorで打ち止め
実際にやってみた
- Conditional SeqGAN 論文の参考実装であるZhenYangIACAS/NMT_GAN をベースに適当に改造
- 学習データはWikipedia, Wiktionary, ピクシブ百科事典, ニコニコ大百科, IT用語辞典フィデリ, e-words から抽出したエントリ88万件
- Google Calaboratory を2週間ガンガン回して
無料でGPUを使いまくる
学習結果
(面白いやつの抜粋)
non-biasedなリスト → https://git.io/fhyda
- がらすのがけ → アニメ『アイドルマスターシンデレラガールズ』のユニークブショーのひとり
- くーふーりん → 猫の形態
- めがみんくす → 週刊少年ジャンプに連載されていた漫画
- どっとはらい → ゾロアスター教における死神
- ばしゃばんぎ → お笑いコンビ
- ねろでじたる → 「ご注文はうさぎですか?」の登場人物である「ポケットモンスターの戦士」の愛称
- ぽとらっち → 1984年に発売されたファミリーコンピュータ用のアクションゲーム
- ぷろぐらんなー → プラヘプラノコーポエンタテイメントから発売された、初音ミクを中心とするオンラインシリーズ
- はかたし → 元宝塚歌劇団花組の娘役
- はんにゃえん → 野球またはソフトボールのムーブの1つ
- はつめいのひ → 瀬戸内海西部の海域
- ばにーおいかわ → 鹿児島県・スウェーデン・栗東トレーニングセンターに所属している北海道道放送の中から成るお笑いコンビ
特徴
学習データにない
固有名詞を生成している
-
かいわのどっじぼーる → 東京都千代田区霞風町にある、プロ最古のレコードレーベル
-
とーきょーぐーる → トップブル材料社が開発した2PCカメラ
-
ぼろぼろとん → 村上港とオオムロンが制作したアクションゲーム
特徴
学習が進むにつれて
文章が長くなり破綻しがちな傾向
とらいしくる →
- 50,000steps: 日本の女性の1つ
- 100,000steps: ある、わずかに似たとされる、やわらかしている、または、そのこと
- 200,000steps: 主にクトゥルフ神話を持ち偵察を行う人
- 300,000steps: 化学物質を測定した際に、長期寺形状にできたとなる考え方
- 400,000steps: 化学物質を測定し、それぞれの視点に即したもののような定義や保持値
- 500,000steps: トヨタ自動車の小グループの1つで絵画された剣
- 600,000steps: 主にクトゥルフ神話または露しゃによって呼ばれた情報とはなく関係される専文言語や運動
特徴
壊れるときは壊れる
同じ単語を繰り返しがち (LSTMあるある)
- ぽーくまん → アメリカ合衆国の女優、開発、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家、作家」の競技と伝えられる用語
- こんてんつでりばりねっとわーく → アニメ「宇宙りえねねねマヴガー」の舞台である「ビババババババババババババババババババガ』の舞台を列挙したもの
- おざきせいき → 楽曲のキャラである「グリダダダダダダダダダダダダダダダダダダダダダダダダダダダダダダダダダダティu」を組み合わせた5.8氏の日本語サークル
現在、サークルSlackで絶賛稼働中
