Progress Report

陳家陞 2018 Oct. 8th

有沒有機會做 End2End 的 Audio2Responce?

傳統做法

Audio 

MFCC :→ Features

ASR :→ 文字

Seq2Seq :→回答

我們做法

Audio

MFCC :→ Features

Magic :→ 回答

Baseline

ASR :→ Transformer

Seq2Seq :→ Transformer

Audio 

MFCC :→ Features

ASR :→ 文字

Seq2Seq :→回答

Vaswani, Ashish et al. “Attention Is All You Need.” NIPS (2017).

困難

code 改不動……

而且網路上沒有更好的 PyTorch repo 了

快速介紹 Repo 架構

  1. train.py
  2. Models.py
    1. Transformer
    2. Encoder
    3. Decoder
  3. Layer.py
  4. SubLayer.py

 

要改寫的地方

可能方向

  • 改到會動
  • 重寫 train, Models 跟 Encoder
  • 找別的 Repo 

SpeechLab Progress Report 10/08

By qitar888

SpeechLab Progress Report 10/08

  • 247