Rethinking ImageNet Pretraining

Kaiming He et al., FAIR

最重要貢獻

從頭訓練的 model 沒有比使用 ImageNet pretraining 的 model 的差,只是需要較長的收斂時間。

Discover 1

ImageNet pre-training 的

作用是加速訓練

Discover 2

Pre-training 沒有 regularize 得比較好

Discover 3 (CV-specific)

Pre-training 在位置 sensitive 的 task 表現比較差

Rethinking ImageNet Pretraining

By qitar888

Rethinking ImageNet Pretraining

  • 390