Theano RNN case study

Neural Network

Neural Network

Neural Network

Neural Network

Neural Network

Linear

Fitting

선형 맞춤

비선형 변환

Nonlinear

Transformation

Linear

Fitting

Nonlinear

Transformation

Linear

Fitting

Nonlinear

Transformation

Neural Network

신경망은 데이터를 잘 구분할 수 있는 선들을 긋고 이 공간들을 잘 왜곡해 합하는 것을 반복하는 구조라고 할 수 있습니다.

 

선 긋고, 구기고, 합하고, 선 긋고, 구기고, 합하고, 선 긋고, 구기고, 합하고 ...

Neural Network

어떠한 규칙으로 선을 긋고 공간을 왜곡할까요?

Neural Network

어떠한 규칙으로 선을 긋고 공간을 왜곡할까요?

Big Data

아주 많은 데이터와 아주 오랜 시간의 최적화를 통해 데이터를 학습합니다.

Neural Network

여러 개의 뉴런(선형 맞춤 + 비선형 변환)이 합쳐지면 복잡한 형상의 함수도 추정할 수 있다.

Deep Learning

Neural Network의 문제점

최적화 알고리즘이 만약 진짜 최적값이 아닌 잘못된 최적값에 도달하면 어떻게 될까?

최적화

Neural Network의 상황역전

최적화 알고리즘이 만약 진짜 최적값이 아닌 잘못된 최적값에 도달하면 어떻게 될까?

신경망의 각 층을 먼저 비지도 학습방법(unsupervised learning)을 통해 잘 손질해주고, 그렇게 전처리한 데이터를 여러 층 쌓아올려 인공신경망 최적화를 수행하면 해결될수 있다.

Neural Network의 상황역전

딥 러닝 기법은 이후 압도적인 성능으로 각종 기계학습(Machine Learning) 대회의 우승을 휩쓸며 자신이 유아독존의 기법임을 과시했고, 현재는 다른 기계학습 방법을 통해 영상처리, 음성인식 등을 연구가 다시 딥 러닝으로...

DL Success Point 

1. 비지도 학습방법을 이용한

전처리 방법

DL Success Point 

2. Convolutional Neural Network

Traditional ML

  • 데이터(Data) → 지식(knowledge)
  • 데이터(Data) → 특징(Feature) → 지식(knowledge)
  • Feature Extraction을 사람이 함

ConvolutionalNN

  • Feature Extraction 까지도 딥러닝 알고리즘에 포함
  • 특히 이미지 인식에서 큰 발전

DL Success Point 

3. Recurrent Neural Network

RNN

  • 시계열 데이터(Time-series data)
  • DL중 가장 Deep한 구조
  • Vanishing Gradient Problem
  • Long-Short Term Memory

DL Success Point 

4. GPU 병렬 컴퓨팅의 등장과 학습 방법의 진보

  • GPGPU(General-Purpose computing on Graphics Processing Units) 등 저렴한 하드웨어 개발
  • GPU를 효율적으로 사용하는 언어구조(예: CuDA) 개발
  • 연구에 사용할 수 있는 데이터 풀이 많아짐 ImageNet MNIST
  • 알고리즘 진보 - 비선형 변환 ReLU(Rectified Linear Unit) 개발, 거대망 선택적 학습 Drop-out

DL Framework

Theano

 Optimizing GPU-meta-programming code generating array oriented optimizing math compiler in Python

Performance

Developer

  • Define graphs of computations

Theano

- avoiding redudent calculations

- generating optimized code

- using the GPU

  • No need to compute the gradients
  • Define Neural Networks expressed as graphs of computations

DL Business Model

Future of DL

  • Better hardware and bigger machine cluster
  • Better implementations and optimizations
  • Understand video, text and signals
  • Many Development in business models

ML BM 1

Framework development

  •  Bridge the gap between algorithms and implementation
  • Provide common interfaces and understandable API for users

ML BM 2

Building a deep-able hardware 

  •  New hardware (chipset) architecture for Deep Learning

ML BM 3

Deep Intelligences for IoT 

ML BM 4

Host API and deep learning service 

  •  Data in, Model out 

ML BM 5

 Personal Deep Learning 

  •  Data in, Label out 
Made with Slides.com