Theano RNN case study
Neural Network
Neural Network
Neural Network
Neural Network
Neural Network
Linear
Fitting
선형 맞춤
비선형 변환
Nonlinear
Transformation
Linear
Fitting
Nonlinear
Transformation
Linear
Fitting
Nonlinear
Transformation
Neural Network
신경망은 데이터를 잘 구분할 수 있는 선들을 긋고 이 공간들을 잘 왜곡해 합하는 것을 반복하는 구조라고 할 수 있습니다.
선 긋고, 구기고, 합하고, 선 긋고, 구기고, 합하고, 선 긋고, 구기고, 합하고 ...
Neural Network
어떠한 규칙으로 선을 긋고 공간을 왜곡할까요?
Neural Network
어떠한 규칙으로 선을 긋고 공간을 왜곡할까요?
Big Data
아주 많은 데이터와 아주 오랜 시간의 최적화를 통해 데이터를 학습합니다.
Neural Network
여러 개의 뉴런(선형 맞춤 + 비선형 변환)이 합쳐지면 복잡한 형상의 함수도 추정할 수 있다.
Deep Learning
Neural Network의 문제점
최적화 알고리즘이 만약 진짜 최적값이 아닌 잘못된 최적값에 도달하면 어떻게 될까?
최적화
Neural Network의 상황역전
최적화 알고리즘이 만약 진짜 최적값이 아닌 잘못된 최적값에 도달하면 어떻게 될까?
신경망의 각 층을 먼저 비지도 학습방법(unsupervised learning)을 통해 잘 손질해주고, 그렇게 전처리한 데이터를 여러 층 쌓아올려 인공신경망 최적화를 수행하면 해결될수 있다.
Neural Network의 상황역전
딥 러닝 기법은 이후 압도적인 성능으로 각종 기계학습(Machine Learning) 대회의 우승을 휩쓸며 자신이 유아독존의 기법임을 과시했고, 현재는 다른 기계학습 방법을 통해 영상처리, 음성인식 등을 연구가 다시 딥 러닝으로...
DL Success Point
1. 비지도 학습방법을 이용한
전처리 방법
DL Success Point
2. Convolutional Neural Network
Traditional ML
- 데이터(Data) → 지식(knowledge)
- 데이터(Data) → 특징(Feature) → 지식(knowledge)
- Feature Extraction을 사람이 함
ConvolutionalNN
- Feature Extraction 까지도 딥러닝 알고리즘에 포함
- 특히 이미지 인식에서 큰 발전
DL Success Point
3. Recurrent Neural Network
RNN
- 시계열 데이터(Time-series data)
- DL중 가장 Deep한 구조
- Vanishing Gradient Problem
- Long-Short Term Memory
DL Success Point
4. GPU 병렬 컴퓨팅의 등장과 학습 방법의 진보
- GPGPU(General-Purpose computing on Graphics Processing Units) 등 저렴한 하드웨어 개발
- GPU를 효율적으로 사용하는 언어구조(예: CuDA) 개발
- 연구에 사용할 수 있는 데이터 풀이 많아짐 ImageNet MNIST
- 알고리즘 진보 - 비선형 변환 ReLU(Rectified Linear Unit) 개발, 거대망 선택적 학습 Drop-out
DL Framework
Theano
Optimizing GPU-meta-programming code generating array oriented optimizing math compiler in Python
Performance
Developer
- Define graphs of computations
Theano
- No need to compute the gradients
- Define Neural Networks expressed as graphs of computations
DL Business Model
Future of DL
- Better hardware and bigger machine cluster
- Better implementations and optimizations
- Understand video, text and signals
- Many Development in business models
ML BM 1
Framework development
- Bridge the gap between algorithms and implementation
- Provide common interfaces and understandable API for users
ML BM 2
Building a deep-able hardware
- New hardware (chipset) architecture for Deep Learning
ML BM 3
Deep Intelligences for IoT
ML BM 4
Host API and deep learning service
- Data in, Model out
ML BM 5
Personal Deep Learning
- Data in, Label out
