Machine learning
社課 - 8
lecturer : lemon
topic : DNN&Activation
Deep learning
終於可以講深度學習ㄌ
久仰大名w
深度學習聽起來很強
但其實並沒有想像中那麼複雜w
你們那麼電
這應該輕輕鬆鬆ㄅ
Deep learning
當我們考慮一個Neural Network
如果Hidden layers較少，我們會說他是個
Shallow Neural Network
如果Hidden layers較多，我們會說他是個
Deep Neural Network
而這就是Deep Learning的由來
Deep learning
由Neural Network來擷取Features!
here's a DNN!
here's a DNN!
我們該如何做這件事ㄋ
其實很明顯
就只是我們之前在做Neural Network
多重複幾次就好了(茶
activation function
激勵函數
為了讓Neural Network中包含非線性方程式
e.g.
你們很熟ㄉ
\(sigmoid(z) = \frac{1}{1 + e^{-z}}\)
activation function
常見的Activation function：
sigmoid(z) = \frac{1}{1 + e^{-z}} \\
ReLU(z) =
\left \{
\begin{array}{l}
z,& z \geq 0\\
0,& otherwise
\end{array}
\right.
tanh(z) = \frac{e^{z} - e^{-z}}{e^{z} + e^{-z}}
softmax 之類ㄉ...
activation function
WHY?
為了避免Neural Network退化成線性方程式
activation function
這次我們會用用看ReLU
也是現在Deep Learning領域下
最常用到的Activation function
因為計算迅速
所以得到大家的芳心