Machine Learning

程式碼集中營

  • 人工智慧?

  • 機器學習?

  • 神經網路?

人工智慧:人類的目標

我們希望電腦可以和人類一樣，解決一些需要智慧的問題!

e.g. 影像辨識、聊天機器人、下圍棋...

如何定義問題?

影像辨識:

: " 貓 "

: " 軟軟 "

人工智慧:一個函數

相信大家都知道函數是什麼(?

我們希望人工智慧是這麼一個函數，當我們丟給它一些輸入，能夠輸出我們想要看到的結果!

這樣，我們就能稱呼它為"有智慧"!

f(
) = ``貓"
f(
) = ``軟軟"

函數怎麼找?

人類告訴他函數應該長什麼樣子?

  • 問題可能過於複雜，無法考慮到所有情況              
  • 停留在人類的智慧，代表機器不可能超越人

讓機器自己找到這個函數!

機器學習。

機器學習:達成目標的方法

我們希望讓機器自己找到這個函數!

藉由告訴機器輸入與期望的輸出，期待它可以融會貫通(?

當看到新的東西時可以判斷得出來!

當機器看過一堆照片

再塞給他一張他沒看過的

希望它辨認的出來

它是軟軟

機器學習:達成目標的方法

如何學習?

大致分為三步驟。

定義函數的集合

評估函數的好壞

找到最好的函數

就好像把大象放進冰箱...

機器學習:達成目標的方法

達成這三個步驟的方法有很多種:

  • 線性迴歸                                                                      
  • k-nearest neighbor
  • 支持向量機
  • 神經網路

​今天主要介紹人工神經網路，同時也是現今最主流、變化最多的方式。

人工神經網路

人工神經網路?

大腦裡有許多神經元，連接在一起形成神經網路。

人工神經網路，顧名思義，就是人建出一個類似人腦的結構，想要電腦模擬人類大腦的運作。

想一想:大腦是如何運作的?

訊息接收

訊息處理

訊息輸出

基本單位:神經元

對人工神經網路來說，神經元就是一個將輸入進行線性組合再輸出的東東(?

output=\sigma(\sum{w_{i}x_{i}}+b)

w:權重(weight):這個輸入分量有多重要

b:偏值(bias):整個輸出分量有多重要

    :激活函數

\sigma

舉例

output=\sigma(\sum{w_{i}x_{i}}+b)
x_1=2
x_2=-1
x_3=3
w_1=0.7
w_2=0.1
w_3=-0.2
0.9
b=0.2

通過激活函數後輸出

激活函數

可以弄出非線性的組合。

其中ReLU是最常使用的激活函數。

據說是因為它和生物的神經元運作概念類似(?

當你將許多神經元串在一塊...

x_1=2
x_2=-1
x_3=3
0.7
0.1
-0.2
0.9
0.2
\sigma(x)

每一個神經元都有自己的權重和偏值......

0.2
-0.3
0.5
0.2
-2
\sigma(x)

當你將許多神經元串在一塊...

人工神經網路!

又稱為全連結神經網路、神經網路。

深度神經網路?

很深的神經網路。

要多深其實沒有統一的定義，通常隱藏層有三層或以上就可以稱為深度神經網路。

為什麼深會比較好?

輸入層

原始像素

隱藏層一

直線、條紋

隱藏層二

一些特徵

隱藏層三

一張人臉

輸出層

軟軟

0 0.1 0.7
0.6 0.4 0.5
0.2 0.3 0.9

想像成某種分工的模式(?

回到剛剛的問題

剛剛不是有提到，機器學習大致分為三步驟嗎?

定義函數的集合

評估函數的好壞

找到最好的函數

使用人工神經網路，要如何做到這三步驟?

Step 1:定義函數的集合

當我們把神經網路的架構建好後，所有的權重與偏值都可以自由調整!

也就是說，每一組權重與偏值都代表著一個函數，所有可能的權重與偏值的組合，就是函數的集合。

可以表示的函數種類非常的多:

  • 成千上萬個參數
  • 並沒有對原輸入進行太多的假設或預處理           

              (例如圖像辨識的輸入即是原像素)

Step 2:評估函數的好壞

好壞用什麼標準評估?

  • 當然是跑出來的正確率囉!
  • 損失函數(Loss function)                                         

             如: mean_square error, cross entropy   

L(x)=\frac{1}{n} \sum (f(x)_i-y_i)^2
L(x)=-\sum y_i\, ln(f(x)_i)

0

1

2

3

4

0

0.1

0.2

0

0.7

0

0

0

0

1

Step 3:找到最好的函數

不過只知道正確率還不夠，我們還需要知道如何調整參數(權重和偏值)，函數才能表現得更好!

梯度下降(Gradient descent)。

梯度下降

假如我們把其中一個參數對損失函數的影響作圖，可能會得到以下的圖形:

(記住:其實我們是看不到完整的圖形是長什麼樣子的。)

Loss

w

梯度下降

在開始時，我們隨機選一個位置為起始，記為

接下來，我想要往比較低的方向走......

Loss

w

w_0
w_0

梯度下降

因此，我們計算此函數圖形在                 時的斜率。

(計算斜率需要用到微積分，詳細做法先略過不談)

Loss

w

w_0
w=w_0

梯度下降

然後我們將此斜率加負號，再乘上一個常數    (稱為學習率)

得出的值，就是我們這一步所需走的距離!

Loss

w

w_0
\eta
w_1
w_{1}=w_{0}-\eta{}\frac{\partial L}{\partial w}

梯度下降

重複以上步驟許多次，就可以找到此函數的區域最小值

(不一定是全域最小值)。

Loss

w

w_0
w_1

...

Local Minimum

如果後面還有更小的值是找不到的

...

當我們考慮所有的參數

當我們把千萬個參數一個一個挑出來，算出當下的斜率與修改幅度後......

就可以寫出一個"梯度"。

由於是沿著梯度變化而往低處走，稱為"梯度下降"。

可以如右式將所有參數疊在一起，

進行一些類似矩陣運算的東東。

因為GPU支援矩陣運算的平行操作，

所以才說使用GPU可以加速(?

\Delta L= \left[ \begin{matrix} \Delta \theta_1 \\ \Delta \theta_2 \\ \cdot \\ \cdot \\ \cdot \\ \Delta \theta_n \\ \end{matrix} \right]

反向傳播 

參數是由後面的層往前調的，稱為反向傳播 

會有什麼問題?

找到的結果不一定是全域最小值

學習率太小->學得太慢

學習率太大->會跳過頭

不同參數的值域不同，無法共用同一個學習率

......

不用擔心

經過機器學習專家與數學家們的努力，開發出了許多不同的算法，以解決上述的問題。

常規化(Normalization):解決值域差異

隨機梯度下降(SGD):加速訓練

AdaGrad:遞減的學習率有助於更快接近最小值

Momentum:有機會脫離區域最小值，找到全域最小值。

如果想延伸學習的話，歡迎詢問講師(?

找到最好的函數後...

當我們找到在測試資料集中，表現得最好的那組參數時，我們的人工神經網路就訓練完畢了!

當我們使用這個人工神經網路做事時，他理當會得出我們想要的結果...嗎?

當神經網路看完訓練資料，也訓練完了

再塞給他沒看過的測試資料

他能辨認的出來嗎?

它是......

照理說會。

但不一定。

有可能你Train爛了

這種情況下，在訓練資料時就會跑得很差。

修改一下神經網路的架構、調整學習率，或者使用前面的一些優化方法，或許有幫助(?

當你在訓練集上得到足夠好的正確率，在測試集上就會有好的正確率...嗎?

過度擬合(OverFitting)

可以想像成，你的神經網路嘗試去背考古題的答案(?

因為我們沒有對輸入進行過多預處理，神經網路要找什麼樣的feature進行判別是隨自己高興，所以有可能選到一個沒有幫助的feature(?

所有的向左箭頭是綠色的

所有的向右箭頭是藍色的

當你丟給它一個綠色向右箭頭可能就會出錯

過度擬合(OverFitting)

以圖像化來說長成下面這個樣子(?

可以看見對訓練集來說，誤差是好的，不過套用到測試集就爛掉了。

解決辦法

夠多的訓練資料

Cross Validation:抽出一些訓練資料作為驗證集

正規化(Regularization):讓最後訓練出來的函數可以"平滑"一些，減少出大偏差的機會。

Dropout:在訓練期間隨機拔掉一些神經元，使他停止工作，於是其他神經元便需要學會在缺乏隊友時完成工作(?

注意:只有在測試集得到的正確率遠低於訓練集得到的正確率時，才需要套用這些方法。

Q&A

實作Part.1

實作目標

MNIST手寫數字

實作目標

60000張訓練圖片

10000張測試圖片

達到90%的測試圖片準確率

Chapter 0 引入資料庫

import keras
import matplotlib.pyplot as plt

Chapter 1 資料處理

(train_x,train_y),(test_x,test_y) = keras.datasets.mnist.load_data()
train_image = train_x / 255
test_image = test_x / 255
train_label = keras.utils.to_categorical(train_y, 10)
test_label = keras.utils.to_categorical(test_y, 10)
x:[0,255,105,...,0] \rightarrow [0,1,0.4,...,0]
y:3 \rightarrow[0,0,0,1,0,0,0,0,0,0]

Chapter 2 建造模型

net = keras.models.Sequential()
net.add(keras.layers.Flatten(input_shape = (28,28)))
net.add(keras.layers.Dense(50,activation = 'relu'))
net.add(keras.layers.Dense(10,activation = 'softmax'))

Chapter 2 建造模型

keras.layers.Flatten

1
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
\rightarrow

Chapter 2 建造模型

keras.layers.Dense

compile

net.compile(
    loss = keras.losses.mean_squared_error,
    optimizer = keras.optimizers.SGD(learning_rate = 0.1),
    metrics = ['accuracy']
)

Chapter 2 建造模型

Chapter 3 訓練

net.fit(
    train_image,
    train_label,
    batch_size = 100,
    epochs = 10,
    validation_data = (test_image,test_label)
)

卷積神經網路

小小複習

神經網路的問題

神經網路的問題

9

9

9

解決方法

卷積!!

卷積

卷積=重複的乘積

重複的乘積

1
3
4
3
2
2
1
2
1
-1
2

重複的乘積

1
3
4
3
2
2
1
4
2
1
-1
2

重複的乘積

1
3
4
3
2
2
1
4
8
2
1
-1
2

重複的乘積

1
3
4
3
2
2
1
4
8 \,
8
2
1
-1
2

重複的乘積

1
3
4
3
2
2
1
4
8
8
2
6
1
-1
2

圖片卷積

0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
-.25
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
-.25
-.15
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.05
\circledast
=

卷積核Kernel

卷積

卷積能幹嘛

在歪掉的圖看出特徵

找複雜特徵

0.0
0.0
0.0
1.0
0.0
0.0
1.0
1.0
0.0
0.0
0.0
0.0
0.0
0.5
0.5
0.0
0.0
0.5
0.0
0.0
0.0
0.0
0.0
0.0
0.0
-0.1
-0.1
-0.1
0.2
0.2
0.2
-0.1
-0.1
-0.1
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.05
0.0
0.0
0.1
0.0
0.1
0.0
0.1
0.0
0.0
0.1
0.1
0.1
0.1
0.1
0.1
0.0
0.15
0.0
0.1
0.1
0.1
-0.1
-0.1
0.1
-0.1
0.1
-0.1
0.0
-.05
-.15
0.2
0.4
0.1
0.1
-.05
0.05
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.05
0.1
0.1
0.1
0.1
0.1
0.1
0.0
0.15
0.0
0.0
-.05
-.15
0.2
0.4
0.1
0.1
-.05
0.05
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.05
0.1
0.1
0.1
0.1
0.1
0.1
0.0
0.15
0.0
0.0
-.05
-.15
0.2
0.4
0.1
0.1
-.05
0.05
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.05
0.1
0.1
0.1
0.1
0.1
0.1
0.0
0.15
0.0
0.0
-.05
-.15
0.2
0.4
0.1
0.1
-.05
0.05
0.4
0.55
0.35
-.25
-.25
-.15
0.05
0.0
0.05
0.1
0.1
0.1
0.1
0.1
0.1
0.0
0.15
0.0
0.0
-.05
-.15
0.2
0.4
0.1
0.1
-.05
0.05
\circledast
=
\circledast
=
\circledast
=

池化

池化

0.1
87
0.1
-0.1
-0.1
0.1
-0.1
0.3
-0.1
-0.1
0.1
-0.1
0.1
0.1
-0.1
-0.1
87
0.3
0.1
-0.1
-0.1
0.1
0.1
-0.1
0.1
-0.1
-0.1
-0.1
0.1
-10
0.1
-0.1
0.1
-0.1
0.1
-0.1
-0.1
0.1
-0.1
0.1
0.1
0.1
0.1
0.1
0.1
\rightarrow

為何要池化?

來看範例吧

1張圖\(\longrightarrow\)6張圖\(\longrightarrow\)6張圖\(\longrightarrow\)16張圖\(\longrightarrow\)16張圖\(\longrightarrow\)全連接

池化

卷積

卷積

池化

LeNet-5

卷積神經網路實作

實作目標

60000張訓練圖片

10000張測試圖片

達到97%的測試圖片準確率

卷積神經網路實作

keras.layers.Conv2D(3,3,
                   activation = 'relu')

輸出3張圖片

卷積核大小3*3

卷積神經網路實作

keras.layers.MaxPooling2D(pool_size = 2)
0.1
87
0.1
-0.1
-0.1
0.1
-0.1
0.1
-0.1
-0.1
0.1
-0.1
0.1
0.1
-0.1
-0.1
87
0.1
0.1
-0.1

來不及說的部份

activation = 'relu','sigmoid','tanh','softmax'
keras.optimizer.SGD
keras.optimizer.RMSprop
keras.optimizer.Adagrad
keras.optimizer.Adam

懸賞

測試集正確率99.5%

想深入機器學習原理?

3Blue1Brown

謝謝大家

<eos>

Made with Slides.com