語音辨識
圖像辨識
玩遊戲
數值預測
機器人
自駕車
學習
有用的模型
神經元
訊號
先評分,再調整\(w和b\),讓分數變好
0
1
2
3
4
5
6
7
8
9
0.25
0
0
0.03
0
0
0.1
0.4
0
0.8
0
0
0
0
0
0
0
0
0
1
損失函數
隨機選\(w和b\),計算損失函數
尋找\(w\pm\Delta w\, ,b\pm\Delta b\),使得損失函數值下降最多
更新\(w和b\)
\((w_{12},b_{12})=(1,0)\),\(\Delta=0.5\)
\((w_{11},b_{11})=(0.5,0)\),\(\Delta=0.5\)
\((w_{10},b_{10})=(0,0.5)\),\(\Delta=0.5\)
\((w_9,b_9)=(-0.5,0.5)\),\(\Delta=0.5\)
\((w_8,b_8)=(-1,1)\),\(\Delta=0.5\)
\((w_7,b_7)=(-1.5,1)\),\(\Delta=0.5\)
\((w_6,b_6)=(-2,1.5)\),\(\Delta=0.5\)
\((w_5,b_5)=(-2.5,1.5)\),\(\Delta=0.5\)
\((w_4,b_4)=(-3,2)\),\(\Delta=0.5\)
\((w_3,b_3)=(-3.5,2.5)\),\(\Delta=0.5\)
\((w_2,b_2)=(-4,3)\),\(\Delta=0.5\)
\((w_1,b_1)=(-4.5,3.5)\),\(\Delta=0.5\)
\((w_0,b_0)=(-4,4)\),\(\Delta=0.5\)
每個模型都有上萬個參數(w和b)
每次調整都有3的上萬次方種可能
於是...
Text
Text
業配一下
"沒有微分解決不了的問題,如果有,二次微分"
--牛頓沒說過
我造了五個學妹
生於108/5/25,卒於108/6/6
讀檔案O
蓋好模型X
寫好訓練公式X
300行屍體
讀檔案O
蓋好模型O
寫好訓練公式X
又300行屍體
讀檔案O
蓋好模型O
寫好訓練公式O
只有輸入和輸出層
答對率80%
比三歲小孩還笨
第四個學妹
讀檔案O
蓋好模型O
寫好訓練公式O
有輸入、輸出、一層隱藏層
答對率96%!!!
讀檔案O
蓋好模型O
寫好訓練公式?
有輸入、輸出、兩層隱藏層