MACHINE LEARNING
Lecture 7
Gradient Checking
隨機初始講完ㄌ
Gradient Checking
檢查有沒有哪裡爛掉了
怎麼知道反向傳播沒寫錯?
用近似值去逼近
雖然效率有點差但是至少可以知道有沒有裂開
再來看看損失函數
gradapprox = \frac{J(\theta+ \epsilon)-J(\theta - \epsilon)}{2 \epsilon}
通常會取 \epsilon 為 10^{-4}
怎麼判斷他是好的?
difference = \frac{||grad-gradapprox||_{2}}{||grad||_{2}+ || gradapprox||_{2}}
這個值小於 10^{-7}應該是好的
補宜下
sigmoid偏微長這樣
\frac{\partial sigmoid(z) }{\partial z} = sigmoid(z)(1-sigmoid(z))
食酢
來補上次的鍋了qwq