MACHINE LEARNING

Lecture 4

邏輯回歸(logistic regression)

線性回歸 => 找趨勢

邏輯回歸 => 做分類

Linear Regression

Logistic Regression

模型

損失函數

優化方法

二元邏輯回歸

(binary logistic regression)

 

模型...?

Sigmoid function

h_{\theta}(x)=\frac{1}{1+e^{-\theta^{T}x}}

沒什麼用的資訊

其實他是一種廣義的線性回歸(?)

ln \frac{y}{1-y} = \theta^{T} x

只是多了對數

沒有人在乎

還是Cost function

J(\theta)=\frac{1}{m}\sum_{i=1}^{m} (cost func)
costfunc=-y\times log(h_{\theta}(x))-(1-y)\times log(1-h_{\theta}(x))
y=0 : -log(1-h_{\theta}(x))
y=1 : -log(h_{\theta}(x))

來看看他會長成甚麼酷樣

y=0

y=1

為甚麼要用這麼淇怪的函式???

他是凸函數:D

凸ㄉ

凹ㄉ

 

有一些函數會起起落落只會掉到局部最小值

怎麼優化...?

\theta = \theta - \alpha x^{T}(\hat y -y)

 

寫累了就直接不推導 沒問題的

好耶

實作

ML L4

By richardliang