Ensemble

「三個臭皮匠勝過一個諸葛亮」

使用多個弱分類器合成一個強分類器

每個分類器要不一樣
錯誤率要 < 0.5

	Bagging	Boosting
適用模型	複雜 (decision tree)	簡單 (decision tree stump)
處理問題	overfit	underfit
取樣方式	隨機	權重
合成方式	majority vote	權重

Binary Classification

令 $h$ 是一個二元分類器，輸出是 $-1$ 或 $+1$

$h: \{-1, +1\}$

若 $h$ 是弱分類器，我們希望集合多個不同的 $h$ 形成一個強分類器

$0$

$1$

$0.5$

weak

strong

error

令 $H$ 是合成的強分類器

$H(x) = sign(h^1(x) + h^2(x) + h^3(x))$

$x$ 是 samples

rate

$h$ 是哪種演算法?

可以是任何演算法，NN、decision tree

最簡單的例子：一層的 decision tree: decision tree stump

加權?

$h$ 在加權資料中具有最小 error rate

$w^{t=1}_{i=1}$

$w^{1}_{i=2}$

$w^{1}_{i=3}$

更正 $\epsilon$ 定義為加權型式

$\epsilon = \sum_{\text{wrong}} w_i$

$w^1_i = \frac{1}{N}$

$\sum{w_i} = 1$

其中 $w^1$ 代表第一輪資料的權重

$H(x) = ?$

$H(x) = sign( \qquad h^1(x) + \qquad h^2(x) + \qquad h^3(x) + \cdots)$

$\alpha^1$

$\alpha^2$

$\alpha^3$

數學公式

$\alpha^t = \frac{1}{2}ln\frac{1-\epsilon^t}{\epsilon^t}$

$w^{t+1}_i = \frac{w^t_i}{Z} \times \begin{cases} \sqrt{\frac{\epsilon^t}{1-\epsilon^t}} \quad \text{correct} \\ \sqrt{\frac{1-\epsilon^t}{\epsilon^t}} \quad \text{incorrect} \end{cases}$

$Z$ : normalize 總和為 $1$

推導......略！

性質

$\sum_{\text{correct}}{w^{t+1}} = \frac{1}{2}$

$\sum_{\text{wrong}}{w^{t+1}} = \frac{1}{2}$

$w^{t+1}_{i} = \begin{cases}\frac{w^t}{2}\frac{1}{1-\epsilon} \quad \text{correct} \\ \frac{w^t}{2}\frac{1}{\epsilon} \qquad \text{wrong} \end{cases}$

答對的 weight 經過總和再縮放會等於 $\frac{1}{2}$

答錯的 weight 也是

AdaBoost

Ensemble

「三個臭皮匠勝過一個諸葛亮」

Ensemble 做法

Bagging

Boosting

Bagging vs Boosting

AdaBoost

Binary Classification

Idea

Questions

$h$ 是哪種演算法?

$h^1$ 是哪一個 $h$ ?

$h^1$ 是哪一個 $h$ ?

加權?

Questions

$H(x) = ?$

AdaBoost 演算法

變數整理

數學公式

性質

總結

References