機器學習導論
講師：溫室蔡
機器學習[1]
- 機器學習的原理
- 背後的數學概念
- 手刻人工智慧
我們會教你
- 使用機器學習框架
- 怎麼餵 AI 指令
- AI 相關的哲學問題
我們不會教你
| 棋類遊戲 | 圖像生成 | 自然語言 |
|---|---|---|
| AlphaGo (2016) | DALL-E (2021) | GPT-3 (2020) |
| AlphaGo Zero (2017) | MidJourney (2022) | LaMDA (2022) |
| AlphaZero (2018) | StableDiffusion (2022) | ChatGPT (2022) |
機器學習發展趨勢
| 中文 | 演算法 | 人工智慧 | 機器學習 | 深度學習 |
|---|---|---|---|---|
| 英文 | Algorithm | Artificial Intelligence (AI) |
Machine Learning (ML) |
Deep Learning (DL) |
| 定義 | 一套解決問題的流程 | 表現出智慧的人造機器 | 透過讓機器自己學習來達成人工智慧 | 使用神經網路來進行機器學習 |
| 範例 | 廣度優先搜尋 | 遊戲 NPC | 基因演算法 | AlphaGo |
名詞解釋
三種學習模式
監督式學習
訓練資料集包含
人工貼上的標籤
非監督式學習
資料集不含標籤
只能從資料本身找出模式
強化學習
讓機器根據環境進行決策
再依結果給予獎勵
從一堆已知的資料點
監督式學習－迴歸問題
找出最能正確預測新資料的方程式
線性迴歸（Linear Regression）
(x_i,y_i)
\mathcal{L}(\beta_0, \beta_1)=\displaystyle\sum_{i=0}^{n}(y_i-\hat{y}_i)^2=\displaystyle\sum_{i=0}^{n}(y_i-(\beta_0 +\beta_1 x_i))^2
y=\beta_0+\beta_1 x
微分可以得到函數圖形的「斜率」
重要工具－微分
可以拿來找最大最小值（斜率為 0 處）
y=x^2-3x+2\Rightarrow\dfrac{dy}{dx}=2x-3
2x-3=0\Rightarrow x=\dfrac{3}{2}\text{
has minimum } y
將線性回歸的損失函數
解（簡單）線性迴歸方程式
分別對兩個參數偏微分就可以了
\dfrac{\partial\mathcal{L}}{\partial \beta_0}=0 \Rightarrow \beta_0=\bar{y}-\beta_1\bar{x}
\dfrac{\partial\mathcal{L}}{\partial \beta_1}=0 \Rightarrow \beta_1=\dfrac{\displaystyle\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\displaystyle\sum_{i=1}^{n}(x_i-\bar{x})^2}
將一堆分類好的資料點
監督式學習－分類問題
找出能把它們分割的那條線
支撐向量機（Support Vector Machine）
\vec{w}
\vec{x}_i
支撐向量
\vec{w} \cdot \vec{x} + b=0
\vec{w} \cdot \vec{x} + b=1
\vec{w} \cdot \vec{x} + b=-1
支撐向量機的最小化問題
SVM 要在資料點不落入兩個超平面中間的條件下
使得兩個超平面有最大間隔
兩個超平面的間隔為
\dfrac{2}{||\vec{w}||}
因此目標是「在 的條件下，
y_i(\vec{w}\cdot\vec{x}_i+b)\geq1
最小化 。」
||\vec{w}||
其中 為資料點的「顏色」，值為 1 或 -1
y_i
支撐向量機－軟間隔
「硬間隔」SVM 並不好分析，也難以用於真實資料
因此通常使用「軟間隔」，容許部分錯誤分類
此時可定義損失函數：
\mathcal{L}(\vec{w}, b)=\lambda||\vec{w}||^2+\dfrac{1}{n}\displaystyle\sum_{i=1}^{n}\max(0, 1-y_i(\vec{w}\cdot\vec{x}_i+b))
其中 可控制對錯誤分類的容許程度
\lambda
支撐向量機－軟間隔
SVM 的情況不太能像線性回歸那樣一步到位
\dfrac{\partial\mathcal{L}}{\partial \vec{w}}=
\begin{cases}
2\lambda\vec{w}-y_ix_i & \text{if $y_i(\vec{w}\cdot\vec{x}_i+b)<1$} \\
2\lambda\vec{w} & \text{otherwise}
\end{cases}
但我們依然可以用偏微分求出梯度來更新參數
\text{For every $i$ : }
\dfrac{\partial\mathcal{L}}{\partial b}=
\begin{cases}
-y_i & \text{if $y_i(\vec{w}\cdot\vec{x}_i+b)<1$} \\
0 & \text{otherwise}
\end{cases}
支撐向量機－Kernel
對於非線性問題（無法用一條直線分類的問題）
SVM 有時可以透過 Kernel 來解決
平視圖
支撐向量機－Kernel
使用 Kernel：二次方程式
平視圖
一堆沒有標籤的資料點
非監督式學習－聚類問題
要機器自己把相近的分成一類
迭代更新 K 個群心
K-means clustering
以把資料分成 K 類
放置好 K 個群心（註）
K-means 迭代流程
將各個資料點分配到最近的群心
K-means 迭代流程
各群心更新位置到自己群的重心
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
重複
K-means 迭代流程
完成！
K-means 迭代流程
可以看到 K-means 就跟前面的演算法一樣
K-means 的最小化問題
都有一個要最小化的值
在這裡是「群心與群內各點之距離和」
但它卻不是先以數學分析
而是直接以演算法迭代來達成
群心的初始分布對聚類結果有一定的影響
K-means 群心初始化方法
常用的初始化方式就有三種
- Forgy：從資料中隨機挑 K 個當初始群心
- 隨機劃分：把每個資料點隨機分配到 K 個群當中
拿這些群的群心當初始群心
- K-Means++：一個一個從資料中隨機挑群心
離已經挑過的越遠越容易被挑中
感知器（Perceptron）
x_1
x_2
x_3
\{-1, 1\}
\displaystyle\sum+b
sgn
w_1
w_2
w_3
權重
資料
加總＆加上偏置
激勵函數
輸出
感知器的數學表述
感知器的數學表述與 SVM 極為相似
輸出為
sgn(\vec{w}\cdot\vec{x}+b)
損失函數
\mathcal{L}(\vec{w}, b)=-\dfrac{1}{n}\displaystyle\sum_{i=1}^{n}y_i(\vec{w}\cdot\vec{x}_i+b)
\dfrac{\partial\mathcal{L}}{\partial \vec{w}}=-y_ix_i, \dfrac{\partial\mathcal{L}}{\partial b}=-y_i
感知器的定位
感知器也是一種線性分類器
與 SVM 不同的是，它並不追求最大化邊界
只要找出能分類兩組資料的直線就好
以分類而言其實是比 SVM 差的
那感知器到底有什麼用途呢？
敬請期待
?
Intro to Machine Learning
By ck1100762蔡政廷
