影像處理

Outline

• 圖像
• 空間濾波
• 物件辨識
• 影片
• 動作估計
• 物件追蹤
• 行為辨識

圖像

Image

顏色的表示方法

• RGB 三原色的組合
• 三種都是 0 ~ 255
• 數字越大越亮

• 你各位資訊課應該都上過了

空間濾波

Spatial Filtering

預處理程序

• 使神經網路方便處理影像
• 對圖像進行放大縮小、平移等操作
• 空間濾波就是一個

濾波器 filter

• 又叫做遮罩 mask 或核心 kernel
• 在圖片中的每個區域輪流蓋上濾波器
• 紀錄在區域中放上濾波器的結果
• 把圖片的某些特性轉成可量化的數據
• 濾波器可以有很多種長相

卷積運算

Convolution

1

2

3

4

5

6

7

8

9

1

2

3

4

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8

9

濾波器

平均濾波器

權重平均濾波器

索伯濾波器

索伯濾波器

深度學習 X 物件辨識

卷積神經網路

• 不會跟上下層所有神經元互連
• 找出圖片特徵後再往下傳遞
• 很強

AlexNet

. . .

3

96

結果

全連接層

池化層

• 壓縮輸出
• 縮小畫面的感覺
• 平均和最大池化層

池化層

• 壓縮輸出
• 縮小畫面的感覺
• 平均和最大池化層

激活層

Activation Layer

激活層

Activation

• 讓函數非線性
• 減少運算量
• 很像實際神經網路

來看看常見的 activation function 吧

常見的 Activation Function

tanh(x)

標準化指數層

• 將輸入經過函數後輸出為 0 ~ 1 之間的值
• 用 sigmoid 解決

訓練

• 訓練集
• 驗證集
• 測試集

過度擬合

Overfitting

解決方式

• 更多的訓練資料
• 減少神經網路容量
• 權重正則化
• 丟棄法

動作估計

Motion Estimation

也是把影像壓縮

• 先做卷積運算
• 把結果相近的區塊比較並判定
• 了解物件的位移情況

物件追蹤

Object Tracking

物件追蹤在幹嘛？

• 連續的動作估計
• 離上一畫格夠近的就考慮為同一物件
• 如果上一畫格沒有就往前找幾格

大小不一樣怎麼辦？

• 把顏色相近的區塊全部考慮
• 等比例切割

大小不一樣怎麼辦？

• 把顏色相近的區塊全部考慮
• 等比例切割

大小不一樣怎麼辦？

• 把顏色相近的區塊全部考慮
• 等比例切割

大小不一樣怎麼辦？

• 把顏色相近的區塊全部考慮
• 等比例切割

大小不一樣怎麼辦？

• 把顏色相近的區塊全部考慮
• 等比例切割

行為辨識

問題

• 同類別中可能差異大
• 異類別中可能差異小
• 無關的東西的存在

注意力機制

• 你猜這是甚麼呀
• 將不重要的資訊去除