主要想法

• 每張圖抽第一行 pixel 出來，相同顏色的地方基本上會連成一條直線

主要想法

• 投影點：同樣物體在不同 view 所對應的 pixel，會遵守這個式子

$$U_{s,t}(x,y) $$

$$U_{s',t'}$$

$$d_(x,y)$$

主 pixel

投影點

和左邊那張圖做的 disparity map

主要想法

• 譜分群：將樣本看作圖上的點，樣本間的相似度作為邊的權重；找出一種分割方法使得連接不同群的邊權重最低（目標損失函數最小）​​​
• 高解析度圖中的每個 pixel 都是一個 vertex，edge 連接到相鄰 8 個 view 的投影點，最後會形成一張有權無向圖；但因為投影點不會是特定的點、也可能不是整數，所以會連接到一整個 window

數學式

• 找到 F(u) 的最小值

平衡係數

0.0055

0.2

數學式

• 確保同一 view 中高、低解析度的 consistency

• data fidelity term

Sampling Matrix

Blurring Matrix

low-res

pixel value

high-res

pixel value

平方再取

2-norm

數學式

• Ａ圖 down sample 去掉的資訊可能會在 B 圖

• 強迫讓高解析度 uk 可以產生所有 vk'

warping matrix

數學式

• regularizer

• 譜分群

• leads to an adaptive smoothing, ideally along the EPI lines

• 圖上每條邊的權重的加總

數學式 - 權重計算

• weight - similarity between vertices

7*7 patch

Frobenius norm

可調整的常數

0.7229

數學式 - 權重計算

• Edge pruning

• 上下左右只保留兩條權重最大的邊

• 斜角保留四條

數學式 - 權重計算

• 要做出 symmetric adjacency matrix

• left-right disparity check

• WB (i, j) > 0 且 WB (j, i) > 0 （此式成立時兩者會自動相等）

最佳化演算法

• 我們可以觀察出這其實是一個 quadratic problem（二次規劃）

最佳化演算法

• Proximal Point Algorithm

• Conjugate gradient meth 共軛梯度法求

結果比較 - 2倍

結果比較 - 3倍