深度學習於灰階正射影像中色彩修復的應用
使用GAN與U-net等模型
— 建國中學 賴昱錡
此研究旨在為日治時期~民國初年的台北地區古街景影像上色，並探討各模型還原的效果，利用深度學習中GAN和U-Net的模型，以中研院台北歷史古地圖的黑白影像集作為資料庫，來訓練這些神經網路，進而達到街景影像上色的效果。這項研究對於歷史影像的鑑識、比對會有不錯的幫助，且能夠讓我們對於古照片的認知不再是抽象、黑白的，進而對歷史文獻中的描述、當時的地理環境可以有更精確的見解。
摘要
一、文獻探討
二、訓練模型之資料收集及處理，比較訓練各類型樣本
不同城市、時期、灰階的對比度)帶來的影響。
三、模型的建構及訓練
四、照片上色效果的分析(評分)
五、成果的優化及整合(開源、使用者介面?)
未來的研究歷程
一、常見用於照片色彩還原的模型之比較及優化
二、對於基隆(或大台北地區)日治~民初之灰階街景(俯瞰圖)進行色彩的還原，並分析/評分其上色的效果
三、了解使用不同樣本(訓練資料)帶來的影響
研究目的
NABC
Need
影像色彩之還原，並探討各角度下所拍攝之照片的呈現效果
1
各預訓練模型生成效果之比較
EX:GAN、U-net、pix2pix、GPT-2
2
此研究旨在為日治時期~民國初年的台北地區古街景影像上色，並探討各模型還原的效果。
3
不崇高的理想
除了希望在此項研究中，能探討各種變因帶來的影響、模型之間的比較外，也希望能將此研究的成果進行推廣，古街景的色彩還原可應用於臺灣史上的相關研究，或許之後對古時人們的生活狀況、建築、自然環境的理解也不會再如以往抽象
- 黑白照片不方便歷史學家調查與比對
- 網路提供之影像修復API對於空拍影像的還原效果頗差
歷史鑑識
- 能更確切了解當時的地理環境、建築特色、土地分配等資訊
- 降低調查地形時，以數位人工上色造成之誤差
地理研究
生成對抗網路
GAN
Autoencoder 的一種變形(Variant)
U-net
GPT-2
經常用於不完整文本或影像的還原
Approach
Open data
- GIS(地理資訊系統)
- 有關於正射影像，內政部國土測繪中心有發佈WMTS、臺北歷史古地圖、歷史航照等服務
- 搭配QGIS的使用選取適當的圖層、向量資料
- 以爬蟲取得彩色影像(轉為灰階作為訓練集)、灰階影像(作為驗證集)
Benefits
- 這項研究對於歷史影像的鑑識、比對會有不錯的幫助，且能夠讓我們對於古照片的認知不再是抽象、黑白的，進而對歷史文獻中的描述、當時的地理環境可以有更精確的見解。
- 歷史文化的永續性: 找回臺灣記憶中的顏色。
- 對於古照片的修復，許多科技公司如OpenAI、IBM均有提供色彩還原的功能，但對於黑白空拍影像的上色效果普遍不佳，而且這項研究除了可以讓黑白照片的還原範疇更加廣泛，也頗具能應用於過去地理環境及歷史人文之探查，相當實用。
- 減少人工數位上色所造成的誤差，也讓歷史資料的統整更加迅速、簡潔。
Competition
End of the lecture
That brings me to the end of my presentation, thanks for your attention.
Any question is welcomed. :D