使用GAN與U-net等模型
— 建國中學 賴昱錡
此研究旨在為日治時期~民國初年的台北地區古街景影像上色,並探討各模型還原的效果,利用深度學習中GAN和U-Net的模型,以中研院台北歷史古地圖的黑白影像集作為資料庫,來訓練這些神經網路,進而達到街景影像上色的效果。這項研究對於歷史影像的鑑識、比對會有不錯的幫助,且能夠讓我們對於古照片的認知不再是抽象、黑白的,進而對歷史文獻中的描述、當時的地理環境可以有更精確的見解。
一、文獻探討
二、訓練模型之資料收集及處理,比較訓練各類型樣本
不同城市、時期、灰階的對比度)帶來的影響。
三、模型的建構及訓練
四、照片上色效果的分析(評分)
五、成果的優化及整合(開源、使用者介面?)
一、常見用於照片色彩還原的模型之比較及優化
二、對於基隆(或大台北地區)日治~民初之灰階街景(俯瞰圖)進行色彩的還原,並分析/評分其上色的效果
三、了解使用不同樣本(訓練資料)帶來的影響
影像色彩之還原,並探討各角度下所拍攝之照片的呈現效果
各預訓練模型生成效果之比較
EX:GAN、U-net、pix2pix、GPT-2
此研究旨在為日治時期~民國初年的台北地區古街景影像上色,並探討各模型還原的效果。
除了希望在此項研究中,能探討各種變因帶來的影響、模型之間的比較外,也希望能將此研究的成果進行推廣,古街景的色彩還原可應用於臺灣史上的相關研究,或許之後對古時人們的生活狀況、建築、自然環境的理解也不會再如以往抽象
生成對抗網路
Autoencoder 的一種變形(Variant)
經常用於不完整文本或影像的還原
That brings me to the end of my presentation, thanks for your attention.
Any question is welcomed. :D