VFX (影像視覺特效)

陳信嘉

百度:視覺特效

VFX 百年發展歷史

第一階段
1902-1935

第二階段
1953-1969

第三階段
1977-1989

第四階段
1990-2006

當年那些視覺特效的大片

魔鬼終結者在1984年拍攝時CGI技術還在很不成熟的階段, 要顯現被燒到只剩骨架的T-800蹣跚而行也要終結目標的決心, 製作單位也是卯起來想辦法變通

VFX (影像視覺特效)

太多太多了......

(1994)

(1993)

(1995)

CGI 建模和動畫與深度學習

AI 現在正在改進角色的建模和動畫部分。傳統上, 大多數工作室通過要求建模師雕刻一個人來創建角色,然後將其交給裝配師擺好姿勢,然後交給動畫師使其移動。使用深度學習字符程序,此過程會有所改變。

 

深度學習不需要模型、裝備或肌肉來移動和創建角色。該程序可以給定一組人的圖像或電影,並分析所選人的結構、步態、特徵和表情。它使用人臉和身體上的地標來跟踪它們,以及對象最可定義的特徵是什麼。然後程序創建生成的面部和身體紋理以及人的默認姿勢,並開始為它們製作動畫。它還模仿了 主體周圍的光線,使編輯後的角色看起來更真實。

CGI 建模和動畫與深度學習

這個程序的一個很好的例子是 Instagram Face Swap 工具。它跟踪並映射您的面部,然後將其映射到另一個人的動作。這台機器正在被編程 來模仿和學習你是誰。

 

由於缺乏創建這些模型所需的建模、動畫和跟踪,Digital Domain 等公司正在積極將深度學習視為未來 的 可能性

 

實際效果和化妝師也會受到這項技術的影響。如果在後期進行面部調整和化妝更容易,那麼製作的拍攝部分可能需要更少的化妝師。

 

CGI 建模和動畫與深度學習

環境設計

這已經在視頻遊戲中實現了 。大多數視頻遊戲地形 都是程序 生成的。與創建玩家可能甚至不會注意到的數百萬個獨特的岩石相比,創建一塊岩石來縮放和散佈在您的場景中要容易得多。目前,如果您要創建一塊石頭來散佈在您的場景中,您仍然需要對其進行建模、展開和紋理處理。但現在可能有更簡單的方法。

 

NVIDIA 正在創建一種名為 GauGAN 的機器學習工具  可以把它想像成一個Photoshop工具,它 可以根據可以在 2D 平面上繪製的色調 生成 3D地形。然而,很多 藝術家似乎反對這個工具,因為它允許任何沒有創意或技術訣竅的人 看起來像一個資深和熟練的藝術家。 

 

CGI 建模和動畫與深度學習

轉描和旋轉

 

Rotoscoping 是從鏡頭背景中提取單個元素的藝術。人們傳統上使用綠色和藍色屏幕將 元素彼此 分開,在早期的動畫時代,這是通過不同的紙張層和屏幕來完成的。

 

現在,計算機程序可以在不使用這些工具的情況下從鏡頭中提取角色和對象。有些人通過掃描鏡頭中的面孔並識別 什麼是人或不是人來做到這一點。然後程序從鏡頭中追踪出這個人。這項技術最初是由政府和私人安全 系統開發的。

 

CGI 建模和動畫與深度學習

OpenFX開發的一個系統很好地完成了這個過程。它被稱為 Rotobot。 

 

正在開發一些其他程序來為角色的頭髮運動和實時復雜的角色運動提取遮罩。但是,創建此類程序的成本很高。VFX 初創公司Arraiy僅花費 1000 萬美元 來創建這樣的工具。Autodesk 的 Flame 也包含類似的 AI 用途。

 

CGI 建模和動畫與深度學習

動作捕捉

 

您可能聽說過視頻遊戲行業廣泛使用的動作捕捉。該系統旨在使用跟踪標記捕捉演員的動作。然後它獲取演員的動作並將其放置在 3D 裝配角色上。儘管如此,仍然需要動畫師來完成和調整動作捕捉的動畫,因為它看起來可能不真實。以電影《北極熊特快》為例。該電影是使用原始 MoCap 數據製作的,角色居住在恐怖谷中。

 

然而,加利福尼亞大學 正在使用機器學習程序來掃描隨機 YouTube 視頻並從視頻中抽取動作樣本。但他們正在開發這種算法 來清理 MoCap 數據,並進一步增強動作 。

 

CGI 建模和動畫與深度學習

Motion Capture (MoCap)

AI 模型應用在影片製作中

正在發生的事情:視覺效果方面的工作和新興技術。

 

深度假貨。以數位刪除和替換演員面部的熱門視頻。
例如與湯姆·霍蘭德和小羅伯特·唐尼合作的深度偽造的《回到未來》
或深度偽造的其他流行用途……成人視頻。

深度偽造程序是一種由卷積神經網絡 (CNN)、自動編碼器和生成對抗網絡 (GAN) 構建的 AI 。

深偽技術 Deepfake

湯姆·霍蘭德和小羅伯特·唐尼合作的深度偽造的《回到未來》

小勞勃·道尼湯姆·霍蘭德的《回到未來》[ deepfake ]

金凱瑞 (Jim Carrey) 演出

鬼店》(The Shining) 中的傑克托倫斯 (Jack Torrance)

席維斯史特龍 取代 阿諾史瓦辛格

演出《魔鬼終結者 2》(Terminator 2) 

AI 換臉 (Face Swapping)

迪士尼的『高解析度換臉』技術

擅於局部融合

高畫質解析度

然而,深度造假還可以 根據深度造假程序的隨機成像數據創建逼真的圖像。

 

深度造假技術對於電影製片廠來說也是巨大的,以防演員在拍攝電影時去世。工作室現在無需創建 3D 模型、為演員的面部製作動畫,然後創建材質,只需使用替身並將演員的面部映射到模擬對像上即可。

深偽技術 Deepfake

......