這是 Adobe 放出的新技能，只需要幾秒秒，就能讓這張靜態(tài)照片 get 立體感!

這種常用于紀(jì)錄片等視頻的后期制作的特效，名為 Ken Burns Effect。

它可絕對不是簡單的縮放哦~我們一起來對比下看看：

左側(cè)是常用的2D縮放，它通過對靜止圖像的平移和縮放來產(chǎn)生視差，實現(xiàn)了動畫效果。而右邊 Adobe 這種 3D 效果不僅有平移和縮放，還有視角轉(zhuǎn)換，給人更真實和更沉浸的體驗。

我們再來看下這個例子：左邊是普通縮放，右邊則是3D魔法。

我們都知道，透視原理決定了前景比背景的移動和縮放更劇烈。所以當(dāng)前景移動時，背景除了移動也要跟著修復(fù)。通過對比我們會發(fā)現(xiàn)：Ken Burns Effect 的背景修復(fù)十分自然，手法明顯比其它“前輩”更高級：

用戶可以定義如何生成要縮放和平移的矩形，還可更改轉(zhuǎn)換的持續(xù)時間和插值器，并暫停/恢復(fù)它們。

即使處理的圖片背景的色彩和結(jié)構(gòu)復(fù)雜也不怕，比如像這樣往前靠近沙發(fā)，沙發(fā)會擋住后面窗戶外的草地：

如果你覺得，剛才的視角變化只是由遠(yuǎn)及近，不夠復(fù)雜。那就看一眼這條走廊吧，你仿佛正置身其中，就像在從上仰的視角變得平視前方。

再來看看這個：仿佛你打算走上臺階，所以正在朝著它的方向，慢慢轉(zhuǎn)身。

除了風(fēng)景之外，人像也不在話下。比如草地上的新娘與伴娘團，伴隨著畫面由遠(yuǎn)及近和由近及遠(yuǎn)的運動，簡直活靈活現(xiàn)好嘛~~

用單個圖像合成逼真的相機移動的效果要解決兩個基本問題。首先，要設(shè)置一個新的相機位置，合成新視圖，并且需要準(zhǔn)確地恢復(fù)原始視圖的場景幾何結(jié)構(gòu)。

其次，根據(jù)預(yù)測的場景幾何結(jié)構(gòu)，要將新視圖在連續(xù)的時間線上合成，這就涉及到去遮擋這樣的圖像修復(fù)手段。

研究人員們用了三個神經(jīng)網(wǎng)絡(luò)來構(gòu)建處理框架。

用以訓(xùn)練的數(shù)據(jù)集是用計算機生成的。研究人員從 UE4 Marketplace2 收集了32種虛擬環(huán)境，用虛擬攝像機在32個環(huán)境中捕獲了134041個場景，包括室內(nèi)場景，城市場景，鄉(xiāng)村場景和自然場景。

每個場景包含4個視圖，每個視圖都包含分辨率為512×512像素的顏色、深度和貼圖。

指定一張高分辨率圖像，首先根據(jù)其低分辨率版本估計粗糙深度。這一步由 VGG-19來實現(xiàn)，根據(jù)它提取的語義信息指導(dǎo)深度估計網(wǎng)絡(luò)的訓(xùn)練，并用具有g(shù)round truth 的計算機合成數(shù)據(jù)集進(jìn)行監(jiān)督。這樣就能提取出原始圖像的深度圖。

第二個網(wǎng)絡(luò)是 Mask R-CNN。為避免語義失真，平行于 VGG-19，用 Mask R-CNN 對輸入的高分辨率圖像進(jìn)行分割，而后用分割的結(jié)果來對深度圖進(jìn)行調(diào)整，以確保圖中的每個對象都映射到一個相干平面上。

最后利用深度細(xì)化網(wǎng)絡(luò)，參考輸入的高分辨率圖像，對提取出的粗糙深度進(jìn)行上采樣，確保深度邊界更加精確。

之所以要采用深度細(xì)化網(wǎng)絡(luò)，是因為裁切對象的過程中，對象很可能在邊界處被撕開。有了從輸入圖像獲得的點云和深度圖(點云指通過3D掃描得到的物品外觀表面的點數(shù)據(jù)集合)，就可以渲染連續(xù)的新視圖了。

不過，這里又會出現(xiàn)一個新的問題——當(dāng)虛擬攝像機向前移動的時候，對象本身會產(chǎn)生裂隙(下圖中高塔右側(cè)像被網(wǎng)格切開了)。

為了解決這個問題，研究人員采取了結(jié)合上下文感知修復(fù)的方法。這么做能產(chǎn)生更高質(zhì)量的合成視圖。上下文信息劃定了相應(yīng)像素在輸入圖像中位置的鄰域，因此點云中的每個點都可利用上下文信息來進(jìn)行擴展。

具體而言，第一步是進(jìn)行顏色和深度圖像修復(fù)，以從不完整的渲染中恢復(fù)出完整的新視圖，其中每個像素都包含顏色，深度和上下文信息。然后利用圖像修復(fù)深度將圖像修復(fù)顏色映射到點云中新的色調(diào)點。

重復(fù)這一過程，直到點云充分?jǐn)U展，填補空隙，可以實時地呈現(xiàn)完整且連續(xù)的畫面。

129

為了驗證這個新方法效果如何，研究團隊搞了個“非正式用戶調(diào)研”。他們在油管上找了30個人創(chuàng)造的 3D Ken Burns 視頻，將其分成“風(fēng)景”，“肖像”，“室內(nèi)”，“人造室外環(huán)境”四組，每組隨機抽取三個視頻作為樣本。

8位志愿者參與到了這個測試之中。團隊為每個志愿者分配了一張靜態(tài)圖，并提供了作品作為參考，要求他們使用新方法和 Adobe After Effects 模板、移動 App Viewmee 這兩種 Ken Burns 制作工具創(chuàng)作類似的效果。

志愿者會依據(jù)自己的意見評價每種工具的可用性和質(zhì)量。最后他們不論是從效果上，還是易用性上，Adobe 的這個新工具顯然好得多。

這項研究的第一作者，是波特蘭州立大學(xué)的博士生 Simon Niklaus，研究方向為計算機視覺與深度學(xué)習(xí)。他在 Adobe Research 實習(xí)時完成了這項工作，目前他正在Google實習(xí)。

他的博士生導(dǎo)師 Feng Liu 也是這一研究的作者之一。這項研究還有另外兩名作者 Long Mai 和 Jimei Yang，都是 Adobe 的研究科學(xué)家。

目前，Simon Niklaus 已經(jīng)計劃公布代碼以及數(shù)據(jù)集，但還沒有得到批準(zhǔn)。因為這項工作是“實習(xí)生”完成的， Adobe在開源方面都比較大度。當(dāng)然，這也無法排除他們商業(yè)化的可能性。