如何利用深度圖來創作6 DoF 360度影片

文章相關引用及參考：映維網

本文來自 JOSH GLADSTONE

（映維網 2018年03月27日）VR電影與攝影在2017年迎來了一輪爆發，一系列的專業和消費者360度相機陸續登陸市場。這種新技術為所有人帶來了全新的沉浸式影像捕捉。在數年前受到沉浸式劇場的啟發，我的朋友和我開始涉足VR影視，製作了一部互動式恐怖影片。當時《The Presence》這個項目是用消費者級別的相機進行拍攝，一種單視場360度影片.

我們的第二個項目是一部互動式MV，可以根據用戶視線進行無縫改變。對於《The Cooties-VR》這個項目，我們能夠更新到立體360度拍攝，這樣觀眾在佩戴VR頭顯時就能獲取真正的深度感。立體360度影像給我留下了深刻的印象，而我認為這是影片所能做到的努力。近來我一直在嘗試使用一種名為6自由度的新興技術。6自由度能夠為VR影像捕捉帶來全新的維度。

1. 什麽是6自由度

6自由度（DoF）是指在VR中的運動追蹤量。諸如三星Gear VR和谷歌Carboard都是3自由度設備，因為它們只能追蹤通過X，Y和Z軸的旋轉運動。它們無法追蹤位置。

環顧四周

360度圖片和影片本質上是圍繞球體的影像，而在VR中，你則是置身於球體的中間。想象一下，你身處在一個巨大的球形房間裡，其中包含著一個照片級真實感的自然場景。當你站在房間中央環顧四周時，這一切看起來將十分具有說服力。但當你開始走近牆壁時，你會發現平坦的球形牆缺乏深度。

在其中移動

即便是在立體360度之中，你仍然無法移動任何的3D形狀，只是兩幅影像附加在球形之上，每隻眼睛看到的視圖稍微有點不同。但通過深度圖，這一切都將發生改變。

2. 深度圖（Depth Maps）

深度圖是通過灰度陰影來表示離相機距離的影像。黑色區域代表最遠點，白色區域最接近點。

上為顏色圖，下為深度圖

諸如Google Jump和Nokia Ozo這樣的高端VR相機系統已經可以直接導出深度圖。我們通過Google Jump拍攝了我們的第二個項目。當我看到它可以導出的深度圖時，我便開始對它們的應用感到十分好奇。我非常熟悉Unity遊戲引擎，並且將它用於我們以前的兩個項目，因此我開始探索在Unity中深度圖的可能性。經過大量的實驗後，我編寫了一個能夠替換球體每個頂點的自定義著色器。

這個著色器起了作用。程式能夠將影片資訊實時轉化為一個紋理化的三維網格，你可以自由行走並環顧四周。當然，這並不完美。所有的距離都取決於深度圖的精度，而深度圖則是通過使用複雜電腦視覺算法來比較所有原始捕獲的影片影像所得出。這種算法在反射和重複模式方面存在問題，因此深度並不總是正確。但現在是早期階段，相信技術會隨著時間而改善。

先四周移動，然後通過深度圖進行球形位移

一些6自由度技術不需要360度影片/圖片捕捉和深度圖，它們是通過多台相機對準一個對象來實現6自由度（外向內）。這種方法通過所有的角度來捕捉對象，並利用攝影製圖法來將其轉化成3D對象。對於該技術，優勢是用戶可以環繞對象行走，並從所有方向瀏覽對象。但由於這沒有捕捉環境，所以對於複雜或多個對象的場景而言存在問題，並且需要大型設定和大量的處理。

與之對比，深度圖6自由度是是從單個點進行捕捉（內向外）。深度圖的優勢在於，你可以通過單個360度相機設定來捕捉整個太空。但因為是這種設定，你無法捕捉對象“背後”的資訊。例如，一輛車從場景中通過，相機將無法捕捉車輛背後的一切。這將在3D網格中導致一些嚴重的畸變，當你遠離原始點時這將變得十分明顯。

所以Adobe的Project Sidewinder和Facebook的Surround360 6DoF演示會限制用戶移動，因為離開原點越遠，圖片將變得越扭曲。通過不同的捕獲或處理技術，這種畸變可能會在未來得到改善甚至是解決，但現在問題依然存在。

3. 點雲城市

點雲是指3D太空中的大量點。每個點都有一個位置和一種顏色，處理數十萬甚至數百萬個點的情況並不少見。

那麽我們如何從照片或影片轉向點雲呢？如果你拍攝了一張分辨率為2880×1440的等矩形360度圖片，你擁有的是超過400萬個像素或顏色，因為每個像素代表一種顏色（2880×1440=4147200）。如果你接下來採用相同分辨率的等矩陣360度深度圖，則你擁有太空中單個點的400萬個距離。稍後進行一定的數學計算，你將獲得400萬種顏色和400萬個對應的太空位置，這對於表現為點雲來說非常合適。

點雲不存在與頂點位移技術相同的畸變問題，但它是用空白間隙來替換畸變。點雲十分有趣，但現在它們並沒有提供比頂點位移技術更多的優點。但在未來，點雲有可能成為通往更為有趣的6自由度技術的途徑。

4. 6自由度的優勢

你可能想知道，對於所有這些畸變和空白，為什麽說6自由度比3自由度好呢？在3自由度中觀看立體360度影片時，你必須保持直立，不能向前傾斜或靠邊傾斜。因為如果你這樣做，整個虛擬世界將與你一起傾斜，這會導致惡心。即使你只是將頭部向一側傾斜一點點，這也可能會破壞立體效果，並導致你感到眼花繚亂。但在6自由度中，你可以自由傾斜和移動。你可以自然地坐下和移動，並且保持完全沉浸感，同時可以實現最小的畸變（在有限的範圍內）。