微軟在VR上集成立體攝影頭，研發VST AR頭顯原型

文章相關引用及參考：映維網

微軟生產了大約40台這樣的頭顯

（映維網 2018年11月05日）微軟在2016年開始將立體攝影頭集成至VR系統中以開發AR頭顯，允許用戶能夠通過攝影頭的饋送看到現實世界。通過影片合成可以創建低成本的AR系統。

與光學AR相比，這種形式的AR存在幾個優點：低成本的攝影頭模塊僅為VR頭顯增加了大約40美元的零件價格；視場寬，水準和垂直方向達到100多度；可在陽光下運行，提供真正不透明的合成影像。即便是在室內，設備都可以改善合成影像的色彩再現和對比度。

微軟的第一個原型將現成的機器視覺攝影頭集成至商用VR頭顯，顯示分辨率約為單眼100萬像素，頻率為60Hz或90Hz（見圖1和圖2）。兩條USB 3.0數據線將攝影頭影像傳輸至主機CPU。

微軟編寫了自己的實時影像信號處理流程，以便對Bayer影像進行去馬賽克處理，校正透鏡失真和修正顏色。光子到光子的延遲大約是50ms。利用後期再投影單應性矩陣糾正這種延遲的效果出奇的優秀。

通過自定義同步電路板（圖3）令攝影頭與顯示器同步（由微軟研究院實驗室的硬體實驗室設計和構建）。它由來自頭顯顯示電路的垂直刷新信號觸發。任何商用頭顯的外部不存在這種信號，因此微軟打開了頭顯外殼，並在顯示電路板上探測引腳，從而找到了具有正確顯示更新頻率的信號。

這些早期原型展現了巨大的潛力，並鼓勵我們探索第二代頭顯，而微軟是從2017年夏天開始相關的項目。第一代的最大缺點是大型機器視覺攝影頭的體積和重量，以及顯示器的低分辨率。兩者都已經在第二代設備中得到解決。

新款頭顯採用了由微軟研究院實驗室的硬體實驗室設計和製造的定製攝影頭控制電路板，後者搭載了一個滾動快門影像傳感器OmniVision OV4689，可以在手機形狀參數中以90Hz的速度捕捉400萬像素。攝影頭與VR頭顯顯示器的同步是通過利用來自顯示控制器電路板的同步信號，但同步電路完全包含在攝影頭控制器電路板中。

與當前同等分辨率和幀速率的最小機器視覺系統相比，新的攝影頭模塊更小，重量更輕（圖4和圖5）。考慮到只有2 micron-square像素，影像品質也出乎意料地好。

利用Cypress CX3 MIPI to USB橋接芯片，傳感器影片可以通過USB 3.0數據線傳輸到主機。芯片的帶寬限制將90Hz的捕捉限制在1920×1440，而不是傳感器所能夠達到的完整2688×1520分辨率。

微軟的工程團隊編寫了自定義攝影頭控制器韌體，因此可以在主機PC上的軟體中設定攝影頭幀速率，曝光和其他傳感器參數。他們同時編寫了自定義USB驅動程式來處理通過USB 3.0數據線傳輸的高數據速率影片。光子到光子的延遲約為50毫秒，這時再次用後期的再投影單應性矩陣進行校正。

更高的分辨率顯著提升了現實世界的視場，輕巧的攝影頭模塊使設備比第一代原型更舒適。另外，混合現實頭顯的內向外追蹤也消除了之前原型的移動性限制。這個系統利用背包電腦，完全可移動。

微軟生產了大約40台這樣的頭顯，並由內部的各個事業群作為研究目的進行使用。據映維網了解，微軟還正在積極開發未來的原型，並努力令延遲時間維持在5-10毫秒範圍內。隨著現成頭顯的分辨率增加，他們將製作更高分辨率的原型。

The post 微軟在VR上集成立體攝影頭，研發VST AR頭顯原型 appeared first on 映維網.