邊策 安妮 發自 凹非寺
量子位 出品 | 公眾號 QbitAI
通過牆壁漫反射的光影，能重建原始畫面麽？
現在可以了。這不是科幻。
一篇新論文登上了Nature，論文中顯示，僅僅用一台普通的數位相機，僅僅憑借牆上模糊不清的光影，就能還原最初的畫面。
先來考考大家。下面這個漫反射光影，你能看出什麽來？
其實這是一個蘑菇。那下面這個是什麽？
很相似是不是？但這是一張人臉……
你看不出來，但是厲害的算法，真的能憑借這種漫反射，還原逼真的原始畫面。無圖無真相。下面就是三個重建的實例。
首先放牆上的漫反射光影。
然後是算法重建的影像。
震不震驚！這個效果，簡直就是把一面牆，變成了一面鏡子！
不信？再來對比一下原圖。
無論是紅黑兩色組成的英文字母傳遞的暗號：
還是超級瑪利歐裡熟悉的蘑菇：
甚至神似辛普森一家中角色的戴紅色棒球帽的複雜頭像，這個算法都能夠通過一面牆一五一十還原出來：
這個AI算法無需借助昂貴的拍攝器材就能還原螢幕，甚至你在自己家都可以把實驗模擬操作模擬出來。
研究人員在一間普通的房間的一端放置了一塊螢幕，螢幕上顯示圖案，面向對面的牆壁。
這塊螢幕旁邊有一套普通的數位攝影機，同樣面向對面的牆壁，不過攝影機與螢幕間隔了一塊擋板，攝影機根本沒有機會直接拍攝到螢幕上的畫面。
研究人員採用了一台400萬像素的數位相機完成這個實驗，售價約為1400美元（約人民幣9500元），研究人員預計比此前用脈衝雷射相機探物便宜了至少30倍。
而這台數位攝影機要做的，就是通過拍攝螢幕發射到對面牆壁的光，還原螢幕上的影像。
實驗難度還在加大：研究人員還在房間中間隨手放置了一個不明位置的遮擋物體，可以是一塊不發光的板子，也可以是隨手拽過來的一把椅子，阻擋一部分光線到達牆壁。
在整個拍攝過程中，數位相機能捕捉到的只有牆上斑駁的光影。
在這項研究公布之前，這種想法被視為不可能的存在：普通攝影機、一塊普通螢幕，一把隨意搬過來的椅子加一面牆，如何還原螢幕上五彩斑斕的未知圖案，甚至是動圖？
甚至連專業物理學家都不看好。
荷蘭烏得勒支大學的光學物理學家Allard Mosk曾表示：“人們認為，在沒有任何先進儀器的情況下，隻利用牆面上漫反射的光重建影像幾乎是不可能的。”
沒想到，這群波士頓大學的研究人員做到了。
讓牆變成鏡子
先讓我們來複習一下初中物理知識：
物體對光線的反射分為鏡面反射和漫反射兩種。鏡子能讓我們看清物體，是因為鏡子表面光滑，能把光線按照某個固定方向反射回去。
但牆面是粗糙的，當螢幕上的光投射到上面時，光線會往各個方向反射，我們稱之為“漫反射”。
在常識中，我們是無法通過漫反射的混亂光線恢復物體原貌的。之前也有些技術能恢復影像，但對光線的要求極高，比如雷射，成本也高得多。而波士頓大學的Vivek K Goyal小組這項只需要研究普通照相機。
Mirror mirror on the wall！只要算法夠強，牆面也能變成鏡子！
與鏡面成像不同的是，在鏡子前個東西加與阻擋視線，而在螢幕和牆面之間插入障礙物，反而會降低我們還原影像的難度。
這看似違反常識，其實是有道理的。想象一下小時候做過的“小孔成像”實驗，當光線只能通過一個小孔時，螢幕的光就會在牆面上形成清晰影像。
顯示器和牆面之間的障礙物減少了雜散光線，讓入射光線更少，就能讓成像稍微清晰一點。
當然，Goyal的研究沒有把入射光線限制在太小的範圍裡，而是用算法從牆上的陰影中恢復螢幕原來的樣子。雖然現在只能恢復任天堂8位機那種簡單的影像。
以上只是定性的描述，若要精確恢復螢幕上的影像，我們需要建立牆面上各點亮度與螢幕亮度的函數關係：
在上面方程中，Pw是牆上的點，x是螢幕上的點，P0是障礙物上的點，nx和nw分別是顯示器與牆面的法向量，Pw-x表示的是從點x指向Pw的向量。
I(Pw)牆上點表示Pw的亮度，可以由相機拍攝的影像獲得；
f(x)表示螢幕上點x的亮度，實際代表著顯示器上的影像；
當P0在Pw和x之間時，V等於0，否則等於1;
μ表示顯示器指向不同角度光照差異；
b表示背景光對牆面亮度的貢獻。
以上方程中，I(Pw)我們可以用相機照片獲得，通過以上方程反向推算出f(x)。
如果沒有障礙物，V處處等於1，I(Pw)與f(x)的依賴關係太弱，反而不利於恢復影像，這也是在螢幕和牆面之間加入障礙物的原因。
以上方程太複雜，也不利於計算。既然螢幕的光照越強，牆上的點也就越亮，我們可以把上面的積分方程轉化為一個線性方程。
y=A(po)f+b
y是牆上各點的亮度，我們選取126×126個點，也就總共15,876個變量的方程組，其中A(P0)代表一個變換矩陣。
其實Goyal小組去年已經做出了相關成果，但當時必須要知道障礙物的形狀以及位置，才能恢復影像。
但這次他們把難度又提高了一個等級，僅僅知道障礙物的形狀，卻不知道位置。
Goyal的方法是，先估計出障礙物的位置，再通過平均位置附近的49組數據反向恢復影像。
再發展下去，他們的算法連障礙物是什麽形狀都不需要知道，隻通過牆上模糊的影子，就能它的樣子。
相關研究
通過AI算法分析光影預測直接看不到的物體不僅有這一種方法，早在2010年，MIT Media Lab的研究人員已經有了成果。
和波士頓大學不同，這種方法需要單獨購置特殊設備，即一台能夠發射出雷射的相機。
與耳朵接收回音類似，這種方法通過手機雷射照在物體表面的反射路徑，算法預測角落中直接看不到的物體。
2017年，MIT電腦科學和人工智能實驗室（CSAIL）又開發了一種新算法，這個AI系統可以借助智能手機的攝影頭，收集光反射的相關資訊，檢測隱藏在障礙物後的任何物體，還能實時測量它們的移動速度和行進軌跡。
想象一下，你走在一條“L”形的走廊上，拐角的另一邊放置了一堆雜物。這些雜物投射在你視線內地面上的少量光線，形成一個模糊的陰影，我們稱之為“半影”。
AI系統就利用了智能手機攝影頭中半影的影片，將一系列一維影像組合在一起，揭示周圍物體的資訊。
研究人員將這個“透視眼”系統稱為“角落相機”（ConerCameras），研究人員表示，這種方法在室內和室外的效果都還不錯。
這種方法也有弊端，如果如果隱藏的場景本身光線暗，系統的識別也會有問題，此外，智能手機的相機像素也影響收集的影像品質，相機裡障礙物越遠，系統收集的影像品質也越差。
但在Nature最新研究中，這種弊端不會顯現，波士頓大學的研究人員表示，從理論上講，你不僅可以拍攝螢幕，還可以拍攝同一房間內任何燈光昏暗的物體。
傳送門
可移步Nature原文繼續了解，論文Computational periscopy with an ordinary digital camera：
作者：Charles Saunders, John Murray-Bruce & Vivek K Goyal
作者系網易新聞·網易號“各有態度”簽約作者
—完—
2018中國人工智能領航企業
加入社群
量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字“交流群”，獲取入群方式；
此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。
進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字“專業群”，獲取入群方式。（專業群審核較嚴，敬請諒解）
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
喜歡就點「好看」吧 !
香港九龍灣馬來街興發大廈15樓D室