大數據文摘出品
編譯：蔣寶尚
人類非常聰明，我們可以通過觀察進行學習。無論是日常的洗手，還是驚人的雜技表演，對人類來說都是可以學習的。
然而，對於機器來說，通過觀察來學習是非常困難的。YouTube上面每分鐘都會有300小時的影片上傳，即使擁有如此龐大的數據庫，也很難用它來訓練機器。
因為，大多數模仿學習方法的表示必須非常簡單以及簡潔，例如動作捕捉（mocap）記錄的表示。但獲取動作數據可能非常麻煩，通常需要大量的儀器。動作捕捉系統也往往局限於室內環境，這顯然嚴重限制了機器的學習。
如果我們的機器人可以通過觀看影片片段來學習技能，那將會非常棒~
例如~
為了達到這種效果，伯克利大學提出了一個從影片（SFV）中學習技能的框架。利用電腦視覺和強化學習方面的最先進技術，系統使模擬角色能夠從影片剪輯中學習各種各樣的技能。給定一段動作影片，例如車輪或後空翻，特定對象能夠學習從而再現該動作，而無需任何手動姿勢注釋。
大數據文摘微信公眾號後台對話框內回復“SFV”獲得這篇論文
通過觀看影片，從而學習運動技能的問題一直在電腦領域備受關注。 以前的技術通常依賴於手工製作的控制結構，這些控制結構對產生的行為施加了強大的限制。因此，這些方法往往受限於可以學習的技能類型，並且，機器人模仿出來的動作看起來相當不自然。
觀看影片感受下最新成果?
最近，深度學習技術在簡單的機器學習任務中表現的非常棒。但是這些任務通常只是簡單的域轉換，並而連續控制的結果主要是在相對簡單的動態任務上進行的。
框架
該學習框架由三個部分組成：姿態估計、運動重構和運動仿真。輸入的影片首先由姿態估計階段進行處理，預測每個幀中參與者的姿態。接下來，運動重建階段將姿態預測合並為參考運動，並修複可能由姿態預測引入的偽影。最後，參考運動被傳遞到運動模擬階段，在該階段，一個模型被訓練成模擬運動。
姿勢估計
給定一個剪輯過的影片，使用一個基於視覺的姿態估計器來預測影片中的角色在每一幀中的姿態。姿態估計器是建立在人工網格恢復的基礎上的，該方法使用弱監督的對抗性方法訓練姿態估計器，從單目影像中預測姿態。雖然姿態標注是用來訓練姿態估計器的，但是一旦經過訓練，姿態估計器就可以應用到沒有任何注解的新影像上。
基於視覺的姿態估計器用於預測每個影片幀中參與者的姿態。
運動重構
由於姿態估計器對每個影片幀的預測是相互獨立的，因此幀間的預測可能不一致，從而導致抖動偽影。此外，儘管基於視覺的姿態估計器在最近幾年有了很大的改進，但它們仍然偶爾會犯一些相當大的錯誤，這可能導致不時出現一些奇怪的姿勢。因此，運動重建階段的作用是減少這些錯誤，從而產生一個更物理的參考運動，將更容易的模擬字元。
為此，優化參考運動，從而滿足公式
相鄰幀中的姿勢相似以便產生更平滑的運動。另外，wp和wsm是不同損失的權重。
該方法可以大大提高參考運動的品質，並能修複原始姿態預測產生的大量偽影。
運動重建前後參考運動的比較。運動重建減輕了許多偽影，並產生了更平滑的參考運動。
運動模擬
一旦有了理想的參考運動，可以繼續訓練模擬角色從而模仿運動。然後引入獎勵函數，其目標是鼓勵模擬的姿態與重構的參考運動在每個幀的姿態的差異降到最小。
這種看似簡單的方法的表現確是很棒，我們的角色能夠學習到各種具有挑戰性的雜技技能，其中每一項技能都可以從一個影片演示中學到的。
總結
總之，我們的使用的方法能夠從YouTube收集的各種影片剪輯中學習到20多種不同的技能。
我們的框架可以從影片演示中學習大量技能。
儘管我們角色的形態往往與影片中的人物有很大的不同，但是確實能夠模仿很多動作。作為一個更極端的形態差異的例子，我們也可以訓練一個阿特拉斯機器人來模仿影片中人物的動作
擁有一個模擬人物的優點之一是，我們可以利用模型將這些行為應用到新的環境中。在這裡，我們的模型，學習適應不規則地形的運動，而原始影片，也就是學習對象中中的人物是在平坦的地面中演示的。
儘管環境與原始影片有很大的不同，但學習算法仍然為處理這些新環境開發了相當合理的策略。
總之，這個學習框架實際上是采取最簡單的方法來解決模仿影片的問題。關鍵在於將問題分解為更易於管理的部分，為這些部分選擇正確的方法，並將它們有效地集成在一起。然而，模仿影片的技巧仍然是一個極具挑戰性的問題，我們還無法複製大量的影片片段：
但令人鼓舞的是，只要將現有的技術集成在一起，就可以在這個具有挑戰性的問題上走得更遠。希望這項工作將有助於未來的技術，讓機器能夠利用大量公開的影片數據，獲得一系列真正令人震驚的技能。
相關報導：
https://bair.berkeley.edu/blog/2018/10/09/sfv/
【今日機器學習概念】
Have a Great Definition
香港九龍灣馬來街興發大廈15樓D室