2D人體動作遷移與特徵分解

機器之心專欄

來源：北京大學前沿計算研究中心

作者：吳潤迪

計算機領域規模最大、參與人數最多的頂級會議 SIGGRAPH 2019 將在今夏火熱舉行。北京大學陳寶權課題組與北京電影學院和山東大學合作共有 3 篇論文獲得接收，另有一篇 ACM Transaction on Graphics 錄用論文，共 4 篇論文將在 SIGGRAPH 上宣讀。本篇為其中的一篇：《Learning Character-Agnostic Motion for Motion Retargeting in 2D》的解讀。其他論文解讀，敬請關注後續報導。

該論文由北京大學 2016 級圖靈班大三學生吳潤迪與北京電影學院 Kfir Aberman 合作，由北京大學前沿計算中心執行主任陳寶權教授和以色列希伯來大學 Dani Lischinski 教授、特拉維夫大學 Daniel Cohen-Or 教授共同指導。雙盲評審中，5 位評審人有 3 位給出最高分 strong accept！

簡介

人體動作遷移（motion retargeting），即將一個人的動作遷移到另一個人身上，對於計算機動畫領域有著重要意義。不同的人有著不同的骨架比例，如何在保持其自身骨架的同時嫁接上他人的動作是這一問題的難點所在。儘管人是在三維空間中運動，但大量的人體動作都是通過 2D 的視頻采集的。那麽傳統的 3D 動作遷移的方法應用到 2D 視頻中時，就首先需要 2D 到 3D 的人體姿態和相機參數的估計。因此，我們提出了一種新的、針對視頻播捉的 2D 人體動作的遷移方法，避免了 3D 人體姿態估計和相機參數恢復的過程。

Overview

方法概述

為了實現我們的目標，我們希望從視頻中學習到一個與人體骨架（skeleton）和相機位姿（camera view）無關的高層的動作特徵表示。方法的核心思想在於通過訓練一個神經網絡，將 2D 人體姿態序列分解成三個高層特徵，分別表示人體動作、人體骨架和相機視角。特徵分解之後，再重新組合，通過一個 decoder 解碼成目標的 2D 人體姿態序列。

Representation

Decompose and Recompose

為簡化描述，將人體骨架和相機位姿視為靜態特徵。訓練時，每次取兩個數據樣本 p_(i,j), p_(k,l)，分別輸入給兩個 encoder，得到各自的動作特徵 (m_i, m_k) 和靜態特徵 (s_j, s_l)。然後雙方交換動作特徵和靜態特徵，重新組合後再輸入給 decoder，得到預測的遷移結果 (p_(i,l), p_(k,j))，再與 ground truth 做 l2 loss。另外，訓練過程中也在特徵空間上加 triplet loss 用於動作特徵和靜態特徵更好的分離，公式詳見論文。Ground truth 是通過 Adobe Mixamo 3D 動畫集投影到 2D 構建的。

Training Procedure

結果分析

通過聚類分析的方法，我們驗證了所描述的框架起到了特徵分離的效果，在三個特徵空間上有著較好的聚類結構。應用我們的方法，可以從人體骨架和相機位姿兩個角度進行動作遷移。

Skeleton Retargeting

View Angle Retargeting

我們將結果與簡單的 2D 方法和先前的 3D 方法進行了比較，包括直接在 Mixamo 數據集與 ground truth 的對比和在真實視頻上的整個遷移流程的對比。在真實視頻的對比上，我們採用 OpenPose 來提取 2D 的人體姿態，用於比較的算法採用 HMR/VNect 3D 人體姿態估計。

Comparison on Mixamo Dataset

Comparison on Real Videos

應用

有了骨架上的動作遷移之後，我們可以基於此做圖像生成，這就是 performance cloning。之前的 performance cloning 方法大多使用簡單的 global scaling 做骨架轉換或者需要 3D 的先驗知識，因此限制了其應用範圍，而我們的方法不受此約束且能夠產生更加合理的結果。

Performance Cloning

討論

我們提出了一種分析視頻捕捉動作的技術，能夠直接在 2D 下做動作遷移，顯式地繞開了 2D 到 3D 的姿態/相機估計過程。作為模型訓練的副產物，特徵隱空間顯示出一定的聚類結構。儘管如此，動作特徵和靜態特徵的分離尚未完全，動作特徵空間依然包含部分靜態特徵的信息，如何更好地分離特徵依然是值得研究的方向。此外，儘管我們顯示的繞開 3D 重建的過程，與骨架和視角無關的動作特徵空間隱式地暗含著 3D 信息，如何利用這樣的動作空間輔助 3D 重建也是一個未來研究方向。