CVPR（Conference on Computer Vision and Pattern Recognition）即國際計算機視覺和模式識別會議，是IEEE主辦的全世界最大的，也是最權威的計算機視覺領域會議，在國際上享有盛譽并具有廣泛的學術影響力。 網(wǎng)易互娛AI Lab針對實際業(yè)務中的視頻動作捕捉需求，提出了一套創(chuàng)新、高效的產(chǎn)品級手部動作捕捉方案并整理成論文《Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation》，被CVPR 2022接收。

圖（左和中）為雙視角拍攝的圖，圖（右）為游戲?qū)嶋H角色效果

　　動作捕捉技術在影視和游戲行業(yè)已得到廣泛的應用，其中最常用的技術方案是光學動作捕捉。光學動捕需要演員穿著緊身動捕服，并且在身上粘貼光學標記點，在配置好光學動捕設備的場地進行表演和動作錄制。光學動捕設備通常價格不菲，同時還需要固定的室內(nèi)場地，使用成本和門檻較高，很多小型動畫工作室只能望而卻步。如果可以從手機拍攝的視頻中高精度地捕捉人物動作，那將是動畫師的福音。

　　網(wǎng)易互娛AI Lab針對這個需求開發(fā)了iCap —— 一款產(chǎn)品級的視覺動作捕捉工具，只需用手機從兩個視角拍攝同一組人物動作，便可快速高質(zhì)量地捕捉到人物的動作，得到骨骼動畫數(shù)據(jù)。

　　相比于傳統(tǒng)光學動作捕捉流程，iCap有以下優(yōu)勢：

　　1.快速產(chǎn)出：能夠快速產(chǎn)出動作數(shù)據(jù)，更適用于敏捷開發(fā)，方便前期試錯；

　　2.隨時隨地：只需光照條件足夠讓拍攝清晰，便可隨時隨地拍攝視頻，產(chǎn)出結果；

　　3.節(jié)約人力，節(jié)約成本；

　　值得一提的是，iCap不僅支持身體關節(jié)數(shù)據(jù)捕捉，也支持手部數(shù)據(jù)捕捉，CVPR被錄用的論文，就是iCap中的手部動作捕捉方案。

　　現(xiàn)有的手部動作捕捉方法大部分是將手部信息和身體信息分開考慮的，即這些方案的輸入是單純的手部視覺信息。這樣做的問題是，捕捉到的手部動作可能會和手臂動作存在不匹配，不協(xié)調(diào)的情況，在整合進全身動作捕捉數(shù)據(jù)時容易產(chǎn)生不合理的姿態(tài)。另外，現(xiàn)有的手部動作捕捉方法大多都只考慮了當前幀的信息，未能考慮幀間連續(xù)性，輸出的動作容易出現(xiàn)抖動，也難以應對復雜的手部動作捕捉場景（模糊、遮擋等）。這些問題都導致現(xiàn)有方案比較難以推向?qū)嶋H應用。

　　為解決現(xiàn)有方案的痛點，網(wǎng)易互娛AI Lab提出了解決方案，該方案的主要貢獻點如下：

　　1.考慮到手臂動作和手部動作之間的相關性，設計模型同時預測手臂和手部動作；通過利用此相關性，輸出的手臂和手部姿態(tài)會更加合理；

　　2.通過兩個transformer模型分別在時間和空間維度上提取相關性信息，使得手臂和手部的相關性能夠更好地被利用，與此同時也能輸出幀間連續(xù)的結果；另外，論文還定制了合適的目標函數(shù)以獲得準確而穩(wěn)定的輸出序列；

　　下圖展示了iCap中手部動作捕捉算法的整體框架及整體的效果，目前該算法已接入視覺動作捕捉產(chǎn)品iCap中，并持續(xù)幫助多個游戲工作室進行動作資源輔助生產(chǎn)。

整體框架

部分實驗效果

   【免責聲明】本文僅代表合作供稿方觀點，不代表和訊網(wǎng)立場。投資者據(jù)此操作，風險請自擔。