來自 NVIDIA 、多倫多大學和矢量研究所的研究人員提出了一種新的運動捕捉方法，即使用昂貴的運動捕捉硬件。它僅使用視頻輸入來改進過去的運動捕捉動畫模型。
YouTuber 和圖形研究人員 Károly Zsolnai-Fehér?博士在他的 YouTube 系列文章 兩分鐘的論文 中詳細介紹了這項創新技術的研究。這段視頻強調了研究人員如何僅通過視頻輸入捕獲使用人工智能的個體，并將其轉化為數字化身。然后，他們可以給阿凡達一個物理模擬，以消除腳滑動和時間不一致或閃爍的傳統挑戰。請觀看以下視頻：
“在本文中，我們引入了一種新的框架，用于從原始視頻姿勢估計中訓練運動合成模型，而不使用運動捕捉數據，” Kevin Xie 在論文中解釋道。
“我們的框架通過接觸不變優化（包括接觸力的計算）實施物理約束，從而細化噪聲姿勢估計。然后，我們在細化的姿勢上訓練時間序列生成模型，合成未來的運動和接觸力。我們的結果表明，這兩種姿勢的性能都有顯著提升通過我們基于物理的細化和視頻的運動合成結果進行估計。我們希望通過利用大量在線視頻資源，我們的工作將導致更具可伸縮性的人體運動合成。”
圖 2 。 AI 使用運動捕捉來捕捉運動，將個人動畫化為數字化身，并提供物理模擬來準確模擬現實生活中的運動。
這個框架使人們離在虛擬世界中工作和玩耍更近了一步。它將幫助開發人員以更便宜的價格制作人體運動動畫，并提供更豐富的運動多樣性。從視頻游戲到虛擬世界，這個框架無疑將影響我們可視化人類運動合成的方式。
查閱 framework 或閱讀 Kevin Xie 撰寫的 基于物理的視頻人體運動估計與合成 論文， Tingwu Wang ， Umar Iqbal 、 Yunrong Guo 、 Sanja Fidler 和 Florian Shkurti 。
了解有關 多倫多 NVIDIA AI 實驗室?的更多信息。
?
