在當今的數字時代，對于希望將愿景變為現實的電影制作人、游戲開發者和內容創作者而言，創作逼真的動畫人物至關重要。Reallusion 處于這種尖端藝術形式的前沿，使用了強大的人工智能技術，例如NVIDIA Audio2Face和NVIDIA Maxine制作逼真的數字人和角色動畫。
在捕捉同步面部動畫的同時匹配音頻，并在單個通道中創建整體輸出方面存在重大挑戰。Reallusion 采用 Maxine AR 解決了這一問題，繞過了這種復雜的多軌定時同步，使用鏈式特效創建了革命性的 motion capture（mocap）解決方案，可以將動畫和音頻有效地生成單個流。
變革角色表演：Audio2Face 與 Reallusion 的 iClone 和 Character Creator 集成
Audio2Face 是一種先進的 AI 技術，可以僅通過音頻或文本輸入自動生成富有表現力的面部動畫和唇部同步。它支持多種語言，并且可以為說話甚至是說話的角色制作動畫。
它不僅限于使用多種語言進行唇部同步對話。最新獨立版本的 Audio2Face 還包含了為逼真的面部表情制作動畫的功能，允許動畫師使用 slider 和 keyframe 控制，通過角色的表情與語音動畫一起，為最復雜的情緒和個性制作動畫。
Reallusion 已經通過其 Character Creator 和 iClone 應用程序中的插件集成 Audio2Face，從而實現無縫的 AI 輔助動畫工作流。只需單擊一下，您就可以準備用于動畫的資產，該資產會生成與任何提供的音頻軌道相匹配的實時面部運動。然后，生成的動畫可以直接過渡到 iClone，從而在將其渲染到 3D 應用、游戲引擎和其他生產環境之前實現額外的拋光和優化。
通過 NVIDIA 和 Reallusion 的密切合作，CC Character Auto Setup 插件將之前繁瑣的 18 步流程整合到一個簡單的操作中。
導入 Character Creator 素材，然后選擇Mark或Claire訓練模型，然后通過與任何音頻輸入同步的逼真面部動畫，立即看到 3D 角色變得生動起來。
您可以使用 Audio2Face 的 motion sliders、auto-expression tools 和 keyframe controls 來進一步 sculpt 性能，然后將拋光動畫直接傳遞到 iClone，以進行最終生產改進。這正是 iClone 強大的面部編輯能力發揮作用的地方，它提供了將 performances 轉換為準備用于生產的 polished character animations 所需的所有必要工具。
在 iClone 的用戶友好界面中，您可以精細控制面部動畫的各個方面。您可以精確調整表情級別、頭部動作和復雜的細節 (例如模擬眼鏢)，以真實地傳達角色的獨特個性：
- 下范圍可以被放大，以在需要時傳達強大的情緒強度。
- 我們可以仔細雕刻語言動作，以真實地模仿發音和語音模式。
iClone 還可以整合頭部移動設備，例如AccuFACE或iPhone Live Face.
AccuFACE：由 NVIDIA Maxine AR SDK 提供動力支持的新一代 AI 面部表情包
真實的面部表現不僅僅包含唇部同步；它們在很大程度上由細致入微的面部表情以及與語言表達的情感的一致性提供信息。
例如，諷刺的傳遞方式在很大程度上依賴于面部表情 — — 表達“It tastes fine”(它很好) 這樣的短語，同時表現出一種令人討厭的表情所傳達的含義明顯不同。
為了封裝這些隱性線索，除了制作工作流程中的音頻組件之外，還必須集成視覺性能捕獲。
AccuFACE 借助 NVIDIA Maxine AR SDK 實現了前所未有的實時面部捕捉質量和功能。由 NVIDIA GPUs with Tensor Cores 提供動力支持的 Maxine AR SDK，可以提供 AI-driven 的 3D 面部追蹤和建模、body pose estimation 等功能。它通過 parallel processing 即時分析 expressions，同時提高 throughput 并盡可能降低 latency。
AccuFACE 利用的主要特性包括：
- 精確的特征映射
- 頭部姿態和變形追蹤
- 面部網格重建
- 強大的人臉檢測和定位功能
AccuFACE 利用先進的 Maxine 技術，將捕獲的面部數據轉換為無縫的數字動畫，使您能夠生成富有表現力的面部動畫、實時驅動響應靈敏的 3D 虛擬形象，并促進交互式虛擬對話。
AccuFACE 提供了一個全面的工具包，可讓您針對專業級結果優化 AI 生成的跟蹤：
- 設備設置，例如平滑過濾和降噪、地址抖動、抖動和其他跟蹤偽影。
- 抗干擾消除功能可防止額頭、口中和頭部動作發生錯誤的交叉觸發，從而避免表情模糊或夸張。
為了捕捉獨特的表情，可以添加進一步的校準和細化。這旨在從區域層面增強眼睛、雙臉和唇部的雕刻運動強度，以呈現單個演員的真實感及其獨特的表演。
Reallusion 與 NVIDIA 的合作展示了 AI 在動畫領域的變革潛力；專業級面部動作捕捉和動畫現已觸手可及。
借助用于優化面部動畫和同步的直觀工具，您無需廣泛的專業知識或專業設備即可獲得高質量的結果，從而徹底改變數字角色動畫的格局。
可用性
從滿足日常視頻會議需求到集成 AI 技術，NVIDIA Maxine 可為所有專業人士提供高質量的視頻通信。
最新的 Maxine 產品版本僅包含NVIDIA AI Enterprise，它使您能夠利用 Triton 推理服務器、企業支持等生產就緒型功能。
如果您對搶先體驗感興趣，可以使用非生產性生產訪問權限和即將發布的功能，請參閱Maxine 搶先體驗計劃(需要登錄)。
為幫助改進即將發布的版本中的功能，請針對NVIDIA Maxine 和 NVIDIA Broadcast 應用程序調查。
?
