在 CES 2023， NVIDIA Maxine 宣布了 SDK 更新和新的微服務，通過私有或公共云實現視頻會議中的清晰通信。
NVIDIA Maxine 是一套 GPU 加速 AI SDK 和云原生微服務，用于部署優化和加速的 AI 功能，增強音頻、視頻和增強現實（ AR ）效果，以實現實時通信。
Maxine 采用最先進的 NVIDIA AI 模型，通過清晰的通信和創新功能，提高了視頻會議中的個人影響力。 Maxine 中的高質量效果可以通過標準麥克風和網絡攝像頭實現。
新的 Maxine 微服務
NVIDIA 將于 2023 年 1 月發布兩個新的微服務：實時肖像和視頻效果。他們加入了更新的音頻效果微服務。
Maxine 微服務已經準備好使用容器化的應用程序包，這些應用程序包是從最先進的、預訓練的模型構建的，用于使用 AI 增強音頻、視頻和增強現實。這些容器包括所有必要的依賴項，可以輕松地部署在公共云和私有云上。微服務通過基于云的 GPU 計算將應用程序與 Maxine 算法集成。
Live Portrait 微服務通過實時視頻源為照片或風格化的肖像設置動畫。通過將 Live Portrait 集成到視頻會議客戶端中，參與者可以保持離開攝像機，但仍然可以通過他們的動畫照片發言來參加會議。觀看 Live Portrait 和 NVIDIA Omniverse Avatar 云引擎（ ACE ）如何在 NVIDIA CES keynote 中為 2D 照片注入活力。
視頻效果微服務包含兩個 Maxine AI 視頻功能：
- Virtual Background: 從視頻流中分割人物，并應用 AI 驅動的背景移除、替換或模糊。
- Eye Contact: 通過估計和對準相機的注視來模擬眼神接觸。
有關詳細信息，請參見 眼神交流功能演示?。
2021 秋季 GTC 推出的 Maxine Audio Effects microservice 現在是 UCF-compliant 。 NVIDIA 統一計算框架是一個用于開發云原生、實時和多模式 AI 應用程序的低代碼框架。 UCF 使您能夠構建跨域的加速微服務，并將其組合成實時、多模式的 AI 應用程序。每個微服務都可以在應用程序中獨立部署、管理和擴展。
Maxine SDK 更新
在最新版本中， Maxine 對其三個 SDK 進行了一系列更新：
Speaker Focus 是一種音頻效果，它將前景和背景揚聲器的音軌分開，使每個聲音都更清晰。此功能在早期訪問時可用，在性能和質量方面都有了顯著改進。
音頻超分辨率、虛擬背景、眼睛接觸和面部表情估計的性能和質量都得到了改善。
音頻超級分辨率通過增加音頻信號的時間分辨率來提高音頻質量。它目前支持從 8kHz 到 16kHz 以及從 16kHz 到 48kHz 的上采樣。在最新版本中，音頻超級分辨率延遲比上一版本減少了 50% 以上。
虛擬背景分割一個人，并應用 AI 驅動的背景移除或替換，或背景模糊。最新更新已得到改進，以減少延遲。
“眼睛接觸”功能通過估計和對準相機的注視來模擬眼睛接觸。最新版本通過 NVIDIA CUDA 圖形功能提高了性能。
面部表情估計跟蹤面部并推斷對象的表情。估計的混合形狀系數用于為正確裝配的模型設置動畫，以準確反映對象的表情。最新版本包括一個增強的 AI 模型，具有新的六自由度（ 6DOF ）頭部姿勢，以及一個具有更新的混合形狀和面部區域劃分的新面部模型。
虛擬會議功能鏈接
Maxine 的功能也可以鏈接在一起，以增強您在虛擬會議中的影響力。
Avaya 解決方案營銷高級總監 Mike Kuch 表示：“通過將 NVIDIA Maxine 集成在 Avaya 的媒體處理核心中，混合團隊可以從任何地方、任何設備更清晰、更有效地連接和協作。”。
Pexip 戰略聯盟高級副總裁 Eddie Clifton 表示：“我們可以輕松地將先進的 NVIDIA AI 技術與我們獨特的服務器端架構相結合，這使我們的 Pexip 團隊能夠為虛擬會議提供增強的體驗。”。
了解有關 NVIDIA Maxine 的更多信息，并閱讀我們如何與 Avaya 和 Pexip 一起提供虛擬會議。
?
