在本周的 SIGGRAPH 2024 上，NVIDIA 將展示 NVIDIA Maxine AI 開發者平臺的最新進展，該平臺通過 NVIDIA AI Enterprise 提供。該平臺使您能夠部署先進的 AI 功能，以提高音頻和視頻質量，并實現增強現實效果。
NVIDIA 剛剛宣布即將為早期訪問開發者提供 Maxine 3D 和 Maxine Video Relighting，同時推出生產的 Maxine Eye Contact NVIDIA NIM 微服務early access。
Maxine 3D 與?NVIDIA ACE, 一套用于語音、智能和動畫的生成式 AI 技術，一起，為各種開發者和應用程序帶來逼真的數字人。它支持通過商品視頻會議音頻和視頻設備使用實時、照片級真實的 3D 數字人類。
現在，通過全面的 NVIDIA API 目錄，現在為 Eye Contact NIM 微服務以及 Audio2Face-2D (也稱為 Speech Live Portrait) 增加了可發現性和試用選項。
現有的 NVIDIA Maxine 功能仍在不斷發展。例如，Studio Voice 和 Background Noise Reduction 2.0 在性能和質量方面都有顯著改進，現已可用于生產。
NVIDIA Maxine 的新功能
處于 NVIDIA 創新前沿的是 Maxine 3D，這是一項突破性技術，可實時將 2D 視頻肖像輸入無縫轉換為沉浸式 3D 角色。這一進步使您能夠使用商用視頻會議設備在實時雙向通信中集成 3D 角色。
NVIDIA Maxine 正在推動虛擬和 telepresence 技術在虛擬活動空間、視頻會議、視頻處理和編輯軟件以及其他沉浸式環境中的采用。它使用 NVIDIA RTX 渲染實現 lifelike、ultra-realistic 視覺效果，并有望通過將標準 2D 視頻輸入轉換為 dynamic 3D avatars 來重新定義用戶體驗。
Looking Glass 聯合創始人兼首席執行官 Shawn Frayne 表示：“NVIDIA Maxine 讓我們離實現 Looking Glass 創立以來的夢想更近了一步：物理空間之間的虛擬傳送。”
“借助 Maxine，我們現在能夠將任何 2D 視頻輸入轉換為沉浸式的高保真 3D 全息體驗，而無需復雜的攝像頭設置。這項技術的簡單性與 Looking Glass 的精神完美搭配，使 3D 更加易于每個人使用，而無需使用頭顯設備。”
Looking Glass 一直與 NVIDIA Research 合作，利用全息 3D 顯示器打造創新的視頻會議展示。這一合作使用 NVIDIA 技術，包括 NVIDIA RTX 6000 Ada GPUs 和 Maxine 3D，使多名觀眾能夠同時體驗真實的 3D 內容，而無需使用頭顯設備或進行眼動追蹤。該演示在 NVIDIA GTC 2024 和 SIGGRAPH 2023 上亮相，展示了通過 2D 圖像合成 3D 場景的能力，從而能夠在 Looking Glass 的 32 英寸景觀和 16 英寸肖像顯示器上進行群體觀看。
Maxine 3D 目前可通過 Early Access 訪問，它采用 AI、神經重建和實時渲染來制作高度逼真的數字化身。通過利用 Neural Radiance Fields (NeRF)，它可以從單個 2D 圖像中重建詳細的 3D 視角。
Maxine 集成了 Audio2Face-2D 技術，可實現即時的音頻到 2D 面部動畫，將這些 2D 虛擬形象提升為沉浸式 3D 表示。這種突破性的功能使您能夠創造出與現實世界中的對應物非常相似的數字人，從而豐富虛擬會議、娛樂等領域的體驗。
增強可發現性、可訪問性和可移植性
NVIDIA 在其 API 目錄中引入了 Maxine 功能，使您能夠在進入 Early Access 或 NVIDIA AI Enterprise 之前，輕松發現和試用先進的 AI 功能。這顯著降低了任何人探索和集成先進的 AI 功能到應用程序中的門檻。
API 預覽目錄中提供的 Maxine 功能也將作為 NVIDIA NIM 微服務提供。這些微服務為 AI 部署提供高度優化的通用解決方案，提供具有行業標準 API 的預構建容器，可將部署時間從數周大幅縮短到幾分鐘。它們支持各種 NVIDIA 硬件平臺和云提供商，確保可移植性以及與熱門 AI 框架輕松集成。
作為NVIDIA AI Enterprise軟件平臺的一部分，NVIDIA NIM 微服務具有嚴格的驗證、安全更新和企業級支持，是尋求企業級功能的企業的理想選擇。
眼神交流 NIM 和 Audio2Face-2D 預覽版已發布
Maxine 的兩個熱門功能，即 Eye Contact (現在作為 NVIDIA 的 NIM 微服務) 和 Audio2Face-2D，現在在 NVIDIA API 目錄中提供。
眼神交流使用戶在視頻通話期間看起來像直接眼神交流一樣，從而增強用戶在虛擬會議中的參與度和出席率。該微服務的發布在實施眼神交流時實現了更高的可移植性和靈活性。
Speech Live Portrait / Audio2Face-2D 在 Early Access 計劃中發布，可根據音頻輸入對靜態肖像進行動畫處理，從而根據單個圖像創建動態的、會話的虛擬形象。
Orpheus 總裁兼首席開發者 Benjamin Portman 說：“將 Maxine 集成到我們的應用中花費了 2 個小時，API 非常流暢，” said。
高級視頻和音頻增強功能
隨著視頻和音頻技術的不斷發展，一些新的增強功能被引入以增強用戶體驗：
- 視頻重照
- Studio Voice
- 背景降噪 2.0
- Maxine 托管 API
視頻重照
Maxine Video Relighting 微服務 (目前處于 Early Access 階段) 支持使用 3D HDR 內容地圖進行實時照明，從而實現前景照明與各種背景和環境的無縫匹配。
Video Relighting 利用 AI 實時改善照明條件，確保受試者始終保持最佳狀態，無論其物理環境或虛擬背景如何，都能獲得匹配的、逼真的照明。這一功能在各種次優照明情況下保持最佳外觀特別有用。
Studio Voice
Studio Voice 的最新版本在質量和性能方面實現了顯著改進，使其首次適用于實時通信。這一進步使用低延遲模型為日常視頻會議設置帶來了 studio-quality 的音頻。
背景降噪 2.0
Background Noise Reduction 2.0 在音頻清晰度方面樹立了新標準，能夠有效消除背景噪音，同時保持語音的自然質量。在多樣化的環境中，保持清晰溝通對此功能至關重要。
在與自動語音識別（ASR）技術結合使用時，此模型也特別有用，可以減少轉錄中的錯誤。
圖 2 顯示了使用 Background Noise Reduction 2.0 實現的 Character Error Rate (CER) 改進。
圖 3 顯示了使用 Background Noise Reduction 2.0 實現的 Word Error Rate (WER) 改進。
Maxine 托管 API
Maxine 功能，從行業領先的 Eye Contact 開始，可作為 NVIDIA Compute Framework (NVCF) 上的 REST APIs 使用。它們為 Maxine 算法提供了靈活的低代碼部署選項。前面提到的 Studio Voice 即將作為 NVIDIA Compute Framework (NVCF) API 推出。
助力開發者和行業
NVIDIA Maxine 是一個綜合性平臺，賦能您創建下一代遠程呈現和數字人創建應用。
通過提供這些工具，NVIDIA 使娛樂、游戲、醫療健康和教育等行業能夠使用 AI 驅動的通信技術的強大功能。該平臺能夠從 2D 輸入創建沉浸式 3D 體驗，對于蓬勃發展的數字人類市場尤為重要。
隨著虛擬意見領袖、AI 助手和數字虛擬形象的日益普及，Maxine 的技術為打造可靠且引人入勝的數字人物奠定了基礎。
展望未來
SIGGRAPH 2024 表明，NVIDIA Maxine 將在塑造數字通信和 telepresence 的未來方面發揮關鍵作用。憑借其先進的 AI 能力并專注于開發者可訪問性，Maxine 開發者平臺不僅支持現有的通信范式，還為您提供工具，為我們在數字空間中的交互方式創造全新的可能性。
Maxine 3D、advanced audio-visual enhancements和easy-to-integrate APIs 相結合，使 NVIDIA 合作伙伴處于數字人類革命的前沿。
- 隨著這些技術的市場持續增長
，NVIDIA 的創新將為各行各業帶來新一波immersive、lifelike數字體驗。
?
?
