實時遠程通信已成為新常態，但許多上班族的視頻和音頻質量仍然很差，這影響了協作和人際交往。 NVIDIA Maxine 是專門為解決這些挑戰而開發的，它使用了最先進的人工智能模型，極大地提高了視頻會議通話的清晰度。這些功能在最近的 NVIDIA GTC 活動中得到了很大程度的展示。
現在， NVIDIA Maxine 已經擴展到提供可以部署在私有或公共云中的微服務，使開發人員能夠利用遠程服務器的 GPU 能力。這篇文章涵蓋了最近的功能更新，以及微服務和 NVIDIA Maxine 瘦客戶端軟件的詳細信息，這些軟件可以有效地利用任何基于 Windows 的 PC 上的這些服務。
NVIDIA Maxine 技術套件
NVIDIA Maxine 是一套經過預訓練的人工智能模型，旨在改善視頻會議體驗。開發人員現在可以體驗、開發和部署 NVIDIA Maxine 型號。
- 體驗：安裝并下載免費的 NVIDIA Broadcast app ，在帶有 NVIDIA RTX GPU 的 PC 上測試最新的 NVIDIA Maxine 功能。
- 開發：使用 NVIDIA Maxine SDKs 將您選擇的人工智能功能集成到您的軟件中。
- 部署：利用云部署中的 NVIDIA Maxine microservices 將人工智能推理卸載到 GPU 供電的節點。將人工智能推理添加到您現有的服務器架構中，或將其部署到您的專用視頻會議設備中。
NVIDIA Maxine SDK
NVIDIA Maxine 包括三個不同的 SDK ，專注于高質量視頻會議體驗的關鍵方面：
- Audio Effects SDK 通過 AI 增強音頻
- 背景噪聲消除、聲學回聲消除、房間回聲消除、音頻超分辨率和揚聲器聚焦
- Video Effects SDK 致力于擁抱視頻質量
- 視頻超分辨率和放大、偽影減少、視頻降噪和虛擬背景
- Augmented Reality SDK 通過互動增強您的通話
- 人臉網格、人臉跟蹤和人臉地標跟蹤、身體姿勢估計、人臉表情估計和眼神交流
Maxine SDK 現在可以在 NGC 上下載。音頻揚聲器聚焦和眼神交流目前僅在早期訪問時可用。 NVIDIA 目前正在與合作伙伴合作，在向更廣泛的受眾提供這些功能之前對其進行改進。注冊 NVIDIA Maxine SDK Early Access Program 并聯系您的 NVIDIA 聯系人以加快訪問速度。
NVIDIA Maxine 云原生微服務
NVIDIA 正在加快努力，提供云原生微服務，以實現云中的分解計算，從而“擴展”到單個 GPU 之外，并改進資源管理。 NVIDIA Maxine 微服務可以與您現有的軟件集成，并部署在云中帶有 GPU 的 Kubernetes 集群中。這也簡化了云基礎設施的部署，并為公司提供了在私有或公共云基礎設施中利用 Maxine 的能力。
提供了三種類型的微服務：
- Audio Effects microservice ：包括背景噪聲消除、房間回聲消除、聲學回聲消除和音頻超分辨率（自 2022 年年中起提供）
- Video Effects microservice ：包括虛擬背景和眼神交流（自 2023 年初開始提供）
- Live Portrait microservice: 用于通過網絡攝像頭饋送輸入設置圖片動畫（最近可用）
“我們正在使用 NVIDIA Maxine 消除音頻背景噪音，并使用 NVIDIA Riva 語音對語音微服務，使用 NVIDIA Maxine 瘦客戶端和 Microsoft Teams 支持我們在亞利桑那州的新工廠和臺灣臺積電總部之間的視頻會議體驗。臺積電亞利桑那公司表示：“ NVIDIA 云就緒微服務無疑正在構建自動化擴展人工智能服務的未來，以確保企業實現最佳遠程協作。”。
所有 NVIDIA 微服務都符合 UCF 標準，使您能夠輕松地將其中幾個連接并鏈接在一起，以提供多功能管道。 NVIDIA 提供的其他微服務也可以鏈接并添加到組合中，如 NVIDIA Riva 語音對語音微服務。 UCF 提供了專門的工具來處理自定義集成，包括組件之間的依賴關系和連接。
目前，所有 NVIDIA Maxine 微服務僅限于早期訪問，以收集與少數合作伙伴的反饋。如果您有興趣測試這些微服務，請注冊 NVIDIA Maxine Microservices Early Access Program 并聯系您的 NVIDIA 聯系人以加快訪問速度。
NVIDIA Maxine 云參考應用程序和輕量客戶端
Maxine 云參考應用程序是一種用于流媒體客戶端的實時媒體處理服務，結合了多個 NVIDIA 微服務。它可以托管在私有或公共云中，并用作開發自定義軟件的參考。 Maxine 云參考應用程序的 Helm 圖表可以使用 UCF 工具生成。它還配備了用于身份驗證、日志記錄和度量的 NVIDIA 組件，如果需要，可以用最先進的開源解決方案取代。
使用 活動會話數 或 GPU utilization 等自定義指標， Maxine 云參考應用程序可以通過以下方式無縫擴展：
- Kubernetes Horizontal Pod Autoscaling 自動更新工作負載資源，以滿足 Kubernetes 集群的需求。
- Amazon EKS Autoscaling ，在 Amazon 云環境中自動配置虛擬機（ VM ）。當 pod 由于資源不足而無法啟動時，會添加額外的 VM ，而當節點未充分利用時，會刪除這些 VM 。
瘦客戶端應用程序提供了對云中推理的輕松訪問。該精簡客戶端軟件可截獲來自和發送到物理設備（麥克風、揚聲器和網絡攝像頭）的信號，由 Maxine 云參考應用程序遠程處理。
物理端點通過瘦客戶端（使用虛擬音頻和視頻驅動程序）映射到虛擬設備，并可用于任何選擇的視頻會議應用程序。 Maxine 云參考應用程序和瘦客戶端均可通過 Maxine 微服務早期訪問計劃應要求提供。
總結
除了在 NVIDIA Maxine SDK 中提供的眼神接觸等新功能外， Maxine 微服務成為大規模開發云應用程序的新標準。企業也可以在私有云上使用相同的技術。注冊 NVIDIA Maxine Microservices Early Access Program 并聯系您的 NVIDIA 聯系人以加快訪問速度。
要了解更多關于 NVIDIA Maxine 的信息，請加入我們的 NVIDIA GTC 2023 課程：
- Unlocking the Power of Speech AI for Exceptional Communication and Collaboration
- Maxine Microservices Fuel Creative Pipelines for Video Conferencing
?
