NVIDIA 在 CUDA -X AI 軟件中發布更新和新功能

NVIDIA CUDA -X AI 是一個深入學習的軟件堆棧，供研究人員和軟件開發人員構建高性能 GPU – 用于對話 AI 、推薦系統和計算機視覺的加速應用程序。

了解 CUDA -X AI 工具和庫的最新版本。有關 NVIDIA 開發工具的更多信息，請參加 NVIDIA GTC 上的在線研討會、培訓和“聯系專家”課程。

有關更多信息，請參閱documentation中每個軟件包的發行說明。

NVIDIA Triton 推理服務器

NVIDIA Triton ? 推理服務器是一種開源的推理服務軟件，它為生產中的應用程序提供快速、可擴展的 AI 模型。它支持每一個框架，在每一個基于 GPU 或 CPU 的本地、云中和邊緣基礎設施上運行。

更新內容包括：

業務邏輯腳本（測試版）：用于調用正在執行的 Python 模型中的其他模型的函數。
容器組合實用程序：使用特定后端和存儲庫代理創建自定義 Triton 容器。
NGC 上的兩個新容器，從 Triton 21 . 08 開始
- nvcr . io / NVIDIA / Triton 服務器： 21 . 08-tf- Python -py3 – GPU 已啟用 Triton 服務器，只有 TensorFlow 2 . x 和 Python 后端。
- nvcr . io / NVIDIA / Triton 服務器： 21 . 08-pyt- Python -py3 – GPU 已啟用 Triton 服務器，僅具有 PyTorch 和 Python 后端。

TensorRT 是一個高性能深度學習推理平臺。此版本包括：

NVIDIA NeMo 是一個開源工具包，用于開發最先進的對話人工智能模型。 NVIDIA 在 Interspeech 2021 上共享了新的語音處理research和使用 NeMo 的教程，包括：

有關所有已接受研究的鏈接，請訪問 NVIDIA interspeech event page。

Maxine 提供加速實時視頻效果（ VFX ）、音頻效果（ AFX ）和增強現實（ AR ） SDK ，這些 SDK 具有最先進的基于 AI 的功能，用于構建虛擬協作和內容創建應用程序。

本版本的亮點包括：

虛擬背景（ VFX ）通過各種對象分割（椅子、衣服、麥克風）提供更高的流質量，對運動和光線變化的魯棒性，以及在 GPU 密集工作負載下啟用 CUDA 圖形以減少延遲的選項。
超分辨率（ VFX ）增加了對 4K 視頻輸入分辨率的支持，具有 2 倍的高比例因子。
噪音消除（ AFX ）可以更好地保留語音，尤其是當輸入本質上是情緒化的時。房間回聲消除（ AFX ）在與噪音消除一起工作的同時，提高了整體質量。
三維人體姿態估計（ AR ）增強了身體關節位置和角度的準確性和時間穩定性。它還提供了關鍵點跟蹤魯棒性的身體四肢，同時伸出和到一邊。
所有 Linux SDK 都支持 A100 、 A30 和 A10 MIG ，以確保跨 GPU 分區的性能一致。

NGC 目錄是 GPU 優化容器、預訓練模型、 SDK 和頭盔圖表的中心，旨在加速端到端 AI 工作流。更新內容包括：

Autovox 印地語 ASR 集裝箱： Autovox 是 Cogknit 語義的語音操作系統平臺，提供多種語言模型： ASR 、 MT 和 TTS 。此受限訪問 ASR 容器將印地語音頻轉換為印地語文本。
叢式衛星容器–提供了一套豐富的工具，用于在核心 Scientific Plexus 軟件堆棧上設置和管理孤立的聯網 Kubernetes 群集。一個新特性允許 Plexus 平臺通過 ssh 連接管理單個節點，而無需任何資源管理器。