今年 11 月在 NVIDIA GTC 上，宣布了新的軟件工具，幫助開發人員構建實時語音應用程序，優化各種用例的推理，優化推薦系統的開源互操作性，等等。觀看首席執行官黃延森（ Jensen Huang ）的主題演講，了解 NVIDIA 的最新突破。
宣布 Riva 定制語音和 NVIDIA Riva 企業
今天， NVIDIA 推出了具有自定義語音功能的新版NVIDIA Riva。通過 Riva 定制語音，企業可以輕松創建代表其品牌的獨特語音。
NVIDIA 還宣布了 Riva Enterprise ，這是一個付費項目，包括為希望大規模部署 Riva 的企業提供 NVIDIA 專家支持。工作量較小的客戶和合作伙伴可以繼續免費使用 Riva 。
Riva 亮點包括：
- 在 A100 上用一天 30 分鐘的音頻數據創建一個新的神經語音。
- 實現世界一流的語音識別，支持其他五種語言。
- 擴展到成百上千的實時流。
- 在任何云端、本地和邊緣運行。
今天從NGC catalog中嘗試 Riva ，并注冊NVIDIA Riva Enterprise興趣列表。
在本 GTC 課程中了解更多信息
宣布 TensorRT 8 . 2 和新的 PyTorch 和 TensorFlow 集成
今天， NVIDIA 宣布推出生產部署TensorRT 8 . 2 ，這是其高性能深度學習推理優化器和運行時引擎的最新版本。通過新的優化，推理應用程序現在可以實時運行十億個參數的語言模型，并且只需一行代碼即可以 TensorFlow 和 PyTorch 的速度運行推理 3 倍。
亮點包括：
- T5 和 GPT-2 的優化提供了實時翻譯和摘要，與 CPU 相比，性能提高了 21 倍。
- TensorRT 與 PyTorch 和 TensorFlow 的集成，在框架中只需一行代碼即可實現 3 倍的性能。
- 適用于使用 Windows 的開發人員的簡單 Python API 。
Download TensorFlow – TensorRT 集成。
Torch- TensorRT 和 TensorRT 8 . 2 將分別在 11 月下旬的NGC catalog和TensorRT 頁面上提供。
TensorRT open source repo中始終提供最新版本的示例、解析器和筆記本。
在這些 GTC 會議上了解更多信息:
- Accelerate PyTorch Inference with TensorRT
- Accelerate Deep Learning Inference in Production with TensorRT.
- Deploy AI Models at Scale using the Triton Inference Server and ONNX Runtime and Maximize Performance with TensorRT
宣布推出 NVIDIA Triton 推理服務器 2 . 15
今天， NVIDIA 發布了NVIDIA Triton Inference Server 2 . 15 。 NVIDIA Triton 是一款開源推理服務軟件，可為生產帶來快速、可擴展的人工智能。
亮點包括：
- ModelAnalyzer ，用于確定最佳模型執行參數，例如精度、批量大小、并發模型實例的數量以及給定延遲、吞吐量和內存約束的客戶端請求。
- RAPIDS 森林推理庫（ FIL ）后端，用于對基于樹的模型（如梯度增強的決策樹、隨機森林）進行推理。
- 多 GPU 多節點分布式推理，用于基于 transformer 的語言模型支持。
- Triton 可在所有主要公共云中使用– Amazon SageMaker （新）、 Microsoft Azure 、谷歌云、阿里巴巴云（新）和騰訊云。 Triton 可在托管人工智能平臺和 Kubernetes 服務中使用。
- Triton 現在除了支持 NVIDIA GPU 和 x86 CPU 之外，還支持 Arm CPU 上的 AI 推理工作負載（新增）。
您可以從 NGC 目錄下載 NVIDIA Triton ，并獲取GitHub上的代碼和文檔。
在本 GTC 課程中了解更多信息
宣布 NVIDIA Merlin 擴展開放源碼互操作性
今天， NVIDIA 宣布了 NVIDIA Merlin的最新版本。 NVIDIA Merlin 是一個開源框架，用于推薦系統的端到端開發，從數據預處理到模型訓練和推理。 NVIDIA 繼續發布為加快推薦人工作流程而定制的功能、庫和軟件包。
亮點包括：
- Transformers4rec是一個新的庫，它包裝了流行的擁抱臉 transformer 體系結構，并使它們可以用于構建基于會話的推薦程序管道。這有助于在動態會話中預測用戶的下一個操作，而用戶數據很少或沒有。
- SparseOperationsKit（ SOK ）是一個新的開源 Python 包，支持使用 DL 進行稀疏訓練和推理，并且與所有常見的 DL 框架兼容，包括 TensorFlow 。
- 大多數常見的 DL 框架不支持模型并行性，這使得在集群中使用所有可用的 GPU 具有挑戰性。 SOK 與 TensorFlow 兼容有助于填補這一空白。
有關最新版本的更多信息，請下載 NVIDIA Merlin。
在這些 GTC 課程中了解更多信息
- Building and Deploying Recommender Systems Quickly and Easily with NVIDIA Merlin
- Session-based Recommendation Powered by Transformers。
宣布 NeMo Megatron 、 Megatron 530B 和 Triton 多 – GPU 多節點推理
今天， NVIDIA 宣布了 NeMo Megatron ，這是NeMo中開發大規模語言模型（ LLM ）的一項新功能。 NeMo Megatron 基于 Megatron 的進步，使企業能夠使用數萬億個參數訓練和擴展語言模型。
亮點包括：
- 自動數據整理任務，如格式化、重復數據消除和混合。
- 先進的并行化技術，如流水線、張量和數據并行。
- 在不到一個月的時間里訓練一個 200 億參數的模型。
- 培訓 Megatron 530B ，新領域和語言的可定制 LLM 。
- 將 LLM 擴展到多個 GPU 和節點，以便使用 NVIDIA Triton 推理服務器進行推理。
注冊以盡早訪問下載NVIDIA NeMo Megatron。
在本 GTC 課程中了解更多信息
發布 DeepStream 6 . 0
今天， NVIDIA 發布了DeepStream的最新版本，這是一款功能強大的 AI 流分析工具包，用于構建高性能視頻分析應用程序和服務。這個新版本引入了一個低代碼編程工作流，支持數據格式和算法，以及一系列新的入門資源。
亮點包括：
- 低代碼，圖形編程與圖形生成器。
- 行動識別支持。
- 自動語音識別（ ASR ）支持。
- 音頻視頻同步支持。
- 基于流行的 DeepSORT 算法的全新多目標跟蹤器。
- 超過 20 個插件和 30 個參考應用程序，幫助開發人員入門。
訪問DeepStream Getting Started頁面并下載 6 . 0 版軟件。
在這些 GTC 課程中了解更多信息
- Accelerating the Development of Next-Generation AI Applications with DeepStream 6.0
- University of Wollongong: Building Safer Public Transportation with AI-based Video Analytics
- Full list of computer vision sessions at GTC
立即注冊GTC，了解 GPU – 加速人工智能技術的最新更新。
?
