在 2023 年的 NVIDIA GTC 2023 上， NVIDIA 公布了其 NVIDIA AI 軟件套件的顯著更新，供開發者加速計算。這些更新降低了幾個領域的成本，例如使用 NVIDIA RAPIDS 的數據科學工作負載、使用 NVIDIA Triton 的模型分析、使用 NVID IA CV- CUDA 的人工智能成像和計算機視覺等。
為了跟上 NVIDIA 最新的 SDK 進步，請觀看首席執行官黃仁勛的 GTC keynote 。
NVIDIA RAPIDS Apache 加速器 Spark
NVIDIA RAPIDS Accelerator for Apache Spark 現已在 NVIDIA AI Enterprise 3.1 軟件套件中提供。使用 Apache Spark 3 在不更改代碼的情況下加快數據處理和分析或模型培訓，同時降低基礎設施成本。
亮點：
- 與主要平臺的集成：谷歌云平臺（ GCP ） Dataproc 、 Amazon EMR 、 Azure 和 AWS 上的 Databricks 以及 Cloudera
- Accelerated Spark Analysis Tool 進行成本節約預測，并建議優化 GPU 參數，以最大限度地加快工作負載
- 借助 NVIDIA AI Enterprise ，充分利用 NVIDIA 有保證的響應時間、優先級安全通知和數據科學專家
立即申請 ，獲得 evaluate your Spark workloads 的 GPU 加速免費咨詢，并學會以平均 4 倍的加速配置集群。
將此 GTC 會話添加到您的日歷中：
視頻 RAPIDS
在大型語言模型、推薦系統和計算機視覺等用例中，矢量搜索正成為越來越重要的一步。在 GTC 2023 上， NVIDIA 宣布 RAPIDS RAFT ，一個提供加速、可組合 ML 構建塊的工具包，現在可以進行矢量搜索。
通過集成 RAPIDS RAFT ，矢量數據庫和搜索引擎現在可以為構建索引、加載數據和執行許多不同的查詢類型等任務提供顯著更快的性能。
亮點：
- RAFT 通過在 GPU 上提供加速的精確和近似最近鄰基元來加速矢量搜索用例
- RAFT 支持的索引構建時間比 CPU 實現快 95 倍，每秒查詢速度快 3 倍
NVIDIA 已經在與 FAISS 、 Milvus 和 Redis 合作，通過在 RAFT 的基礎上進行構建，為其用戶帶來更好的矢量搜索性能。 Milvus 的 GPU 電源后端經過 RAFT 優化后不久將上市。
有關 RAPIDS RAFT 矢量搜索功能及其所能提供的其他一切的更多信息，請參閱 RAPIDS RAFT User’s Guide 和 /rapidsai/raft GitHub 回購。
將這些 GTC 會話添加到您的日歷中：
- Improving Dense Text Retrieval Accuracy with Approximate Nearest Neighbor Search
- Graph-Based, GPU-Optimized Approximate Nearest Neighbor Search Library for Both Batch Processing and Online Services
- Accelerate Data Science Workloads in Python with RAPIDS
CV- CUDA NVIDIA 公司
CV- CUDA 將于 2023 年 4 月進行公測，它是一個新的開源庫，用于構建 GPU 加速的云級人工智能計算機視覺預處理和后處理管道。
亮點：
- 30 多名具有 C / C ++和 Python API 的計算機視覺操作員，可加速對象檢測、分割和分類工作流程
- 支持批量處理可變形狀的圖像
- 使用 DLPack 和 PyTorch 陣列接口與 TensorFlow 和 PyTorch 進行零拷貝集成
- 單線 PIP 安裝和 PyPi 可用性
- NVIDIA Triton 使用 CV- CUDA 、 TensorRT 和 VPF 進行視頻編碼和解碼的推理服務器示例
有關更多信息，請參閱 /CVCUDA/CV-CUDA GitHub 回購。
將這些 GTC 會話添加到您的日歷中：
- Overcoming Pre- and Post-Processing Bottlenecks in AI-Based Imaging and Computer Vision Pipelines
- Building AI-Based HD Maps for Autonomous Vehicles
- Connect with the Experts: GPU-Accelerated Data Processing with NVIDIA Libraries
- Advancing AI Applications with Custom GPU-Powered Plug-ins for NVIDIA DeepStream
基托恩維迪亞
cuLitho 是一個用于計算光刻的軟件庫，它在 NVIDIA Hopper GPU s 上將半導體制造中的最大工作量提高了 40 倍。
隨著半導體行業繼續推動制造技術的發展，由于物理的限制，它越來越面臨挑戰。需要光學鄰近校正（ OPC ）和其他計算光刻方法來創建補償這些挑戰的掩模。這些復雜方法的應用已經成為業界最大的計算工作量。
NVIDIA cuLitho 是一個庫，包含優化的工具和算法，用于 GPU – 在基于 CPU 的電流方法的基礎上，將計算光刻和半導體制造過程加速幾個數量級。
亮點：
- 將生產口罩的時間從 2 周縮短到通宵 8 小時
- 精簡數據中心： 1 / 8 的空間、 1 / 4 的成本和 1 / 9 的功率
- 實現新的光刻解決方案，如曲線 OPC 和高 NA EUV
有關更多信息和合作伙伴報價，請參閱 NVIDIA cuLitho 。
將這些 GTC 會話添加到您的日歷中：
- Accelerating Computational Lithography: Enabling our Electronic Future
- AI for Microelectronics Design
印度 Triton
開源推理服務軟件 NVIDIA Triton Inference Server 的關鍵更新為生產中的每個應用程序帶來了快速且可擴展的人工智能。去年增加了超過 66 個功能。
軟件更新：
- PyTriton 作為一個簡單的接口，可以在本機 Python 代碼中運行 NVIDIA Triton ，實現基于 Python 的模型的快速原型設計和輕松遷移
- 支持 Model Analyzer 中的模型集成和并發模型分析。
- Paddle Paddle 支持并與 Paddle Paddle-FastDeploy 集成
- FasterTransformer backend 支持 GPT 中的 BERT 、擁抱臉 BLOOM 和 FP8
- NVIDIA Triton 管理服務（ early access ），用于大規模推理的模型的自動化和資源高效編排
在 NVIDIA LaunchPad 中使用短期訪問開啟您的推理之旅，而無需設置自己的環境。
開始使用 NVIDIA Triton 并獲得 enterprise-grade support 。
將這些 GTC 會話添加到您的日歷中：
- Taking AI Models to Production: Accelerated Inference with Triton Inference Server
- Efficient Inference of Extremely Large Transformer Models
- Connect with the Experts: Accelerating and Deploying Deep Learning Models to Production
印度 TensorRT
NVIDIA TensorRT 是一款用于高性能深度學習推理的 SDK ，其更新包括深度學習推理優化器和運行時，為推理應用程序提供低延遲和高吞吐量。
新功能：
- 生成人工智能擴散和 transformer 模型的性能優化
- 增強了硬件兼容性，可在不同的 GPU 體系結構（ NVIDIA Ampere 體系結構及更高版本）上構建和運行
- 版本兼容性，使您可以在 TensorRT 8.6 及更高版本的不同 TensorRT 版本上構建和運行
- 早期訪問中 GPT-3 模型的多 GPU 、多節點推理
在 NVIDIA LaunchPad 中使用短期訪問開啟您的推理之旅，而無需設置自己的環境。
開始使用 TensorRT 并獲得 enterprise-grade support 。
將這些 GTC 會話添加到您的日歷中：
- TensorRT 8.6: Hardware & Version Compatibility
- Exploring Next Generation Methods for Optimizing PyTorch models for Inference with Torch-TensorRT
- Accelerating Transformer-Based Encoder-Decoder Language Models for Sequence-to-Sequence Tasks
NVIDIA TAO 工具包
通過對 TAO Toolkit 的集中更新，您可以利用遷移學習的強大功能和效率，為任何平臺實現最先進的精度和生產級吞吐量。這個低代碼人工智能工具包加速了從初學者到專家數據科學家的所有技能水平的視覺人工智能模型開發。
亮點：
- 用于圖像分類、對象檢測和分割任務的最先進的新視覺 transformer
- 用于自動生成分割掩碼的人工智能輔助注釋工具
- ONNX 模型導出，使 TAO 模型能夠部署在任何設備上，如 GPU 、 CPU 和 MCU
- 通過提供 TAO 作為開源，提高了人工智能的透明度和可解釋性
有關更多信息，請參閱 Access the Latest in Vision AI Model Development Workflows with NVIDIA TAO Toolkit 5.0 。開始使用 TAO Toolkit 定制您的人工智能模型，并在 LaunchPad 上試用。
將這些 GTC 會話添加到您的日歷中：
- AI Models Made Simple Using TAO
- Running TAO Toolkit API in NetsPresso for Effortless Vision AI Model Development and Optimization
- Solving Computer Vision Grand Challenges in One-Click
印度 DeepStream
NVIDIA 推出了最新版本的 DeepStream ，增加了一個新的運行時。它啟用了新的功能，并釋放了需要嚴格調度解決方案的新用例。現有的 DeepStream 開發人員在解鎖智能自動化和 Industry 5.0 用例的同時，繼續受益于硬件加速插件。
更新：
- 新的加速擴展
- 具有高級調度選項的新運行時
- 更新了加速插件。
有關更多信息，請參閱 Get Started with the NVIDIA DeepStream SDK 。試試 LaunchPad 。
將這些 GTC 會話添加到您的日歷中：
- An Intro into NVIDIA DeepStream and AI-streaming Software Tools
- Advancing AI Applications with Custom GPU-Powered Plug-ins for NVIDIA DeepStream
NVIDIA 量子
NVIDIA 宣布了最新版本的 NVIDIA 量子平臺，用于加速量子計算模擬、混合量子經典算法開發和混合系統部署。
cuQuantum 使量子計算生態系統能夠以未來量子優勢的規模解決問題，從而實現算法的開發以及量子硬件的設計和驗證。
cuQuantum 亮點：
- DGX cuQuantum 設備中的多節點、多 GPU 支持。
- 支持近似張量網絡方法。
- cuQuantum 的采用勢頭持續增強，包括 CSP 和工業量子集團。
NVIDIA 還公布了 NVIDIA CUDA Quantum 的全面可用性，這是一個用于混合量子經典計算的開放、 QPU 不可知平臺。這種混合的量子經典編程模型可以與當今最重要的科學計算應用程序互操作，使一大批新的領域科學家和研究人員能夠對量子計算機進行編程。
CUDA 量子亮點：
- 單源 C ++和 Python 實現，以及用于混合系統的編譯器工具鏈和量子算法基元的標準庫
- QPU 不可知論者，與量子硬件公司在廣泛的量子位模式上合作
- 與同樣在 NVIDIA A100 GPU 上運行的領先 Python ic 框架相比，可實現高達 300 倍的加速
在 GTC 2023 上， NVIDIA 和 Quantum Machines 宣布了 DGX Quantum ，這是一項合作伙伴關系，將世界上最強大的加速計算平臺與世界上最先進的量子控制器結合在一起。量子機器和 NVIDIA 將推出首個用于高性能和低延遲量子經典計算的同類架構，從而推動該領域的發展。
DGX Quantum 亮點：
- 一種參考體系結構，具有 PCIe 連接的 OPX + NVIDIA Grace Hopper 系統，可根據 QPU 的大小進行擴展。
- CUDA 與 QUA 和量子機器堆棧的量子集成，具有一個或多個 POC 基準
- 宣布 QCC 作為 QGX 在 2023 年第四季度的首次部署
有關更多信息，請參閱 NVIDIA CUDA Quantum 頁面。
將這些 GTC 會話添加到您的日歷中：
- Defining the Quantum-Accelerated Supercomputer
- Inside QODA, the Quantum Optimized Device Architecture
印度 Modulus
NVIDIA Modulus 是一個開發物理知情機器學習（ physics ML ）模型的平臺，現在包括數據驅動的神經算子系列架構，用于訓練全球范圍的天氣預測模型，如 FourCastNet 。它使用 NVIDIA 人工智能軟件堆棧提供最佳性能和可擴展性，以服務于工業規模的人工智能研究和生產部署。
NVIDIA Modulus 具有擴展的功能，可覆蓋不同的領域以及數據驅動和物理驅動的方法。它可以解決從計算流體動力學（ CFD ）、結構分析到電磁學等廣泛應用中的問題。
它可以在簡單的 Apache2.0 許可證下以開源形式提供。
除了為參考應用程序開發物理 ML 模型的配方外， Modulus 現在可以自由使用、開發和貢獻，無論你在哪個領域。它包括適合不同工作流程的開源存儲庫，從 modulus-launch 的本地 PyTorch 開發人員到 modulus-sym 的符號偏微分方程工程師。
從 /NVIDIA/modulus GitHub repo 下載 Modulus 源代碼。
有關 Modulus 開源的更多信息，請參閱 Physics-Informed Machine Learning Platform NVIDIA Modulus Is Now Open Source 。
將此 GTC 會話添加到您的日歷中：
