HGX – NVIDIA 技術博客

NVIDIA Secure AI 正式發布

Wed, 23 Apr 2025 05:39:05 +0000

隨著許多企業開始對其數據進行 AI 訓練或推理，需要保護數據和代碼，尤其是大語言模型 (LLMs) 。由于數據敏感性，許多客戶無法冒險將數據放在云端。此類數據可能包含個人身份信息 (PII) 或公司專有信息，且經過訓練的模型擁有寶貴的知識產權 (IP) 。 NVIDIA Confidential Computing (CC) 是保護大型 AI 模型和數據的出色解決方案。借助 NVIDIA CC，企業無需在性能和安全性之間做出權衡。NVIDIA 最初于 2023 年發布了 CC，并繼續與 CPU 合作伙伴、云提供商和獨立軟件供應商 (ISVs) 合作，以確保從傳統的加速工作負載到機密的加速工作負載的轉變是流暢和透明的。本文將介紹基于 NVIDIA HGX H100 8-GPU 和 NVIDIA HGX H200 8-GPU 的安全 AI（即 Protected…

Source

]]>

隆重推出 NVIDIA Dynamo：用于擴展推理AI模型的低延遲分布式推理框架

Tue, 18 Mar 2025 05:47:45 +0000

NVIDIA 今天在 GTC 2025 宣布發布 NVIDIA Dynamo 。NVIDIA Dynamo 是一個高吞吐量、低延遲的開源推理服務框架，用于在大規模分布式環境中部署生成式 AI 和推理模型。在 NVIDIA Blackwell 上運行開源 DeepSeek-R1 模型時，該框架最多可將請求數量提升 30 倍。NVIDIA Dynamo 與 PyTorch、SGLang 等開源工具兼容， NVIDIA TensorRT-LLM 和 vLLM，加入不斷擴大的推理工具社區，助力開發者和 AI 研究人員加速 AI。 NVIDIA Dynamo 引入了幾項關鍵創新，包括：從今天開始，NVIDIA Dynamo 可供開發者在 ai-dynamo/dynamo GitHub 存儲庫中使用。對于希望縮短生產時間并獲得企業級安全性、支持和穩定性的企業，

Source

]]>

NVIDIA Spectrum-X 網絡平臺和合作伙伴提升 AI 存儲性能達48%

Tue, 04 Feb 2025 06:56:25 +0000

AI 工廠依靠的不僅僅是計算網。當然，連接 GPU 的東西向網絡對于 AI 應用的性能至關重要，而連接高速存儲陣列的存儲網也不容忽視。存儲性能在運行 AI 業務過程中的多個階段中發揮著關鍵作用, 包括訓練過程中的Checkpoint操作、推理過程中的檢索增強生成 (RAG) 等。為了滿足這些需求，NVIDIA 和存儲生態合作伙伴正在將 NVIDIA Spectrum-X 網絡平臺擴展到數據存儲網，從而帶來更高的性能和更快的實現AI的時間。由于 Spectrum-X 動態路由技術能夠緩解網絡中的流量沖突并增加有效帶寬，從而使存儲性能遠高于 RoCE v2，RoCE v2是大多數數據中心用于 AI 計算網和存儲網的以太網網絡協議。 Spectrum-X 將讀取帶寬加速了高達 48%，寫入帶寬加速了高達 41%。帶寬的增加可以更快地完成 AI 工作流中與存儲相關的操作，

Source

]]>

借助 NVIDIA TensorRT-LLM 預測解碼，將 Llama 3.3 的推理吞吐量提升 3 倍

Tue, 17 Dec 2024 04:36:12 +0000

隨著近期新增的 Llama 3.3 70B (一種純文本指令調整模型)，Meta 的開放大語言模型 (LLMs) 集合將繼續增長。Llama 3.3 相對于較舊的 Llama 3.1 70B 模型提供了增強的性能，甚至可以在數學、推理、編碼和多語種支持等多項任務中匹配更大、計算成本更高的 Llama 3.1 405B 模型的功能。 NVIDIA TensorRT-LLM 是一款功能強大的推理引擎，可在最新的 LLM 上提供先進的性能，并整合了許多優化措施，可提供出色的 Llama 3.3 70B 推理吞吐量。其中包括在飛批處理、 KV 緩存、自定義 FP8 量化、推測解碼等，可實現快速、經濟高效的 LLM 服務。動態批處理默認作為運行時配置參數激活，TensorRT-LLM 支持同時批處理多個不同的請求，從而提高服務吞吐量。通過在上下文和生成階段交錯處理請求，

Source

]]>

對 NVIDIA Spectrum-X 進行 AI 網絡性能基準測試，現已可從 Supermicro 獲取

Thu, 22 Feb 2024 07:10:45 +0000

NVIDIA Spectrum-X 網絡平臺作為超大規模云基礎設施中的 AI 量身打造的領先網絡平臺，NVIDIA 正在迅速獲得吸引力。Spectrum-X 網絡技術幫助企業客戶加速生成式 AI 工作負載。NVIDIA 宣布，該平臺在 2023 年 11 月新聞稿以及由 Spectrum-X 提供支持的 NVIDIA Israel-1 超級計算機的更新。 NVIDIA 現在宣布 Supermicro 已作為 Spectrum-X 平臺的 OEM 合作伙伴加入。Spectrum-X 將納入 Supermicro GPU 超級服務器，提供 4U、5U 和 8U 外形尺寸，并將支持 NVIDIA GPU 在 NVIDIA HGX H100，NVIDIA H100 和 NVIDIA L40S PCIe 外形規格。這些 Supermicro 系統通過提供出色的網絡性能、

Source

]]>

使用 Arm CPU 為 NVIDIA 認證企業系統供電

Wed, 28 Sep 2022 08:19:00 +0000

組織在人工智能的使用方面正迅速變得更加先進，許多組織正在尋求利用最新技術來最大限度地提高工作負載性能和效率。當今最流行的趨勢之一是使用基于 Arm 體系結構的 CPU 構建數據中心服務器。為了確保這些新系統為企業準備并進行最佳配置， NVIDIA 批準了第一個具有 Arm CPU 和 NVIDIA GPU 的 NVIDIA -Certified systems 。這篇文章介紹了 NVIDIA 認證的 Arm 系統的優點，以及客戶在不久的將來會看到什么。基于手臂的系統在邊緣應用中很常見。它們已經被大型云服務提供商廣泛使用，并開始在數據中心應用程序中變得越來越流行。根據 Gartner ®的數據，到 2025 年，高性能計算（ HPC ） 12% 的新服務器將基于 Arm 。1. 基于 Arm 體系結構的系統能夠以高能效運行多個內核，同時具有高內存帶寬和低延遲。

Source

]]>

介紹 NVIDIA HGX H100 ：用于人工智能和高性能計算的加速服務器平臺

Fri, 08 Apr 2022 09:06:00 +0000

NVIDIA 的使命是加快我們的時代達芬奇和愛因斯坦的工作，并賦予他們解決社會的巨大挑戰。隨著人工智能（ AI ）、高性能計算（ HPC ）和數據分析的復雜性呈指數級增長，科學家需要一個先進的計算平臺，能夠在一個十年內實現百萬次的加速，以解決這些非同尋常的挑戰。為了回答這個需求，我們介紹了NVIDIA HGX H100 ，一個由 NVIDIA Hopper 架構供電的密鑰 GPU 服務器構建塊。這一最先進的平臺安全地提供了低延遲的高性能，并集成了從網絡到數據中心級計算（新的計算單元）的全套功能。在這篇文章中，我將討論NVIDIA HGX H100 是如何幫助我們加速計算數據中心平臺的下一個巨大飛躍。 HGX H100 8- GPU 是新一代 Hopper GPU 服務器的關鍵組成部分。它擁有八個 H100 張量核 GPU 和四個第三代 NV 交換機。

Source

]]>