NVSwitch 交換機 – NVIDIA 技術博客

借助 NVIDIA 全棧解決方案提升 AI 推理性能

Tue, 24 Dec 2024 05:43:02 +0000

AI 驅動的應用的爆炸式發展對開發者提出了前所未有的要求，他們必須在提供先進的性能與管理運營復雜性和成本以及 AI 基礎設施之間取得平衡。 NVIDIA 正在為開發者提供涵蓋芯片、系統和軟件的全棧創新，重新定義 AI 推理的可能性，使其比以往更快、更高效、更具可擴展性。六年前，NVIDIA 著手打造 AI 推理服務器，專為構建高吞吐量、延遲關鍵型生產應用的開發者而設計。當時，許多開發者都在努力使用定制的、特定于框架的服務器，這些服務器增加了復雜性，增加了運營成本，并且難以滿足嚴格的服務水平協議（service-level agreements）關于延遲和吞吐量的要求。為解決這一問題，NVIDIA 開發了 NVIDIA Triton Inference Server ，這是一個開源平臺，能夠為來自任何 AI 框架的模型提供服務。通過整合特定于框架的推理服務器，

Source

]]>

Llama 3.2 全棧優化釋放 NVIDIA GPU 的高性能

Tue, 19 Nov 2024 09:20:22 +0000

Meta 最近發布了 Llama 3.2 系列視覺語言模型（VLM），其中包含 11B 參數和 90B 參數變體。這些模型是多模態模型，支持文本和圖像輸入。此外，Meta 還推出了 Llama 3.2 的純文本小語言模型（SLM）變體，具有 1B 和 3B 參數。NVIDIA 已對 Llama 3.2 模型集合進行優化，以便在全球數百萬個 GPU 上提供出色的性能和經濟高效的服務 – 從我們功能強大的數據中心和云 GPU 到本地 NVIDIA RTX 工作站，甚至是使用 NVIDIA Jetson 的低功耗邊緣設備。 Llama 3.2 VLM 支持長達 128K 的文本標記，以及分辨率為 1120 x 1120 像素的單張圖像輸入。為了實現低延遲響應，提供出色的用戶體驗，同時提供高吞吐量以經濟高效地提供這些模型，NVIDIA 平臺在技術堆棧的每一層都進行了優化。

Source

]]>

NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度達 3 倍

Fri, 01 Nov 2024 09:11:33 +0000

在用戶數量可能在數百到數十萬之間波動，且輸入序列長度隨每個請求而變化的生產環境中，部署生成式 AI 工作負載會面臨獨特的挑戰。要在這些環境中實現低延遲推理，無論 GPU 生成方式或顯存容量如何，多 GPU 設置都是必需的。為了提高生產級設置中的推理性能，我們很高興推出 TensorRT-LLM Multi-shot，這是一種新的多 GPU 通信協議，利用 NVIDIA NVLink Switch 可將通信速度大幅提升高達 3 倍。本博客概述了這一新功能，以及它如何幫助開發者和解決方案架構師克服傳統多 GPU 通信方法的限制。對于低延遲推理，無論單個 GPU 的顯存容量如何，多 GPU 都至關重要。但是，在低并發情況下，GPU 花在交換數據上的時間可能超過花在計算上的時間。為了獲得最佳性能，高效的 AllReduce 操作 –結合每個參與其中的 GPU 的部分結果的集合操作…

Source

]]>

NVIDIA NVLink 和 NVIDIA NVSwitch 加速大語言模型推理性能

Mon, 12 Aug 2024 07:03:12 +0000

大型語言模型（LLM）越來越大，增加了處理推理請求所需的計算量。為了滿足服務當今LLM的實時延遲要求，并為盡可能多的用戶提供服務，多GPU計算是必不可少的。這不僅能夠降低延遲，提高用戶體驗，還能夠提高吞吐量，降低服務成本。兩者同時重要。即使大型模型可以裝入單個state-of-the-art GPU的內存中，該GPU生成令牌的速率也取決于可用于處理請求的總計算量。通過結合多個state-of-the-art GPU的計算能力，可以實現最新模型的實時用戶體驗。為了解對每秒高令牌的需求，以下 GIF 展示了兩種情況：通過使用多個 GPU 的組合計算性能和張量并行 (TP) 等技術來運行大型模型，可以快速處理推理請求，從而實現實時響應。通過精心選擇用于運行模型的 GPU 數量，云推理服務還可以同時優化用戶體驗和成本。

Source

]]>

NVIDIA GB200 NVL72 提供萬億參數 LLM 訓練和實時推理

Mon, 18 Mar 2024 07:00:33 +0000

對萬億參數模型的興趣是什么？我們知道當今的許多用例，并且由于有望提高以下方面的能力，人們的興趣正在增加：其優勢是巨大的，但訓練和部署大型模型的計算成本高昂且需要大量資源。旨在提供實時推理的計算高效、經濟高效且節能的系統對于廣泛部署至關重要。新的 NVIDIA GB200 NVL72 就是這樣一個系統，可以完成這項任務。為了說明這一點，我們考慮一下多專家模型 (MoE).這些模型有助于在多個專家之間分配計算負載，并使用模型并行和管道并行跨數千個 GPU 進行訓練。提高系統效率。然而，并行計算、高速顯存和高性能通信的新水平可以使 GPU 集群能夠應對棘手的技術挑戰。 NVIDIA GB200 NVL72 機架級架構實現了這一目標，我們將在以下博文中詳細介紹。核心 GB200 NVL72 是 NVIDIA GB200 Grace Blackwell 超級芯片。

Source

]]>