NVSwitch 交換機

2024年 12月 24日

借助 NVIDIA 全棧解決方案提升 AI 推理性能

AI 驅動的應用的爆炸式發展對開發者提出了前所未有的要求，他們必須在提供先進的性能與管理運營復雜性和成本以及 AI 基礎設施之間取得平衡。
2 MIN READ
2024年 11月 19日

Llama 3.2 全棧優化釋放 NVIDIA GPU 的高性能

Meta 最近發布了 Llama 3.2 系列視覺語言模型（VLM），其中包含 11B 參數和 90B 參數變體。這些模型是多模態模型，
2 MIN READ
2024年 11月 1日

NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度達 3 倍

在用戶數量可能在數百到數十萬之間波動，且輸入序列長度隨每個請求而變化的生產環境中，部署生成式 AI 工作負載會面臨獨特的挑戰。
1 MIN READ
2024年 8月 12日

NVIDIA NVLink 和 NVIDIA NVSwitch 加速大語言模型推理性能

大型語言模型（LLM）越來越大，增加了處理推理請求所需的計算量。為了滿足服務當今LLM的實時延遲要求，并為盡可能多的用戶提供服務，
3 MIN READ
2024年 3月 18日

NVIDIA GB200 NVL72 提供萬億參數 LLM 訓練和實時推理

對萬億參數模型的興趣是什么？我們知道當今的許多用例，并且由于有望提高以下方面的能力，人們的興趣正在增加： 其優勢是巨大的，
3 MIN READ