Khubaib Khubaib – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 03 Apr 2025 05:40:09 +0000
zh-CN
hourly
1
196178272 -
NVIDIA Blackwell 在 MLPerf Inference v5.0 中實現巨大的性能飛躍
http://www.open-lab.net/zh-cn/blog/nvidia-blackwell-delivers-massive-performance-leaps-in-mlperf-inference-v5-0/
Wed, 02 Apr 2025 05:32:46 +0000
http://www.open-lab.net/zh-cn/blog/?p=13408
Continued]]>
在不斷增長的模型大小、實時延遲要求以及最近的 AI 推理的推動下， 大語言模型 (LLM) 推理的計算需求正在快速增長。與此同時，隨著 AI 采用率的增長， AI 工廠 能否為盡可能多的用戶提供服務，同時保持良好的每位用戶體驗，是更大限度地提高其價值的關鍵。要在最新模型上實現高推理吞吐量和低推理延遲，需要在涵蓋芯片、網絡系統和軟件的整個技術堆棧中表現出色。 MLPerf Inference v5.0 是長期運行的基準套件中的最新版本，可測量一系列不同模型和用例的推理吞吐量。于 2019 年首次推出的 MLPerf Inference 不斷更新新的模型和場景，以確保它仍然是衡量 AI 計算平臺推理性能的有用工具。 本輪測試新增三個新的基準測試： 這些新基準測試加入了涵蓋各種模型和用例的眾多返回基準測試：ResNet-50、RetinaNet、3D U-Net、DLRMv2、
Source
]]>
13408
人人超碰97caoporen国产