劉彬，（花名：慧原） – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Fri, 14 Jun 2024 01:24:47 +0000
zh-CN
hourly
1
196178272 -
阿里安全使用 NVIDIA NeMo 框架和 TensorRT-LLM 的大模型工程化落地實踐
http://www.open-lab.net/zh-cn/blog/ali-nvidia-nemo-tensorrt-llm/
Thu, 13 Jun 2024 05:41:11 +0000
http://www.open-lab.net/zh-cn/blog/?p=10286
Continued]]>
隨著 ChatGPT 的一夜爆火，大模型如今越來越廣泛的應用到各種業務領域中，阿里安全的業務領域對大模型技術的應用也已經 2 年有余。本文對阿里安全在大模型工程領域積累的實踐經驗做出總結和分享。 在大模型實際應用實踐的過程中，阿里安全采用 NVIDIA NeMoTM 框架和 TensorRT-LLM 大語言模型推理加速庫，顯著優化了模型訓練與推理性能。其中 NeMo 在多卡環境可實現 2-3 倍的訓練加速，TensorRT-LLM 結合 SmoothQuant Int8 可實現領先的推理加速比，動態批處理策略 (Dynamic Batch) 將計算步驟減少 30%，實際 QPS 增益 2-3 倍。Prompt 優化策略在特定業務中提升吞吐高達 10 倍。整體優化成果顯著增強了模型性能與業務效率。 掃描下方二維碼、點擊文章底部閱讀原文，或復制鏈接（https://www.
Source
]]>
10286
人人超碰97caoporen国产