Denis Timonin – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Tue, 23 Aug 2022 02:56:37 +0000
zh-CN
hourly
1
196178272 -
使用 FasterTransformer 和 Triton 推理服務器加速大型?Transformer?模型的推理
http://www.open-lab.net/zh-cn/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/
Wed, 03 Aug 2022 02:56:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4781
Continued]]>
這是討論 NVIDIA FasterTransformer 庫的兩部分系列的第一部分，該庫是用于對任意大小（多達數萬億個參數）的Transformer進行分布式推理的最快庫之一。它提供了 FasterTransformer 的概述，包括使用該庫的好處。 使用 FasterTransformer 和 Triton 推理服務器部署 GPT-J 和 T5（第 2 部分）是一個指南，說明了使用 FasterTransformer 庫和 Triton 推理服務器以具有張量并行性的最佳方式為 T5-3B 和 GPT-J 6B 模型提供服務。 Transformers 是當今最具影響力的 AI 模型架構之一，正在塑造未來 AI 研發的方向。它們最初是作為自然語言處理 (NLP) 的工具而發明的，現在幾乎用于任何 AI 任務，包括計算機視覺、自動語音識別、分子結構分類和金融數據處理。
Source
]]>
4781
-
使用 FasterTransformer 和 Triton 推理服務器部署 GPT-J 和 T5
http://www.open-lab.net/zh-cn/blog/deploying-gpt-j-and-t5-with-fastertransformer-and-triton-inference-server/
Wed, 03 Aug 2022 02:41:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4768
Continued]]>
這是關于 NVIDIA 工具的兩部分系列的第二部分，這些工具允許您運行大型Transformer模型以加速推理。 有關 NVIDIA FasterTransformer 庫（第 1 部分）的介紹，請參閱 使用 FasterTransformer 和 Triton 推理服務器加速大型 Transformer 模型的推理 這篇文章是大型Transformer模型（例如 EleutherAI 的 GPT-J 6B 和 Google 的 T5-3B）的優化推理指南。這兩種模型在許多下游任務中都表現出良好的效果，并且是研究人員和數據科學家最常用的模型之一。 NVIDIA Triton 中的 NVIDIA FasterTransformer (FT) 允許您以類似且簡單的方式運行這兩個模型，同時提供足夠的靈活性來集成/組合其他推理或訓練管道。
Source
]]>
4768
人人超碰97caoporen国产