Jig Bhadaliya – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 12 Dec 2024 04:07:54 +0000
zh-CN
hourly
1
196178272 -
NVIDIA 與 Hugging Face 合作，簡化生成式 AI 模型部署
http://www.open-lab.net/zh-cn/blog/nvidia-collaborates-with-hugging-face-to-simplify-generative-ai-model-deployments/
Mon, 03 Jun 2024 07:56:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=10217
Continued]]>
隨著生成式 AI 的快速增長，社區通過兩種重要方式加強了這種擴展：快速發布先進的基礎模型，以及簡化其與應用程序開發和生產的集成。 NVIDIA 通過優化基礎模型來增強性能、允許企業更快地生成令牌、降低模型運行成本，以及借助 NVIDIA NIM 改善最終用戶體驗，來幫助實現這一目標。 NVIDIA NIM 推理微服務旨在簡化和加速生成式人工智能模型在 NVIDIA 加速基礎設施（包括云、數據中心和工作站）中的部署。 NIM 利用 TensorRT-LLM 推理優化引擎、行業標準 API 和預構建容器，可提供低延遲、高吞吐量的 AI 推理，并可根據需求進行擴展。它支持各種 LLM，包括 Llama 3 8B, Mixtral 8x22B, Phi-3 以及 Gemma 以及針對特定領域應用的優化 speech, image, video, healthcare 等等。
Source
]]>
10217
人人超碰97caoporen国产