Adam Tetelman – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。Tue, 19 Mar 2024 05:13:32 +0000zh-CN
hourly
1 196178272NVIDIA NIM 提供經過優化的推理微服務，用于大規模部署 AI 模型
http://www.open-lab.net/zh-cn/blog/nvidia-nim-offers-optimized-inference-microservices-for-deploying-ai-models-at-scale/
Mon, 18 Mar 2024 04:59:20 +0000http://www.open-lab.net/zh-cn/blog/?p=9286Continued]]>數字生成的生成式 AI 采用率一直很高。在 2022 年推出 OpenAI 聊天 GPT 的推動下，這項新技術在幾個月內積累了超過 1 億用戶，幾乎推動了各行各業的開發活動激增。 到 2023 年，開發者開始使用 Meta、Mistral、Stability 等公司的 API 和開源社區模型創建 POC。 進入 2024 年后，企業組織正將注意力轉向大規模生產部署，其中包括將 AI 模型連接到現有企業基礎設施、優化系統延遲和吞吐量、日志記錄、監控和安全性等。這種生產路徑既復雜又耗時，需要專門的技能、平臺和流程，尤其是大規模部署。 NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，為開發 AI 驅動的企業應用程序和在生產中部署 AI 模型提供了簡化的路徑。 NIM 是一套經過優化的云原生微服務，旨在縮短上市時間，并簡化生成式 AI 模型在云、