Charlie Huang – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。Tue, 29 Oct 2024 06:54:52 +0000zh-CN
hourly
1 196178272借助 Google Kubernetes Engine 和 NVIDIA NIM 實現高性能 AI 推理擴展
http://www.open-lab.net/zh-cn/blog/scale-high-performance-ai-inference-with-google-kubernetes-engine-and-nvidia-nim/
Wed, 16 Oct 2024 06:50:10 +0000http://www.open-lab.net/zh-cn/blog/?p=11724Continued]]>AI 模型的快速演進推動了對更高效、更可擴展的推理解決方案的需求。在企業組織努力利用 AI 的強大功能時，他們在部署、管理和擴展 AI 推理工作負載方面面臨挑戰。 NVIDIA NIM 和 Google Kubernetes Engine (GKE) 共同提供了應對這些挑戰的強大解決方案。NVIDIA 與 Google Cloud 合作，在 GKE 上引入 NVIDIA NIM，以加速 AI 推理，通過 Google Cloud Marketplace 提供的簡化部署，在大規模提供安全、可靠和高性能的推理。 NVIDIA NIM 是 NVIDIA AI Enterprise 軟件平臺的一部分，現已在 Google Cloud Marketplace 上提供。它是一套易于使用的微服務，旨在安全、可靠地部署高性能 AI 模型推理。NIM 現已與 GKE 集成，
]]>11724Google Cloud Run 現已支持 NVIDIA L4 GPU、NVIDIA NIM 及大規模無服務器 AI 推理部署
http://www.open-lab.net/zh-cn/blog/google-cloud-run-adds-support-for-nvidia-l4-gpus-nvidia-nim-and-serverless-ai-inference-deployments-at-scale/
Wed, 21 Aug 2024 09:24:43 +0000http://www.open-lab.net/zh-cn/blog/?p=11018Continued]]>部署 AI 賦能的應用和服務給企業帶來了重大的挑戰： 應對這些挑戰需要一種全棧方法，該方法可以優化性能、有效管理可擴展性并駕部署的復雜性，使組織能夠在保持運營效率和成本效益的同時最大限度地發揮AI的全部潛力。 Google Cloud 和 NVIDIA 攜手合作，通過結合 NVIDIA AI 平臺的性能和云端無服務器計算的易用性，應對這些挑戰并簡化 AI 推理部署。 Google Cloud 的完全托管式無服務器容器運行時 Cloud Run 增加了對 NVIDIA L4 Tensor Core GPU 的支持（可在預覽版中獲取）。現在，您可以按需運行大規模加速的實時 AI 應用程序，而無需擔心基礎設施管理。結合 NVIDIA NIM 微服務的強大功能，Cloud Run 能夠顯著簡化生產優化和服務 AI 模型的復雜性，同時更大限度地提高應用程序性能。