生成式 AI 正在徹底改變各行各業的組織利用數據來提高生產力、推進個性化客戶互動并促進創新的方式。鑒于其巨大的價值，企業正在尋找工具和專業知識，以幫助他們有效、可靠地將這項新技術集成到其業務運營和戰略中。
NVIDIA 和 Microsoft 攜手合作，利用 NVIDIA AI on Azure Machine Learning (Azure ML)，為企業提供用于構建、優化和部署 AI 應用程序(包括生成式 AI)的全面解決方案。
在本周的 Microsoft Ignite 上， NVIDIA 和 Microsoft 宣布了另外兩個里程碑，為 Azure ML 帶來管理生產級 AI 和開發生成式 AI 應用的新功能。
- NVIDIA NeMo 是一個用于構建和自定義生成式 AI 模型的框架，而 NVIDIA AI 基礎模型 則包括了新的 NVIDIA Megatron-3 8B 系列，這些模型在 Azure 機器學習模型目錄中均可獲取。
- NVIDIA Triton 推理服務器 用于在生產環境中擴展 AI 應用，通常可在 Azure ML 管理的端點中使用。
6 月，我們發布了一篇博文，解釋了 NVIDIA AI Enterprise 軟件與 Azure 機器學習集成 的詳情及入門指南。本文介紹了 NVIDIA 和 Azure 團隊所取得的進展，闡述了兩種新集成的優勢，以及如何訪問這些集成的步驟。
Azure 機器學習模型目錄中的 NeMo 框架集成
由于 LLM 能夠執行文本摘要、語言翻譯和文本生成等各種任務，因此備受關注。作為模型權重或 API 提供的開源和專有 LLM 使用不同的生成式 AI 框架在大型數據語料庫上進行預訓練。
使用生成式 AI 框架為特定領域的見解量身定制的自定義 LLM 在企業領域的吸引力也越來越大。
NeMo 是一個端到端的云原生企業框架，供開發者構建、自定義和部署具有數十億參數的生成式 AI 模型。它包括訓練和推理框架、護欄工具包、數據管護工具和預訓練模型，為企業提供了一種簡單、經濟高效且快速的采用生成式 AI 的方法。
對于安全、優化的全棧解決方案，該解決方案旨在通過支持、安全性和 API 穩定性來加速企業發展，NeMo 可作為 NVIDIA AI Enterprise 的一部分提供。Azure ML 客戶現在可以通過無代碼流中的用戶界面進行自定義、優化和部署。客戶還可以直接從 NVIDIA 獲得有關其生成式 AI 項目的支持，包括性能和準確性的最佳實踐。
隨著 NVIDIA Nemotron-3 8B 系列基礎模型和 Azure 機器學習模型目錄中的 NeMo 框架的推出，用戶現在可以訪問、自定義和部署這些開箱即用的模型。該框架提供了多種自定義技術選擇，并針對語言和圖像應用的模型大規模推理進行了優化。
Azure ML 管理端點中的 Triton 推理服務器集成
Triton 推理服務器是一款多框架開源軟件，可針對實時、批量和流式傳輸等多種查詢類型優化推理。Triton 還支持模型集成，并包含在 NVIDIA AI Enterprise 中。Triton 與各種機器學習框架兼容，例如 TensorFlow、ONNX Runtime、PyTorch 和 NVIDIA TensorRT.它可用于 CPU 和 GPU 工作負載。
Triton 適用于 Azure ML，可提供動態批處理、并發執行和優化模型配置。此外，它還通過 Azure ML 中的 NVIDIA AI Enterprise 提供企業級安全性、可管理性和 API 穩定性。
借助 Azure ML 管理端點，企業可以輕松監控、部署和擴展 AI 模型，降低設置和管理自己的 AI 基礎設施的復雜性。
通用版本基于生產分支，由 NVIDIA AI Enterprise 獨家提供。生產分支為基于 NVIDIA AI 構建的應用程序提供穩定性和安全性，提供 9 個月的支持、API 穩定性以及針對軟件漏洞的每月修復。了解更多詳情，請訪問生產分支。
開始使用 Triton 推理服務器
在 Azure ML 管理的端點上，在 Triton 推理服務器中部署模型非常簡單。觀看以下視頻，并按照列出的 5 個步驟獲取指導。
- 在 Azure Machine Learning 中，轉到“Models”(模型)并以 Triton 格式注冊您的模型。確認類型為“Triton”。
- 轉到 Endpoints 并點擊“Create”(創建)按鈕以創建實時在線端點。選擇“Triton”服務器進行部署。
- 配置您的部署參數，然后單擊“Next”(下一步)按鈕。在“Environment”(環境)部分中，預先選擇了環境和評分腳本。繼續并單擊“Next”(下一步)按鈕。
- 確認模型和環境，然后單擊“Create”(創建)按鈕以部署模型推理。
- 查看測試頁面。
開始使用 NVIDIA Azure 機器學習
將 NVIDIA AI Enterprise 和 Azure 機器學習相結合，可創建強大的 GPU 加速計算和基于云的全面機器學習平臺，使企業能夠更高效地開發和部署 AI 模型。企業可以通過這種協同作用利用云資源以及 NVIDIA GPU 和軟件的性能優勢。
歡迎訪問 NVIDIA 在 Microsoft Ignite 的頁面，詳細了解推動 AI 和云計算未來發展的新創新和合作。
參加我們的贊助商會議，深入了解突破性的 NVIDIA 解決方案，或駐足參觀我們的動車組演示空間 #311。查看 NVIDIA 展示頁面 了解更多信息。
準備好立即開始使用了嗎？查看 NVIDIA AI 基礎模型、Azure 機器學習模型目錄和 NVIDIA Triton 推理服務器中的 NeMo 框架，以及 Azure ML 端點。
?
