盡管許多企業將利用人工智能的潛力作為優先事項，但開發和部署人工智能模型需要時間和精力。通常，必須克服將模型投入生產的挑戰，這對于任務關鍵型業務運營尤為重要。根據IDC 研究，只有 18% 的受訪企業能夠在一個月內將 AI 模型投入生產。
本文探討了降低 AI 部署速度的挑戰，并介紹了使用一致、安全且可靠的平臺加速將 AI 投入生產之旅的優勢。
AI 軟件堆棧的復雜性與日俱增
開源軟件（OSS）在推動人工智能（AI）的采用方面發揮著至關重要的作用。根據2023 年 10 月的現狀報告，與生成式 AI 相關的公共 GitHub 項目在 2023 年達到了 65000 個，同比增長了 249%。盡管開源社區推動了 AI 時代的發展，但在構建 AI 應用程序中使用的各種 OSS 使得維護可靠的企業級 AI 軟件堆棧成為一項復雜且資源密集型的工作，類似于維護開源操作系統的難度。
例如，NVIDIA Triton 推理服務器用于標準化和擴展 AI 部署，依賴于眾多軟件依賴項。在圖 1 中，綠色點表示 CUDA 庫，白色點表示 OSS 包，它們之間的線表示依賴關系。任何單個更改(例如定期軟件更新或安全補丁)都可能引入 API 更改，從而導致應用程序故障或停機。
持續安全監控
隨著安全漏洞的日益增多，維護 AI 軟件堆棧變得更具挑戰性。根據 Synopsys 發布的最新開源安全和風險分析報告，在過去五年中，針對大數據、AI、商業智能和機器學習的高風險攻擊模式激增了 236%。
不斷發現新的漏洞。例如，圖 2 顯示了 NVIDIA Triton 容器安全掃描結果的比較。在短短 3 周內，我們發現了一個關鍵漏洞。此外，高漏洞的數量從 4 個增加到 11 個。持續監控和快速響應以修復漏洞對于保持業務連續性至關重要。
適用于生產級 AI 的 NVIDIA AI Enterprise
為了幫助應對這些挑戰，NVIDIA推出了NVIDIA AI Enterprise，這是一個端到端的云原生軟件平臺，旨在加速數據科學流程，并簡化生產級AI的開發和部署。NVIDIA AI Enterprise軟件平臺基于開源構建，并由NVIDIA精心策劃、優化和支持，使開發者能夠專注于構建和部署新的AI服務。
NVIDIA AI Enterprise 包括三個受支持的分支：生產分支、功能分支和長期支持分支。客戶可以訪問所有三個分支，并可以使用這三個分支的任意組合。
生產分支確保 API 的穩定性和定期安全更新，非常適合在需要穩定性時在生產環境中部署 AI。每 6 個月發布一次，生命周期為 9 個月。
特性分支包括樹頂軟件更新；非常適合需要更快速發展的最新開發環境的 AI 開發者。每月發布一次。
長期支持分支是高度監管行業的理想選擇。每 2.5 年發布一次，生命周期長達 3 年。
API 穩定性和安全性
在每個 NVIDIA AI Enterprise 生產分支的 9 個月生命周期中， NVIDIA 會持續監控關鍵和高常見漏洞和暴露 (CVE)，并每月發布安全補丁(圖 3)。這樣， NVIDIA AI Enterprise 中包含的 AI 框架、庫、模型和工具可以更新以進行安全修復，同時消除破壞 API 的風險。
圖 4 將通過 NVIDIA AI Enterprise 生產分支版本提供的 Triton 版本與 Triton 的開源版本進行了比較。 NVIDIA AI Enterprise 生產分支提供的商業版本無嚴重漏洞，而開源版本有 9 個嚴重漏洞。
通過透明實現安全性
除了提供每月 CVE 補丁和錯誤修復的產品分支外， NVIDIA AI Enterprise 客戶還可以從 NVIDIA 接收安全建議和漏洞利用信息，包括漏洞利用交換 (VEX) 和軟件材料清單 (SBOM)、漏洞上下文和補救指導。
VEX 文檔是網絡安全領域的新興資源。與傳統的 CVE 條目不同，VEX 文檔通過編程方式提供了與漏洞相關的特定上下文信息。它能夠指示漏洞是否與 AI 堆棧中的特定組件相關，或者是否可以利用。此外，VEX 文檔還用于溝通漏洞掃描工具標記的誤報。NVIDIA 的 VEX 文檔遵循 CyclonDX 標準，這是一種機器可讀的信息共享方式。
軟件經過長期優化，可實現更好的性能和更低的 TCO
隨著 NVIDIA 不斷發展 AI 軟件并優化性能，最新版本的 NVIDIA AI 軟件與上一版本相比，在 NVIDIA H100 GPU 上實現了高達 54%的性能提升。圖 5 展示了這一性能提升，這是通過參與 MLPerf Inference v3.0 基準測試獲得的。這種性能的提升不僅提高了效率，還減少了數據中心或云環境中的能耗、空間占用和投資成本。
企業級支持
每個 NVIDIA AI Enterprise 訂閱都包含企業級支持，使組織能夠從透明的開源信息中受益，并獲得 NVIDIA 提供的全面軟件堆棧支持保證。業務標準支持包括：
- 每周 7 天、每天 24 小時通過客戶門戶和電話接受無限量技術支持案例
- 在當地工作時間提供升級支持
- NVIDIA 專家和工程師及時解決問題
- 長達 3 年的長期支持
無論您是需要與 AI 專家聯系、訪問知識庫資源，還是對性能問題進行故障排除， NVIDIA 都可以隨時為您提供幫助，并提供保持 AI 穩定和安全所需的支持。
開始使用 NVIDIA AI Enterprise
NVIDIA AI Enterprise 減少了維護和保護生產級 AI 的復雜軟件平臺的成本和負擔，使組織能夠專注于構建 AI 并利用其顛覆性見解。
要體驗企業平臺，請免費申請 90 天評估許可證，這將允許您訪問所有軟件分支和企業支持。
已經是 NVIDIA AI Enterprise 用戶？訪問生產分支的最新版本。
?
