• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 3 月 19 日下午 2 點,鎖定 NVIDIA AI 網絡中文專場。立即注冊觀看
    數據中心/云端

    借助 NVIDIA AI Enterprise 推進生產級 AI 發展

    ?

    盡管許多企業將利用人工智能的潛力作為優先事項,但開發和部署人工智能模型需要時間和精力。通常,必須克服將模型投入生產的挑戰,這對于任務關鍵型業務運營尤為重要。根據IDC 研究,只有 18% 的受訪企業能夠在一個月內將 AI 模型投入生產。

    本文探討了降低 AI 部署速度的挑戰,并介紹了使用一致、安全且可靠的平臺加速將 AI 投入生產之旅的優勢。

    AI 軟件堆棧的復雜性與日俱增

    開源軟件(OSS)在推動人工智能(AI)的采用方面發揮著至關重要的作用。根據2023 年 10 月的現狀報告,與生成式 AI 相關的公共 GitHub 項目在 2023 年達到了 65000 個,同比增長了 249%。盡管開源社區推動了 AI 時代的發展,但在構建 AI 應用程序中使用的各種 OSS 使得維護可靠的企業級 AI 軟件堆棧成為一項復雜且資源密集型的工作,類似于維護開源操作系統的難度。

    例如,NVIDIA Triton 推理服務器用于標準化和擴展 AI 部署,依賴于眾多軟件依賴項。在圖 1 中,綠色點表示 CUDA 庫,白色點表示 OSS 包,它們之間的線表示依賴關系。任何單個更改(例如定期軟件更新或安全補丁)都可能引入 API 更改,從而導致應用程序故障或停機。

    A graphic representation of NVIDIA Triton Inference Server software dependencies. Green dots represent CUDA libraries, white dots represent OSS packages, and the lines in between represent dependencies.
    圖 1. NVIDIA Triton 推理服務器的軟件依賴項

    持續安全監控

    隨著安全漏洞的日益增多,維護 AI 軟件堆棧變得更具挑戰性。根據 Synopsys 發布的最新開源安全和風險分析報告,在過去五年中,針對大數據、AI、商業智能和機器學習的高風險攻擊模式激增了 236%。

    不斷發現新的漏洞。例如,圖 2 顯示了 NVIDIA Triton 容器安全掃描結果的比較。在短短 3 周內,我們發現了一個關鍵漏洞。此外,高漏洞的數量從 4 個增加到 11 個。持續監控和快速響應以修復漏洞對于保持業務連續性至關重要。

    Two screenshots showing that the vulnerabilities of NVIDIA Triton increased in 3 weeks.
    圖 2. NVIDIA Triton 的安全掃描結果比較

    適用于生產級 AI 的 NVIDIA AI Enterprise

    為了幫助應對這些挑戰,NVIDIA推出了NVIDIA AI Enterprise,這是一個端到端的云原生軟件平臺,旨在加速數據科學流程,并簡化生產級AI的開發和部署。NVIDIA AI Enterprise軟件平臺基于開源構建,并由NVIDIA精心策劃、優化和支持,使開發者能夠專注于構建和部署新的AI服務。

    NVIDIA AI Enterprise 包括三個受支持的分支:生產分支、功能分支和長期支持分支。客戶可以訪問所有三個分支,并可以使用這三個分支的任意組合。

    生產分支確保 API 的穩定性和定期安全更新,非常適合在需要穩定性時在生產環境中部署 AI。每 6 個月發布一次,生命周期為 9 個月。

    特性分支包括樹頂軟件更新;非常適合需要更快速發展的最新開發環境的 AI 開發者。每月發布一次。

    長期支持分支是高度監管行業的理想選擇。每 2.5 年發布一次,生命周期長達 3 年。

    API 穩定性和安全性

    在每個 NVIDIA AI Enterprise 生產分支的 9 個月生命周期中, NVIDIA 會持續監控關鍵和高常見漏洞和暴露 (CVE),并每月發布安全補丁(圖 3)。這樣, NVIDIA AI Enterprise 中包含的 AI 框架、庫、模型和工具可以更新以進行安全修復,同時消除破壞 API 的風險。

    Graphic of NVIDIA AI Enterprise production branch lifecycle timeline.
    圖 3. NVIDIA AI Enterprise 生產分支生命周期時間表

    圖 4 將通過 NVIDIA AI Enterprise 生產分支版本提供的 Triton 版本與 Triton 的開源版本進行了比較。 NVIDIA AI Enterprise 生產分支提供的商業版本無嚴重漏洞,而開源版本有 9 個嚴重漏洞。

    Two screenshots of vulnerability scanning results of two PyTorch images. One from NGC, and one from NVIDIA AI Enterprise.
    圖 4.Triton 安全掃描結果對比

    通過透明實現安全性

    除了提供每月 CVE 補丁和錯誤修復的產品分支外, NVIDIA AI Enterprise 客戶還可以從 NVIDIA 接收安全建議和漏洞利用信息,包括漏洞利用交換 (VEX) 和軟件材料清單 (SBOM)、漏洞上下文和補救指導。

    VEX 文檔是網絡安全領域的新興資源。與傳統的 CVE 條目不同,VEX 文檔通過編程方式提供了與漏洞相關的特定上下文信息。它能夠指示漏洞是否與 AI 堆棧中的特定組件相關,或者是否可以利用。此外,VEX 文檔還用于溝通漏洞掃描工具標記的誤報。NVIDIA 的 VEX 文檔遵循 CyclonDX 標準,這是一種機器可讀的信息共享方式。

    軟件經過長期優化,可實現更好的性能和更低的 TCO

    隨著 NVIDIA 不斷發展 AI 軟件并優化性能,最新版本的 NVIDIA AI 軟件與上一版本相比,在 NVIDIA H100 GPU 上實現了高達 54%的性能提升。圖 5 展示了這一性能提升,這是通過參與 MLPerf Inference v3.0 基準測試獲得的。這種性能的提升不僅提高了效率,還減少了數據中心或云環境中的能耗、空間占用和投資成本。

    Chart of NVIDIA MLPerf Inference v3.0 compared to v2.1 submission results on NVIDIA H100.
    圖 5. NVIDIA 推理軟件可在不升級硬件的情況下提供高達 54%的性能提升

    企業級支持

    每個 NVIDIA AI Enterprise 訂閱都包含企業級支持,使組織能夠從透明的開源信息中受益,并獲得 NVIDIA 提供的全面軟件堆棧支持保證。業務標準支持包括:

    • 每周 7 天、每天 24 小時通過客戶門戶和電話接受無限量技術支持案例
    • 在當地工作時間提供升級支持
    • NVIDIA 專家和工程師及時解決問題
    • 長達 3 年的長期支持

    無論您是需要與 AI 專家聯系、訪問知識庫資源,還是對性能問題進行故障排除, NVIDIA 都可以隨時為您提供幫助,并提供保持 AI 穩定和安全所需的支持。

    開始使用 NVIDIA AI Enterprise

    NVIDIA AI Enterprise 減少了維護和保護生產級 AI 的復雜軟件平臺的成本和負擔,使組織能夠專注于構建 AI 并利用其顛覆性見解。

    要體驗企業平臺,請免費申請 90 天評估許可證,這將允許您訪問所有軟件分支和企業支持。

    已經是 NVIDIA AI Enterprise 用戶?訪問生產分支的最新版本

    ?

    0

    標簽

    人人超碰97caoporen国产