Pradyumna Desale – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 26 Mar 2025 08:54:02 +0000 zh-CN hourly 1 196178272 借助 NVIDIA Mission Control 實現 AI 工廠自動化 http://www.open-lab.net/zh-cn/blog/automating-ai-factory-operations-with-nvidia-mission-control/ Tue, 25 Mar 2025 08:51:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13363 Continued]]> DeepSeek-R1 等先進的 AI 模型證明,企業現在可以構建專用于自己的數據和專業知識的尖端 AI 模型。這些模型可以根據獨特的用例進行定制,以前所未有的方式應對各種挑戰。 基于早期 AI 采用者的成功,許多組織正在將重點轉移到全面生產的 AI 工廠 。然而,創建高效 AI 工廠的過程復雜且耗時,并且不同于構建特定于垂直行業的 AI 的目標。 它涉及到樓宇自動化,用于調配和管理復雜的基礎設施,在最新平臺上維護具有專業技能的站點可靠性工程師(SRE)團隊,以及大規模開發流程以實現超大規模的效率。此外,開發者需要一種方法來利用 AI 基礎設施的強大功能,同時具備超大規模數據中心的敏捷性、效率和規模,同時避免成本、復雜性和專業知識等方面的負擔。 本文將介紹 NVIDIA Mission Control (一個為使用 NVIDIA 參考架構構建的 AI…

Source

]]>
13363
NVIDIA GB200 NVL72 提供萬億參數 LLM 訓練和實時推理 http://www.open-lab.net/zh-cn/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time-inference/ Mon, 18 Mar 2024 07:00:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=9393 Continued]]> 對萬億參數模型的興趣是什么?我們知道當今的許多用例,并且由于有望提高以下方面的能力,人們的興趣正在增加: 其優勢是巨大的,但訓練和部署大型模型的計算成本高昂且需要大量資源。旨在提供實時推理的計算高效、經濟高效且節能的系統對于廣泛部署至關重要。新的 NVIDIA GB200 NVL72 就是這樣一個系統,可以完成這項任務。 為了說明這一點,我們考慮一下多專家模型 (MoE).這些模型有助于在多個專家之間分配計算負載,并使用模型并行和管道并行跨數千個 GPU 進行訓練。提高系統效率。 然而,并行計算、高速顯存和高性能通信的新水平可以使 GPU 集群能夠應對棘手的技術挑戰。 NVIDIA GB200 NVL72 機架級架構實現了這一目標,我們將在以下博文中詳細介紹。 核心 GB200 NVL72 是 NVIDIA GB200 Grace Blackwell 超級芯片。

Source

]]>
9393
宣布推出 NVIDIA DGX GH200 :首款 100 兆字節 GPU 內存系統 http://www.open-lab.net/zh-cn/blog/announcing-nvidia-dgx-gh200-first-100-terabyte-gpu-memory-system/ Sun, 28 May 2023 05:54:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=7111 Continued]]> 在COMPUTEX 2023, NVIDIA 宣布NVIDIA DGX GH200,這標志著 GPU 的又一突破——加速計算,為最苛刻的巨型人工智能工作負載提供動力。除了描述 NVIDIA DGX GH200 體系結構的關鍵方面外,本文還討論了如何使用NVIDIA Base Command實現快速部署,加快用戶入職,并簡化系統管理。 GPU 的統一內存編程模型是過去 7 年來復雜加速計算應用取得各種突破的基石。 2016 年, NVIDIA 推出NVLink技術和帶有 CUDA-6 的統一內存編程模型,旨在增加 GPU 加速工作負載的可用內存。 從那時起,每個 DGX 系統的核心都是與 NVLink 互連的基板上的 GPU 復合體,其中每個 GPU 可以以 NVLink 的速度訪問另一個的存儲器。許多具有 GPU 復合體的 DGX 通過高速網絡互連,形成更大的超級計算機,

Source

]]>
7111
人人超碰97caoporen国产