Deep dive – NVIDIA 技術博客

Deep dive – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 30 Apr 2025 08:55:00 +0000 zh-CN hourly 1 196178272 NVIDIA NIM Operator 2.0 借助 NVIDIA NeMo 微服務支持提高 AI 部署效率 http://www.open-lab.net/zh-cn/blog/nvidia-nim-operator-2-0-boosts-ai-deployment-with-nvidia-nemo-microservices-support/ Tue, 29 Apr 2025 08:49:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=13672 Continued]]> NVIDIA 的首個版本 NIM 運算符簡化了推理工作流的部署和生命周期管理 NVIDIA NIM 微服務，減少 MLOps、LLMOps 工程師和 Kubernetes 管理員的工作負載。它支持在 Kubernetes 集群上輕松快速地部署、自動擴展和升級 NIM。詳細了解首個版本。我們的客戶和合作伙伴一直在使用 NIM Operator 來高效管理其應用的推理流程，例如聊天機器人、代理式 RAG 和虛擬藥物研發。我們 Cisco Compute Solutions 團隊的合作伙伴正在使用 NIM Operator 部署適用于 RAG 的 NVIDIA AI Blueprint ，作為 Cisco Validated Design 的一部分。 “ 我們戰略性地將 NVIDIA NIM Operator 與思科驗證設計 (CVD) 集成到我們的 AI…

]]>

13672

選擇您的第一個本地人工智能項目 http://www.open-lab.net/zh-cn/blog/choosing-your-first-local-ai-project/ Tue, 29 Apr 2025 08:44:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=13669 Continued]]> AI 正迅速超越集中式云和數據中心，成為可直接部署在專業工作站上的強大工具。借助先進的硬件和優化的軟件，您可以在桌面上或隨時隨地構建、運行和試驗復雜的 AI 模型。歡迎來到本地 AI 開發的世界！在工作站上本地運行和開發 AI 為開發者和組織帶來了顯著優勢：增強了數據隱私和安全性，敏感數據保留在內部，與持續云使用相比節省了成本，為應用程序提供了離線操作功能，以及無與倫比的動手開發和迭代環境。 NVIDIA RTX PRO Blackwell 系列等高性能硬件和為利用其功能而構建的優化軟件生態系統推動了向強大、可訪問的本地 AI 的轉變。本博文將使用專為專業工作流設計的 NVIDIA 生態系統，指導您選擇可管理的首個本地 AI 項目。專業 AI 加速的核心是 NVIDIA RTX 專業 GPU ，每個 GPU 具有高達 96 GB VRAM、企業級驅動、

]]>

13669

使用 NVIDIA NIM 構建 AI 驅動的自動引用驗證工具 http://www.open-lab.net/zh-cn/blog/developing-an-ai-powered-tool-for-automatic-citation-validation-using-nvidia-nim/ Wed, 16 Apr 2025 05:18:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=13569 Continued]]> 引文的準確性對于保持學術和 AI 生成內容的完整性至關重要。當引用不準確或錯誤時，它們可能會誤導讀者并散布虛假信息。作為一支由悉尼大學機器學習和 AI 研究人員組成的團隊，我們正在開發一種 AI-powered 工具，能夠高效地交叉檢查和分析語義引用的準確性。提及事實聲明可以幫助讀者相信其有效性，增強作者的可信度，并通過顯示信息來源來提高透明度。然而，確保語義引用的準確性（即確認聲明不僅匹配，而且忠實地代表引用來源的結論，而不會失真或誤解）非常耗時，而且通常需要深入的主題理解。我們親身經歷了不準確的引用所帶來的挫折和挑戰，這促使我們開發了一個強大且可擴展的解決方案 — Semantic Citation Validation 工具。該解決方案簡化了引文驗證過程，并增強了各個領域的研究完整性。隨著大語言模型 (LLM) 的日益普及，對引文驗證的需求變得更加迫切。

]]>

13569

使用 NVIDIA NIM 管理科學文獻中的生物研究成果 http://www.open-lab.net/zh-cn/blog/curating-biological-findings-from-scientific-literature-with-nvidia-nim/ Fri, 11 Apr 2025 06:07:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13499 Continued]]> 科學論文多種多樣，通常為同一實體使用不同的術語，使用不同的方法來研究生物現象，并在不同的上下文中展示研究結果。從這些論文中提取有意義的見解需要對生物學的深刻理解、對方法的批判性評估，以及從不相關或不太可靠的發現中辨別出可靠發現的能力。科學家必須仔細解釋上下文，評估實驗證據的可靠性，并識別研究中潛在的偏見或局限性。鑒于支持疾病建模中關鍵決策的高精度需求，生物學發現必須僅包含高質量的知識。大語言模型 (LLM) 在集成到檢索增強生成 (RAG) 流程中時，為自動化和加速生物發現的管理提供了顛覆性的機會。通過優化從科學論文中提取見解的過程，LLM 顯著提高了這一過程的可擴展性。這些語言模型可以篩選的論文數量遠超任何個人可以手動審查的論文，并發現了更多的相關發現。 CytoReason 團隊是 NVIDIA Inception 計劃的成員，

]]>

13499

AI Fabric 的彈性以及網絡融合的重要性 http://www.open-lab.net/zh-cn/blog/ai-fabric-resiliency-and-why-network-convergence-matters/ Fri, 11 Apr 2025 05:53:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13584 Continued]]> 高性能計算和深度學習工作負載對延遲極為敏感。數據包丟失會導致通信管道中的重傳或停頓，從而直接增加延遲并中斷 GPU 之間的同步。這可能會降低集合運算（例如 all-reduce 或 broadcast）的性能，因為這些運算需要每個 GPU 的參與才能進行。本文重點介紹基于 NVIDIA 以太網的東西向 AI 網絡解決方案 Spectrum-X。我從 AI 工作負載的角度討論了 AI 結構的彈性、鏈路翼的后果、鏈路故障，以及 NVIDIA 集合通信庫 (NCCL) 。 NCCL 專為高速和低延遲環境而設計，通常通過支持 RDMA 的無損網絡 (例如 InfiniBand、NVLink 或適用于 Ethernet 的 Spectrum-X) 實現。其性能可能會受到網絡事件的顯著影響：為獲得最佳性能，NCCL 應在網絡上運行，并盡可能減少延遲、抖動和丟包。

]]>

13584

借助 Rafay 為企業 AI 工作負載提供 NVIDIA 加速計算 http://www.open-lab.net/zh-cn/blog/delivering-nvidia-accelerated-computing-for-enterprise-ai-workloads-with-rafay/ Wed, 09 Apr 2025 06:11:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13506 Continued]]> 生成式 AI 在全球的應用推動了全球對加速計算硬件的巨大需求。在企業中，這加快了加速私有云基礎設施的部署。在地區層面，對計算基礎設施的需求催生了一類新的云提供商，他們為 AI 工作負載提供加速計算 (GPU) 能力，也稱為 GPU 云提供商或 AI 云。其中包括可能符合 NVIDIA 云合作伙伴 (NCP) 要求的云提供商。這些云提供商提供 GPU 加速的硬件和專為其區域客戶群定制的更高級別的 AI 服務。對于企業私有云和云提供商來說，任務很明確：讓 AI 基礎設施更易于使用，同時提供精心制作的解決方案，以滿足其服務的企業和地區的特定需求。在本文中，我們將討論構建自助 GPU 云的關鍵技術要求和挑戰，以及 NVIDIA 合作伙伴 Rafay 的平臺即服務 (PaaS) 模型如何應對這些挑戰。

]]>

13506

使用 GPU 加速 Apache Spark 上的 Apache Parquet 掃描 http://www.open-lab.net/zh-cn/blog/accelerating-apache-parquet-scans-on-apache-spark-with-gpus/ Thu, 03 Apr 2025 06:40:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=13530 Continued]]> 隨著各行各業企業的數據規模不斷增長， Apache Parquet 已成為一種重要的數據存儲格式。Apache Parquet 是一種列式存儲格式，專為大規模高效數據處理而設計。通過按列 (而非行) 組織數據，Parquet 可實現高性能查詢和分析，因為它可以只讀取查詢所需的列，而無需掃描整行數據。Parquet 的高效數據布局使其成為現代分析生態系統中的熱門選擇，特別是在 Apache Spark 工作負載方面。基于 cuDF 構建的 RAPIDS Accelerator for Apache Spark 支持 Parquet 作為一種數據格式，用于在 GPU 上以加速方式讀取和寫入數據。對于許多數據輸入大小以 TB 為單位的大規模 Spark 工作負載，高效的 Parquet 掃描對于實現良好的運行時性能至關重要。在本文中，

]]>

13530

LLM 基準測試：基本概念 http://www.open-lab.net/zh-cn/blog/llm-benchmarking-fundamental-concepts/ Wed, 02 Apr 2025 08:02:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=13428 Continued]]> 在過去幾年中，作為廣泛的 AI 革命的一部分，生成式 AI 和大語言模型 (LLMs) 越來越受歡迎。隨著基于 LLMs 的應用在各個企業中的推廣，我們需要確定不同 AI 服務解決方案的成本效益。部署 LLM 應用的成本取決于它每秒可以處理的查詢數量，同時響應最終用戶并支持可接受的響應準確度。本文特別關注 LLMs 吞吐量和延遲測量，以評估 LLM 應用成本。 NVIDIA 為開發者提供涵蓋芯片、系統和軟件的全棧創新。NVIDIA 推理軟件堆棧包括 NVIDIA Dynamo 、 NVIDIA TensorRT-LLM 和 NVIDIA NIM 微服務。為支持開發者實現基準測試推理性能，NVIDIA 還提供了開源生成式 AI 基準測試工具 GenAI-Perf 。詳細了解如何使用 GenAI-Perf 進行基準測試。可以使用各種工具來評估 LLMs 的性能。

]]>

13428

NVIDIA Blackwell 在 MLPerf Inference v5.0 中實現巨大的性能飛躍 http://www.open-lab.net/zh-cn/blog/nvidia-blackwell-delivers-massive-performance-leaps-in-mlperf-inference-v5-0/ Wed, 02 Apr 2025 05:32:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=13408 Continued]]> 在不斷增長的模型大小、實時延遲要求以及最近的 AI 推理的推動下，大語言模型 (LLM) 推理的計算需求正在快速增長。與此同時，隨著 AI 采用率的增長， AI 工廠能否為盡可能多的用戶提供服務，同時保持良好的每位用戶體驗，是更大限度地提高其價值的關鍵。要在最新模型上實現高推理吞吐量和低推理延遲，需要在涵蓋芯片、網絡系統和軟件的整個技術堆棧中表現出色。 MLPerf Inference v5.0 是長期運行的基準套件中的最新版本，可測量一系列不同模型和用例的推理吞吐量。于 2019 年首次推出的 MLPerf Inference 不斷更新新的模型和場景，以確保它仍然是衡量 AI 計算平臺推理性能的有用工具。本輪測試新增三個新的基準測試：這些新基準測試加入了涵蓋各種模型和用例的眾多返回基準測試：ResNet-50、RetinaNet、3D U-Net、DLRMv2、

]]>

13408

NVIDIA 開源 Run:ai 調度程序以推動社區協作 http://www.open-lab.net/zh-cn/blog/nvidia-open-sources-runai-scheduler-to-foster-community-collaboration/ Tue, 01 Apr 2025 08:12:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=13437 Continued]]> 今天，NVIDIA 宣布推出 KAI Scheduler 的開源版本，這是一種 Kubernetes-native GPU 調度解決方案，現已在 Apache 2.0 許可證下提供。KAI Scheduler 最初在 Run:ai 平臺中開發，現在可供社區使用，同時繼續作為 NVIDIA Run:ai 平臺的一部分打包和交付。該計劃強調了 NVIDIA 致力于推動開源和企業 AI 基礎設施的發展，打造積極協作的社區，鼓勵貢獻、反饋和創新。在本文中，我們概述了 KAI Scheduler 的技術細節，強調了其對 IT 和 ML 團隊的價值，并解釋了調度周期和操作。管理 GPU 和 CPU 上的 AI 工作負載帶來了傳統資源調度器通常無法解決的一系列挑戰。調度程序專為解決以下問題而開發： AI 工作負載可能會迅速變化。例如，

]]>

13437

工業設施數字孿生中的機器人仿真 http://www.open-lab.net/zh-cn/blog/simulating-robots-in-industrial-facility-digital-twins/ Mon, 31 Mar 2025 08:20:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13443 Continued]]> 工業企業正在采用物理 AI 和自主系統來實現運營轉型。這涉及在工廠和倉庫中部署異構機器人車隊，包括移動機器人、人形助手、智能攝像頭和 AI 智能體。為了充分利用這些支持物理 AI 的系統的全部潛力，公司依賴于其設施的數字孿生，即用于模擬和優化自主系統交互方式以及執行復雜任務的虛擬環境。這種 simulation-first 方法使企業能夠在實際部署之前驗證其機器人車隊是否能夠在動態環境中進行協調和適應，從而加速向真正自主的工業運營過渡。借助 Mega NVIDIA Omniverse Blueprint ，企業能夠加速物理 AI 在工廠、倉庫和工業設施中的開發和部署。該工作流使開發者能夠利用傳感器仿真和合成數據生成來模擬復雜的自主操作，并在實際部署之前驗證工業數字孿生中物理 AI 系統的性能。本文將介紹該藍圖的組件，

]]>

13443

R2D2：利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型，提升機器人的移動和全身控制能力 http://www.open-lab.net/zh-cn/blog/r2d2-advancing-robot-mobility-whole-body-control-with-ai-from-nvidia-research/ Thu, 27 Mar 2025 05:47:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13416 Continued]]> 歡迎閱讀首期“NVIDIA 機器人研究與開發摘要（R²D²）”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。開發強大的機器人面臨著諸多重大挑戰，例如：我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合，并在我們的 AI 和機器人平臺（包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab）上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考，以適應特定的機器人開發需求。我們期待分享我們的研究成果，共同構建機器人技術的未來。在本期 R²D² 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰：

]]>

13416

借助 NVIDIA Mission Control 實現 AI 工廠自動化 http://www.open-lab.net/zh-cn/blog/automating-ai-factory-operations-with-nvidia-mission-control/ Tue, 25 Mar 2025 08:51:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13363 Continued]]> DeepSeek-R1 等先進的 AI 模型證明，企業現在可以構建專用于自己的數據和專業知識的尖端 AI 模型。這些模型可以根據獨特的用例進行定制，以前所未有的方式應對各種挑戰。基于早期 AI 采用者的成功，許多組織正在將重點轉移到全面生產的 AI 工廠。然而，創建高效 AI 工廠的過程復雜且耗時，并且不同于構建特定于垂直行業的 AI 的目標。它涉及到樓宇自動化，用于調配和管理復雜的基礎設施，在最新平臺上維護具有專業技能的站點可靠性工程師（SRE）團隊，以及大規模開發流程以實現超大規模的效率。此外，開發者需要一種方法來利用 AI 基礎設施的強大功能，同時具備超大規模數據中心的敏捷性、效率和規模，同時避免成本、復雜性和專業知識等方面的負擔。本文將介紹 NVIDIA Mission Control (一個為使用 NVIDIA 參考架構構建的 AI…

]]>

13363

利用 NVIDIA Earth-2 提升洪水風險評估能力 http://www.open-lab.net/zh-cn/blog/powering-flood-risk-assessment-with-nvidia-earth-2/ Tue, 25 Mar 2025 08:45:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=13360 Continued]]> 陸地洪水每年都會造成重大的經濟和社會影響。在 2024 年給保險業造成超過 10 億美元損失的八場自然災害中，有六場被歸類為洪水事件，其中僅歐洲就發生了三起。災難建模（Catastrophe modeling）旨在量化洪水事件的風險，為金融和保險行業做好準備。在許多情況下，以往洪水事件的簡短歷史記錄不到 50 年，因此災難模型會模擬隨機事件的長記錄，以探索低概率高影響事件的不確定性。傳統方法通常使用統計外推法來形成這些新事件。由于依賴歷史記錄，這些方法在形成新的和看不見的事件的能力方面受到限制。 JBA 風險管理是洪水風險管理領域的全球領導者。借助 NVIDIA Earth-2 平臺，JBA 的開發人員構建了一個龐大的集成 (HENS) 管道，為易北河流域生成冬季的假設天氣數據。AI 模型、Earth-2 軟件堆棧和 NVIDIA GPU…

]]>

13360

集成 Flower和 NVIDIA FLARE，加速聯邦學習生態系統發展 http://www.open-lab.net/zh-cn/blog/supercharging-the-federated-learning-ecosystem-by-integrating-flower-and-nvidia-flare/ Mon, 24 Mar 2025 09:19:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=13375 Continued]]> 近年來， Flower 和 NVIDIA FLARE 等開源系統已成為聯邦學習 (FL) 領域的關鍵工具，每個系統都有其獨特的關注點。Flower 支持統一的 FL 方法，使研究人員和開發者能夠輕松設計、分析和評估 FL 應用。隨著時間的推移，它積累了一套豐富的策略和算法，在學術界和行業中培育了一個蓬勃發展的社區。另一方面，NVIDIA FLARE 面向生產級應用程序，提供專為可靠性和可擴展性而構建的企業就緒型運行時環境。通過專注于強大的基礎設施，FLARE 使 FL 部署能夠無縫滿足現實世界環境的需求。本文介紹了我們在連接這兩個框架方面所做的努力，并展示了它們的聯合優勢如何提升整個 FL 生態系統。這種集成使使用 Flower 開發的應用能夠在 FLARE 運行時上以原生方式運行，而無需修改任何代碼。通過將 Flower 廣泛采用、

]]>

13375

人人超碰97caoporen国产