SIGGRAPH 計劃 – NVIDIA 技術博客

如何為基于感知的物理 AI 構建支持生成式 AI 的合成數據管道

Mon, 06 Jan 2025 08:38:33 +0000

訓練用于為機器人和自動駕駛汽車等自主機器提供動力支持的物理 AI 模型需要大量數據。獲取大量不同的訓練數據可能十分困難、耗時且昂貴。由于隱私限制或問題，數據通常會受到限制，或者只是在新用例中可能不存在。此外，可用數據可能不適用于所有潛在情況，從而限制了模型準確預測和應對各種場景的能力。合成數據由在 NVIDIA Omniverse 中構建的數字孿生仿真生成，現在已通過 NVIDIA Cosmos 進行升級，能夠彌補真實數據中的差距，使開發者能夠啟動物理 AI 模型訓練。您可以通過改變許多不同的參數 (例如布局、資產位置、位置、顏色、物體大小和照明條件) 來快速生成大量不同的數據集。然后，可以使用這些數據來幫助創建廣義模型。為幫助您構建由生成式 AI 提供支持的合成數據生成工作流和工作流，請查看“使用生成式 AI 參考工作流生成合成數據”。

Source

]]>

利用 NVIDIA Omniverse 新開發者工具將生成式 AI 整合到 OpenUSD 工作流程

Mon, 29 Jul 2024 07:51:13 +0000

在 SIGGRAPH 2024 大會上，NVIDIA 宣布推出基于 NVIDIA Omniverse 的新型生成式 AI 和基于 NVIDIA Omniverse 的 NVIDIA 加速開發工具。這將擴大 Universal Scene Description (OpenUSD) 在機器人、工業設計和工程領域的采用率，以便開發者可以為 AI 的下一次演進快速構建高度準確的虛擬世界。 OpenUSD 是適用于 3D 和 simulation 工作流程的開源框架和數據交換。這種通用性使開發者能夠構建高度準確、AI-enabled 的虛擬世界以及使這些世界成為可能的工具。借助基于 NVIDIA Omniverse 的 NVIDIA 加速開發工具和新型生成式 AI，更多行業的開發者可以創建用于可視化工業設計和工程項目的應用程序，或用于模擬環境的應用程序，

Source

]]>

如何使用 OpenUSD 構建支持生成式 AI 的合成數據工作流

Mon, 29 Jul 2024 07:40:46 +0000

訓練物理 AI 模型用于驅動自主機器（例如機器人和自動駕駛汽車），需要大量數據。獲取大量多樣化的訓練數據可能很困難、耗時且昂貴。數據通常因隱私限制或問題而受到限制，或者僅僅因為新穎的用例而不存在。此外，可用數據可能不適用于各種潛在情況的全范圍，從而限制了模型準確預測和響應各種場景的能力。合成數據, 通過計算機模擬從數字孿生中生成，可替代真實數據，使開發者能夠啟動物理 AI 模型訓練。您可以快速生成大量多樣化的數據集，通過改變許多不同的參數，如布局、資產放置、位置、顏色、物體大小和光照條件。然后，這些數據可用于幫助創建通用模型。實現逼真度對于縮小模擬到現實領域的差距至關重要。該過程旨在使用正確的屬性（例如材料和紋理）表示虛擬環境中的每個對象，以準確地模仿其真實世界的表示。如果沒有人工智能的幫助，這是一個耗時的手動過程。

Source

]]>

利用 NVIDIA Isaac 實驗室加速機器人模擬學習

Mon, 29 Jul 2024 07:33:59 +0000

機器人需要具備適應能力，能夠隨時學習新技能并適應周圍環境。然而，傳統訓練方法可能會限制機器人在新情況下應用所學技能的能力，這通常是由于感知和行動之間的差距，以及在不同環境中傳遞技能所面臨的挑戰。 NVIDIA Isaac Lab 是一個用于機器人學習的開源模塊化框架，可解決這些限制。Isaac Lab 的模塊化高保真模擬適用于各種訓練環境，提供物理 AI 功能和 NVIDIA GPU 驅動的物理模擬。 Isaac 實驗室支持模仿學習 (imitation learning) 和強化學習，為任何機器人 embodiment 提供靈活的訓練方法。它為訓練場景提供了用戶友好型環境，幫助機器人制造商根據不斷變化的業務需求添加或更新機器人技能。許多行業協作者都在使用 Isaac Lab 高效地訓練人形機器人。其中包括 Fourier Intelligence 公司 (其 GR1…

Source

]]>

使用深度學習框架 fVDB 根據真實的 3D 數據構建空間智能

Mon, 29 Jul 2024 07:19:51 +0000

生成式物理 AI 模型可以在物理世界中理解和執行具有精細或粗運動技能的動作。了解和在物理世界的三維空間中導航需要空間智能。要在物理 AI 中實現空間智能，需要將現實世界轉換為模型可以理解的 AI 就緒型虛擬表示，以便模型能夠更好地理解和執行物理世界中的動作。但是，根據真實數據構建空間智能需要能夠處理大規模和高分辨率現實的基礎設施。通常情況下，開發者必須拼湊不同的庫來構建空間智能框架，這種方法通常會導致錯誤和低效，從而限制虛擬環境的范圍。由于沒有統一的框架，在多個數據結構之間復制數據會引入性能瓶頸、規模受限和不必要的工作。為了提供強大、一致的框架，以處理現實規模的物理 AI，NVIDIA 建立了 fVDB，一個為稀疏、大規模和高性能空間智能而設計的深度學習框架。對于從事涉及大規模 3D 數據（例如通常與現實世界的模擬或測量相關的數據）的深度學習應用程序的從業者和研究人員而言，

Source

]]>

利用 NVIDIA Kaolin 庫模擬任何表示下的彈性物體

Thu, 25 Jul 2024 08:36:45 +0000

最新進展在生成式 AI 和多視圖重建領域引入了快速生成 3D 內容的新方法。然而，要在機器人、設計、AR/VR 和游戲等下游應用中發揮作用，必須能夠以物理上合理的方式操作這些 3D 模型。這給傳統的物理模擬算法帶來了重大挑戰，這些算法旨在處理良好條件的、手動整理的幾何圖形，例如。為了向各種輸入幾何圖形開放物理模擬，NVIDIA Kaolin 庫最新版本集成了一項名為 Simplicits 的先進技術，這是一種統一的表示，不僅可以對雜亂的網格和點云進行模擬，還可以對學習的表示如 Gaussian Splats 和 NeRFs 進行模擬。 Kaolin Physics API 為 Simplicits 提供了兩個層次的抽象：面向物理專家的低級功能和面向生成式 AI 開發者的高級 API。以下視頻演示了各種網格的彈性模擬。您只需幾行代碼，

Source

]]>