在 物理 AI 飛速發展的推動下 ，機器人領域正在經歷重大變革。這一演變加快了新機器人解決方案的上市時間，增強了人們對其安全能力的信心，并有助于 為工廠和倉庫中的物理 AI 提供動力支持 。
在 GTC 上宣布推出的 Newton 是一款開源、可擴展的物理引擎，由 NVIDIA、Google DeepMind 和 Disney Research 共同開發，旨在推動機器人學習和開發。
NVIDIA Cosmos 作為基于開放模型許可的世界基礎模型 (WFM) 平臺推出，旨在加速自動駕駛汽車和機器人等自主機器的物理 AI 開發。
最新發布的 NVIDIA Omniverse Kit SDK 107 是機器人應用的另一個重要里程碑。它升級到 OpenUSD 版本 24.05，同時更新了 Python、C++和 Linux ABI。NVIDIA Isaac Sim 5.0 將基于 Kit 107 進行開發。 這些增強功能在傳感器仿真、語言支持和二進制兼容性方面取得了重大進展，可以極大地增強機器人應用的開發。
機器人開發中的系統和工具
無論是工業機器還是人形助手，AI 驅動的機器人都需要大量的訓練、測試和驗證，才能在現實世界中部署。聚合來自專用工具集的異構數據是此過程的基石，而且有許多方法可以促進機器人的開發。
- CAD 軟件：創建詳細的機器人 3D 模型。
- 數字內容創建工具：創建動畫和模擬等內容。
- 模擬器：測試和驗證機器人行為，以響應虛擬環境中真實傳感器模型感知的各種場景。
- Fleet management software：在單個環境中協調和管理多個機器人。
每個機器人的核心都是 架構 – 定義其完成任務行為的數據模型。架構可用作存儲高級數據和元數據的通用接口，包括以下內容：
- 運動學屬性：有關機器人運動和結構的信息。
- 機器人語義：定義機器人用途和能力的數據。
- 身體層次結構： 機器人組件的組織結構。
- 配置參數： 用于控制機器人操作的設置。
數據管理挑戰
目前，機器人生態系統相互脫節，因為開發者必須管理機器人各個領域的多個數據源。機器人的不同子系統通常依賴于多個分散的數據源，這可能是一個耗時的連接過程。其他挑戰包括：
- 不同的機器人格式：機器人可以以目前缺乏通用橋梁的各種格式進行設計和表示。
- 不同的機器人數據：機器人數據類型包括 CAD 設計和機器人 rigging，以及電氣和機械信息、傳感器數據和 IoT 指標。
- 各種模擬求解器：有多個求解器專門用于機器人的目標組件。
為了應對這些挑戰，必須以統一的方式整合所有數據，復制現實世界的感知，以訓練、優化和操作機器人。
OpenUSD 的價值
通用場景描述（Universal Scene Description，OpenUSD） 是統一來自不同數據源的內容和支持大規模模擬的關鍵。以下是一些主要優勢：
- 互操作性：OpenUSD 旨在實現可擴展，使其能夠支持來自 CAD 和 URDF 的現有機器人數據源，為仿真環境注入物理精準的材質和運動學，并傳輸來自機器人或工業設施中傳感器的實時操作數據。
- 聚合：OpenUSD 使用文件格式插件和引用來實現內聚的數據集，同時維護規范的事實來源。
- 協作：OpenUSD 的合成和非破壞性編輯功能實現了人類、AI 和模擬器之間的新協作工作流。
隆重推出適用于機器人的 OpenUSD 資產結構流程
在 GTC 2025 上 ，NVIDIA 通過 Disney Research 和 Intrinsic AI 推出了適用于機器人的 OpenUSD 資產結構流程。這種新結構和數據流水線采用 OpenUSD 中的最佳實踐來統一機器人工作流，并為所有數據源提供通用語言。
在圖 2 中，從左到右是工作流，從右到左是組件依賴項。
OpenUSD Asset Structure Pipeline 旨在簡化用于仿真和開發的機器人資產的準備和增強。此工作流可確保高效管理、優化和增強，同時保留資產的原始完整性和層次結構。
OpenUSD 資產結構流程階段
通過遵循基于提取、轉換、加載 (ETL) 的 OpenUSD 資產結構流程，您可以將機器人資產無縫集成到仿真環境中，從而更輕松地在各種應用中測試、優化和部署資產。
素材來源
- 將資產直接導入 USD (使用 Omniverse CAD 轉換器或開源文件格式插件轉換)。
- 將資產構建為每個機器人組件的 USD 層，或整個機器人的單個層。
- 保留資產的原始組織和層次結構，以促進管理和參考。
轉換
- 重新組織資產以優化其結構或提高其性能。
- 確保資產完全支持仿真，同時保持其完整性。
特性
- 為每個資產添加模擬功能。
- 通過可通過變體配置的有效載荷組合所有仿真功能。
- 使用模塊化方法實現各種工作流程并促進高效模擬。
主要優勢
該流程支持從源代碼到仿真的內容結構變革性重塑，支持在運行時（例如用于機器人仿真的參考應用 NVIDIA Isaac Sim）中針對實時仿真進行大規模訓練和優化。
它在設計時考慮了可復用性和模塊化，支持當前的工作流程和未來的創新。通過 變體集 配置的單個接口層可統一機器人資產結構管線，同時提供根據當前任務定制資產的靈活性。
工作流使用引用來維護 CAD 數據源的鏈接，確保任何更新或更改都可以在下游推送或拉取。
它通過使用 新的 Cosmos 世界基礎模型 將結構化模擬轉換為逼真的視頻，從而實現可擴展的合成數據生成，以訓練物理 AI 模型。
注意事項
OpenUSD 非常靈活，因為其合成引擎與領域無關。在最基本的層面上，OpenUSD 可以組合鍵值對，而無需了解這些鍵值對在 3D 術語中的含義。但是，這也意味著，在聚合 OpenUSD 中的數據時，需要牢記特定領域的注意事項。
其中最重要的注意事項之一是場景單元。在 Isaac Sim 等運行時使用 USD 處理機器人時，我們建議使用將 metersPerUnit 設置為 米 的根層，在已以米為單位的機器人中引用，并使用 Metrics Assembler 確保仿真中引用的任何環境在需要時都能正確擴展，以米為單位。 我們不建議在任何不以米為單位的內容中進行二次分層。
OpenUSD 聯盟 (AOUSD) 還將探索更全面的方法來處理 USD 層堆棧中的 混合單元和其他階段指標 。但是，必須謹慎考慮此類方法，以滿足以下要求：
- 保持性能
- 緩解代碼和內容不兼容問題
- 集中計算最終轉換和受單元影響的其他值
即將在 OpenUSD 中推出
面向機器人的 OpenUSD 發展路線圖包括以下工作：
- 機器人格式化概念數據映射：將數據模型從 URDF、MJCF 和 SDFormat 等機器人格式映射到 OpenUSD，并根據需要發布模式建議以填補概念空白。
- AOUSD 宣布在新領域擴展 OpenUSD 工作組：推動行業特定的創新，并在新興領域擴展 OpenUSD 應用，包括工業和工程數字孿生（Industrial and Engineering Digital Twin，IEDT）興趣小組和 Web 興趣小組。
- 關于可變形對象和 B-reps 的 AOUSD 提案： AOUSD 物理工作組 提議在 UsdPhysics 中添加可變形體 (軟體動力學) ，用于訓練機器人機械手和機械手 。 AOUSD 幾何工作組正在開發 B-reps 的初步架構 。這可用于根據需要為同一工業環境中的各種物理求解器推導出 CAD 幾何圖形的不同鑲嵌。
- USD + FMI 提案：OpenUSD 和 Functional Mock-up Interface (FMI) 之間的共同標準化和概念數據映射，用于共同模擬 (例如，多個求解器模擬同一機器人或其周圍環境的不同組件) 。
- 動態行為提案：能夠實現模擬機器人動作所需的動態行為，例如封裝在 ROS 橋接器 中的行為或模擬安全區域所需的行為。 該提案將確定在 Pixar 即將推出的 OpenExec 計劃 的基礎上實現此類動態行為所需的 OmniGraph 功能要求。
開始使用
您可以立即下載 基于 Omniverse 構建的 Isaac Sim ，并在 Hugging Face 上訪問 NVIDIA Cosmos 和 NVIDIA Isaac GR00T 基礎模型。
通過免費的 OpenUSD 會議以及“ 學習 OpenUSD 和 機器人基礎知識 ”Deep Learning Institute (DLI) 課程，在您的基礎知識基礎上再接再厲。
為了加快人形機器人和工業機器人手臂的工作速度，探索 開源 Isaac GR00T 系列模型 。
探索 Hugging Face 上的新物理 AI 數據集，包括 400 個用于物理 AI 的新 SimReady USD 資產。
要了解有關使用 OpenUSD 進行機器人仿真和開發的更多信息，請收聽即將于 3 月 26 日 (星期三) 上午 11：00 (PDT) 舉行的 OpenUSD Insiders 直播 。
?
?
