物理 AI 模型 使機器人能夠自主感知、解釋、推理現實世界并與之交互。加速計算和仿真是開發新一代機器人的關鍵。
物理學在 機器人仿真 中發揮著至關重要的作用,為在現實環境中準確虛擬呈現機器人行為和交互奠定了基礎。借助這些模擬器,研究人員和工程師可以安全、加速和經濟高效地訓練、開發、測試和驗證機器人控制算法和原型設計。
機器人仿真建立在基本的物理定律之上,包括質量和動量守恒、剛體和軟體動力學、接觸和摩擦以及執行器建模。這些原則用于預測機器人在各種場景和環境中的行為方式,例如在使用 GPU、DPU 或其他硬件加速器時的行為。
然而,仿真往往無法與現實相匹敵,這個問題被稱為“sim-to-real”差距。機器人開發者需要一個統一、可擴展和可定制的解決方案來模擬現實世界的物理特性、處理各種行為 (包括與定制求解器的自定義交互) ,并支持不同 iability 等高級功能。
介紹 Newton
Newton 是一個開源、可擴展的物理引擎,由 NVIDIA、Google DeepMind 和 Disney Research 開發,旨在推動機器人學習和開發。
Newton 基于 NVIDIA Warp 構建 ,使機器人能夠學習如何以更高的精度處理復雜任務,并且兼容 MuJoCo Playground 或 NVIDIA Isaac Lab ——一個用于 機器人學習 的開源統一框架。

Newton 的主要方面包括:
開源的
Newton 是開源的 ,為整個機器人社區提供支持。這使機器人專家能夠自由使用和分發框架,并為其開發貢獻前沿研究。
NVIDIA 加速
Newton 的基礎基于 NVIDIA Warp (NVIDIA CUDA-X 加速庫) 構建,使開發者能夠輕松編寫 GPU 加速、基于內核的程序,用于仿真 AI、機器人和機器學習 (ML) 。它利用 NVIDIA GPU 的并行處理能力,為構建和運行基于物理性質的仿真提供了靈活的高性能框架。
由 MuJoCo-Warp 提供動力支持
此計劃的一個關鍵方面是與 MuJoCo 的兼容性,這是 Multi-Joint dynamics with Contact 的簡稱。它是一個廣泛用于機器人研發的開源物理引擎,特別是涉及復雜動態和接觸豐富的環境。開發者可以利用現有模型和代碼,節省時間和資源,使應用適應不同的物理引擎。
Google DeepMind 還首次推出了由 Warp 加速的開源機器人模擬器 MuJoCo-Warp。它使開發者能夠實現顯著的性能提升,人形機器人模擬的速度提高了 70 倍以上,手動操作任務的速度提高了 100 倍。MuJoCo-Warp 將作為 Newton 中的關鍵物理引擎,并通過 MuJoCo-Warp 提供。詳細了解 MuJoCo-Warp。
通過模擬傳播梯度的能力為機器人模擬和學習開辟了新的可能性。可微模擬器可以生成前向模式結果,并計算模擬結果的反向傳播梯度,從而優化系統參數。
可擴展
隨著現代機器人技術范圍的擴大,要模擬的場景也在增加。Newton 具有高度可擴展性,可實現豐富的多物理場模擬,其中機器人通過自定義求解器、積分器和數值方法與食物、布料和其他可變形物體進行交互。Newton 還支持將不同類型的求解器合在一起,例如在本例中,Material Point Method (MPM) 求解器將沙子與剛體動力學合在一起。
基于 OpenUSD 構建 Newton 使用 OpenUSD 框架。OpenUSD 靈活的數據模型和合成引擎聚合了描述機器人及其周圍環境所需的數據,而自定義求解器和其他運行時可以專門針對目標機器人的功能和環境。
迪士尼研究團隊將率先使用 Newton 來改進其機器人角色平臺,該平臺為新一代娛樂機器人提供支持,例如富有表現力的“星球大戰(Star Wars)”啟發的 BDX 機器人,黃仁勛在臺上發表了 GTC 主題演講。
Walt Disney 幻想工程研發高級副總裁凱爾·勞克林表示:“BDX 機器人只是一個開始。我們致力于以世界上從未見過的方式將更多的角色變為現實,與迪士尼研究院、NVIDIA 和 Google DeepMind 的合作是這一愿景的關鍵部分,”。
通過這次合作,我們將創造出比以往更具表現力和吸引力的新一代機器人角色,并以只有迪士尼才能做到的方式與我們的嘉賓建立聯系。”
除 Newton 外,Disney Research、Google DeepMind、Intrinsic 和 NVIDIA 正在合作定義 機器人的 OpenUSD 資產結構 。這種新結構和數據流水線采用 OpenUSD 中的最佳實踐來統一機器人工作流,并為所有數據源提供通用語言。
敬請關注
Newton 將為推動新一代人形機器人的發展鋪平道路。這項工作的開發工作正在進行中,我們的目標是在今年晚些時候推出第一個版本。
在此期間,您可以詳細了解 Newton 背后的技術。
- NVIDIA Warp 是一個開發者框架,用于在 Python 中構建和加速數據生成和空間計算。
- NVIDIA Isaac Lab 基于 NVIDIA Isaac Sim 開發,是一個用于 機器人學習 的開源統一框架,旨在幫助訓練機器人策略。
開始使用
通過免費的 OpenUSD 會議以及 學習 OpenUSD 和 機器人基礎知識課程 ,在您的基礎知識基礎上更上一層樓。
?
?