以物理人工智能為動力的機器人時代已經到來。物理人工智能模型了解其環境，并自主完成物理世界中的復雜任務。許多復雜任務，如靈巧的操縱和在崎嶇地形上的人形運動，都太難編程，依賴于使用強化學習（RL）在模擬中訓練的生成物理人工智能模型。
通過NVIDIA Isaac Sim，這是一個基于NVIDIA Omniverse的參考應用程序，開發人員可以在一個遵守物理定律的虛擬環境中設計、模擬、測試和訓練基于人工智能的機器人和自主機器。
NVIDIA Isaac Sim 使團隊能夠生成合成數據、訓練機器人策略，并運行多種假設場景，以在部署前驗證整個機器人堆棧。
該帖子涵蓋了最新的 Isaac Sim 4.0 版本，其中包括NVIDIA PhysX 5.4 和Isaac Lab。現在可以下載的 Isaac Sim 4.0 是基于NVIDIA Omniverse Kit 106構建的，這為開發人員帶來了對工作流程的更大方便和控制。
NVIDIA Isaac Sim 4.0 新功能特性
Isaac Sim 4.0 提供了強大的新功能和增強功能，以增強您的機器人工作流程，包括：
- 使用 PIP 加快安裝速度
- 通過基于向導的導入和系統兼容性檢查器提高了可用性
- 新資產、環境、機器人、環境傳感器
- 新的 PhysX 功能，如模擬關節、TGS 解算器、殘差可視化等
- 用于強化學習的多 GPU 和多節點功能
繼續閱讀，了解更多關于這些新功能，以及模擬階段使用的新 PhysX 和傳感器功能的信息。
使用 PIP 安裝快速入門更快
現在，您可以使用 Python 包管理器（如PIP）在本地或遠程系統上安裝 Isaac Sim，這大大加快并簡化了使用開發人員熟悉的相同開發環境的安裝過程。在基于云的 IDE（如 Jupyter）中輕松部署 Isaac Sim。
此外，您現在可以使用兼容性檢查器應用程序查看系統要求和兼容性，從而在開始安裝過程之前提供即時反饋。
基于向導的導入提高了可用性
每一次模擬都是從構建虛擬環境和占據其中空間的機器人開始的。為了加快這一過程，Isaac Sim 現在包含了一個向導，該向導具有引導用戶在指定環境中導入和調整機器人的過程。該向導還提供了一大堆其他選項文檔，其中包括最常見的工具，如 CAD 導入器、傳感器、索具機器人等。
其他資源庫例如 PyTorch、pandas、LangChain、Megatron、NVIDIA、cuOpt 和 Stable Diffusion。
使用以下新資源進行模擬：例如 PyTorch、pandas、LangChain、Megatron、NVIDIA、cuOpt 和 Stable Diffusion。
- 預制倉庫模型
- 機器人模型
- 通用機器人的 UR20 和 UR30 機械臂
- 波士頓動力公司的 Spot
- 類人族
- 1X Neo
- Unitree H1
- Agility Digit
- Fourier GR1
- Sanctuary AI Phoenix
- 小鵬 PX5
- 傳感器
- Ouster
用于模擬和檢查關節的 PhysX 5.4 新功能
一旦場景構建完成并將機器人設置在環境中，就可以在機器人模型上使用NVIDIA PhysX 5.4中的新功能。
例如，“模擬關節”功能使您能夠對機器人中的耦合關節位置進行建模。現在，您可以對平行夾具機構、四連桿機構或平行夾具或機械手的機械耦合元件進行建模，模擬關節可以捕捉 URDF 規格關系。
jointPosition = multiplier * referenceJointPosition + offset
關節速度受到類似的約束，并且相互作用是雙向的。為滿足約束，模擬關節施加的力將根據乘數（即齒輪傳動）反饋到參考關節。
物理檢查器功能現在可以通過將機械臂定位到給定模擬場景的特定姿勢來創建單個關節和最大關節，從而實現單個關節和最大關節的 authoring。團隊還可以在實際模擬之前目視檢查碰撞和自由度。
新的模擬功能
模擬階段的一些新功能旨在幫助增強物理和傳感器模擬。
增強的物理模擬
物理在機器人的整體運動和性能中起著不可或缺的作用。Isaac Sim 4.0 中的新增強功能提供了更好的模擬、可視化和調試工具。
TGS 解算器的最新更新采用了一種新模式，有助于提高解算器收斂性和碰撞保真度。通過新引入的解算器選項，TGS 能夠在每次 TGS 位置迭代（子步驟）中考慮重力和其他外力，并闡明聯合努力，而不是在時間步驟開始時進行一次。在“物理場景高級”選項或 USD PhysxSceneAPI EnableExternalForcesEveryIteration 屬性中啟用該模式。
對于高性能模擬，重要的是要在求解器迭代次數和模擬保真度之間找到適當的折衷。新的殘差報告功能通過在時間步長結束時暴露與解算器收斂質量相對應的數據，以幫助完成這一模擬調整任務數據可以在物理場景中聚合查詢，也可以按關節和最大坐標關節查詢。
不僅可以看到解算器殘差，還可以使用新的“模擬數據可視化器”窗口監視模擬數據，如位置和方向。支持的屬性包括身體位置和方向、解算器殘差等。了解更多信息，請參閱可視化工具文檔。
現在，您還可以使用統一的 API 查詢剛體和關節連接的線性加速度和角加速度，例如報告的值可用于計算慣性測量單元的模擬輸出。
其他功能包括 SDF 碰撞改進、接觸摩擦力報告等。
對傳感器模擬的更多支持
傳感器構成了機器人感知堆棧的主干。Isaac Sim 擁有越來越多的逼真傳感器模型庫，可以模擬地面實況感知和基于物理的傳感器。
最新版本包括對非視覺材料的 RTX 支持，這些材料的光學特性現在擴展到非視覺光譜，如紅外、無線電波和紫外線，從而實現新的、更先進的傳感器建模。此外，您可以使用新的 RTX 非視覺材料功能集，基于 RTX 的雷達來準確模擬雷達對不同材料類型和環境的響應。
此外，IMU 傳感器后端現在與 Tensor API 兼容，這有助于統一 IMU 傳感器的物理后端與其他 Isaac Sim 傳感器和節點，從而能夠更一致地訪問最新的物理數據。
對基于 OmniGraph 的傳感器管道的性能改進包括僅在需要時運行管道而不是每幀，以減少管道的開銷。
利用 Isaac Lab 加速強化學習
Isaac Lab 建立在 Isaac Sim 的基礎上，是一個統一、模塊化和開源的機器人學習框架，旨在簡化常見的工作流程，如強化、模仿和演示學習以及運動規劃，它融合了Orbit的功能，這是一個由NVIDIA、AI Institute、蘇黎世聯邦理工學院和多倫多大學聯合開發的開源框架。
Isaac Lab 使用 PyTorch 分布式框架，利用 Linux 上的多 GPU 和多節點培訓，幫助團隊進行擴展，這些工作可以輕松地在異構環境中進行擴展，使用OSMO
當在多個 GPU 上運行時，使用多個 GPU 可以獲得更高的卷展 FPS（如圖 5所示）。這意味著在相同的時間內可以生成更多的軌跡和體驗，為模型提供更豐富的數據集供學習，然后模型可以更快地收斂并實現更高的性能水平，相比于在單個 GPU 上訓練。
在強化學習中，機器人必須執行多種相互獨立的場景。當這些機器人在多個相機上執行任務時，可視化它們的進度可能會非常乏味，但平鋪渲染有助于在單個視圖中可視化所有這些場景。平鋪渲染的工作原理是將多個相機的輸出連接起來，渲染一個大圖像，而不是每個相機生成的多個小圖像。
此外，對于具有許多環境的大型 RL 場景，PhysX 5.4 中的新優化將環境克隆速度比上一版本提高了 3 倍。
生態系統采納
來自 1X、Agility Robotics、The AI Institute、Boston Dynamics、Fourier、Galbot、LimX Dynamics、RobotEra、Sanctuary AI 和 UBTECH 的領先機器人開發人員正在整合 Isaac Lab，開發他們的下一代機器人和人形機器人。許多公司已經在利用 Isaac Sim 在現實環境中測試他們的機器人，并生成用于模型訓練的合成數據。
了解更多關于波士頓動力公司與 NVIDIA 和人工智能研究所合作開發現場強化學習研究工具包的信息，該套件結合了先進的模擬、NVIDIA Jetson AI 技術和精確的機器人控制，可以有效地將四足動物從虛擬環境過渡到現實世界的應用程序。
Isaac Lab 根據 BSD-3 許可證開源，通過GitHub 上的 isaac-sim/IsaacLab可獲得。
Isaac Sim 為 ROS 開發者提供更多支持
Isaac Sim 的最新版本為 ROS 開發人員提供了豐富的新功能，使其比以往任何時候都更容易在 Isaac Sim 中測試和模擬機器人。這從增強可用性開始，支持從ROS2 節點導入 URDF，從而能夠在 URDF 文件或包含機器人描述的 ROS2 節點之間切換。對于 Cyclone DDS 用戶，Isaac Sim 在Linux上支持 Isaac ROS 或 Nav2 相關工作流。
其他新功能包括：
- 利用 ROS2 發布支持簡化和改進了端到端工作流程
- ROS2 服務質量，用于使用 QoS 設置配置任何 ROS 訂戶或發布者
- 支持任何可用消息類型的 ROS2 publisher/subscriber 和 server/client，這可用于與系統中安裝的任何可用消息以及自定義消息對接。
開始開發您的機器人解決方案
要支持您的開發目標，請注冊NVIDIA 開發者計劃，以接收以下額外資源和參考體系結構的更新。
- NVIDIA Isaac ROS，基于開源ROS 2 軟件框架，是一個集合，包含加速計算包和人工智能模型，為全球的 ROS 開發者帶來 NVIDIA 加速。
- NVIDIA Isaac Sim基于NVIDIA Omniverse構建，是一款參考應用程序，使開發人員能夠在基于物理的虛擬環境中設計、模擬、測試和訓練基于人工智能的機器人和自主機器，它包括NVIDIA Isaac Lab，一款用于機器人學習的輕量級應用程序。
- NVIDIA Isaac Perceptor，自動移動機器人（AMR）和自動導引車輛（AGV）的參考工作流程。
- NVIDIA Isaac Manipulator為工業機械臂提供了新的基礎模型和參考工作流程。
- NVIDIA Jetson 是自治機器和嵌入式應用程序的領先平臺。
在LinkedIn、Instagram、X和Facebook上保持最新信息。瀏覽NVIDIA 文檔和YouTube頻道，并加入NVIDIA 開發者機器人論壇。通過自定進度培訓和Isaac ROS和Isaac Sim的網絡研討會了解更多信息。
?
