利用最新的 NVIDIA Isaac 版本推進機器人學習、感知和操控技術

在 CES 2025 上，NVIDIA 宣布了對 NVIDIA Isaac 的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發。

NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統開發過程。在本文中，我們將討論 NVIDIA Isaac 的所有新進展：

• Isaac Sim
• Isaac Lab
• Isaac Manipulator
• Isaac Perceptor

Isaac Sim 4.5 的新增功能 

NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，使您能夠在基于物理的虛擬環境中開發、模擬和測試 AI 驅動的機器人。

新的 Isaac Sim 4.5 將于 1 月底推出，將帶來一系列重大變化，包括：

• 參考應用模板
• 改進了 URDF 導入和設置
• 改進了物理模擬和建模
• 新的關節可視化工具
• 模擬準確性和統計數據
• NVIDIA Cosmos 世界基礎模型

參考應用模板 

Isaac Sim 經過重新設計，是一款可定制的參考應用。用于加快啟動速度的最小模板和具有完整功能以及所有依賴項的完整模板。這使您能夠根據自己的特定需求定制應用，無論是用于無外設應用還是完整的 Isaac Sim 體驗。

改進了 URDF 導入和設置 

對 URDF 導入器進行了重大改進。用戶界面經過簡化，可提供更精簡的流程，并與其他格式的導入方式保持一致。現在，您可以單獨配置關節驅動，使機器人在導入后可以立即使用。為輔助關節驅動配置，我們提供了基于自然頻率的調整選項。

改進了物理模擬和建模 

Isaac Sim 4.5 在物理建模和仿真方面取得了顯著進步。您可以定義和配置機器人組件之間的各種關節類型，通過設置剛度和阻尼等參數來微調關節行為。

新的關節可視化工具 

借助新的關節可視化工具，您可以檢查選定基元的物理屬性，包括其位置、旋轉、線性和角速度以及加速度。現在，您可以在運行模擬之前查看和優化各種場景參數，例如可變形表面或顯存使用情況。

模擬準確性和統計數據 

通過對剛體和關節實施新的全動量守勢，模擬準確性得到大幅提高。

現在，您還可以可視化物體和場景的仿真統計信息，這些物體和場景可以相互交互，也可以完全獨立。您可以查看從可變形表面到緩沖區中使用的總顯存的不同參數。這樣可以在運行仿真之前對場景進行故障排除和優化。

NVIDIA Cosmos 世界基礎模型 

此外，在 CES 上宣布的 NVIDIA Cosmos World Foundation 模型平臺與 Isaac Sim 搭配使用時，可用于生成大量可控制的合成數據來訓練感知機器人。

在 Isaac Sim 中，您可以通過統一不同的數據輸入 (包括 CAD、激光雷達到點云掃描) 以及從 AI 模型 (例如 Edify 3D ) 生成的 3D 對象來合成 SimReady 3D 場景 。然后，合成場景并對其進行暫存，以反映機器人必須執行的特定任務，并渲染圖像或視頻。

Cosmos 可以提取圖像和視頻，輸出逼真的視頻片段，然后重新訓練策略模型。

Isaac Lab 2.0 的新增功能 

NVIDIA Isaac Lab 是一個用于機器人學習的開源統一框架，用于訓練機器人策略。Isaac Lab 基于 NVIDIA Isaac Sim 構建，可幫助開發者和研究人員更高效地構建智能、適應性強的機器人，并提供穩健、支持感知、經過仿真訓練的策略。

新版 Isaac Lab 2.0 將于本月底推出，其中包括以下性能和可用性改進：

• 平鋪式渲染： 平鋪式渲染速度最高可提升 1.2 倍，可將同時模擬的輸出結果整合到單個大型圖像中，而無需處理來自單個攝像頭的大量較小圖像。
• 改善生活質量： 使用 Python 包管理器簡化安裝流程。Isaac Lab 還可用作容器，無需底層依賴項即可跨系統遷移工作負載。

在 CES 展會上，類人型機器人開發者還可以利用 NVIDIA Isaac GR00T Blueprint 構建自定義數據流水線，通過少量人類演示生成大量合成軌跡數據。GR00T 藍圖目前處于邀請搶先體驗階段。當 NVIDIA Humanoid 開發者計劃在測試版中廣泛推出時，加入該計劃。

Isaac Manipulator 新增功能 

NVIDIA Isaac Manipulator 基于 ROS 2 構建，是 NVIDIA CUDA 加速庫、AI 模型和參考工作流的集合。它使您能夠構建支持 AI 的機械臂 (Manipulator)，能夠感知和理解周圍環境并與之交互。

Isaac Manipulator 現在包含新的端到端參考工作流，用于拾放和對象跟蹤，能夠讓您快速開始執行基本的工業機器人手臂任務。

• 物體追蹤 ：展示機器人抓手在繞過障礙物時相對于移動物體保持穩定位置的能力。
• 拾放 ：展示機器人如何拾取物體并將其釋放到預定區域，同時避開障礙物 (Figure 3)。

這些參考工作流程現在支持在 Isaac Sim 中使用，實現了無需物理硬件設置的快速測試。

開發者支持和其他增強功能包括：

• 性能提升 FoundationPose
• 更新 NVBlox 操縱器用例
• 用于機器人手眼校準的教程
• 一款基于 Isaac Sim 的工具 ，用于為抓手和對象對設置和模擬自定義抓取

Isaac Perceptor 新增功能 

NVIDIA Isaac Perceptor 基于 ROS 2 構建，是 NVIDIA CUDA 加速庫、AI 模型和參考工作流的集合，用于開發自主移動機器人 (Autonomous Mobile Robots, AMRs)。它使 AMRs 能夠在倉庫或工廠等非結構化環境中進行感知、定位和操作。

Isaac Perceptor 包含 CUDA 加速庫，例如用于 3D 場景重建的 nvblox 和用于立體視覺慣性 SLAM（同步定位和映射）的 cuVSLAM ，您可以將其集成到現有的自動移動機器人（AMR）工作流程中。

Isaac Perceptor 的最新更新顯著提高了 AMR 在倉庫等動態環境中的環境意識和運營效率。主要的新功能和改進包括：

• 新的端到端可視化 SLAM 參考工作流
• 關于使用多個攝像頭運行 NVIDIA 的 nvblox 的新示例，用于 3D 場景重建的 人員檢測和動態場景元素
• 通過 在多個 RGB-D 攝像頭上運行 Isaac Perceptor ，改進了 3D 場景重建

這些更新顯著改進了 3D 場景重建，從而提高了真實場景和復雜動態環境中 3D 場景捕獲和映射性能的準確性和可靠性。

Orbbec、LIPS (Realsense)、StereoLabs (Zed) 等 NVIDIA 生態系統合作伙伴提供兼容的攝像頭。開發者支持還包括“Mapping and Localization with Isaac Perceptor”( 使用 Isaac Perceptor 進行映射和定位 ) 教程，該教程通過使用 Nova 傳感器的 cuVGL 和 cuVSLAM 庫提供離線映射功能。

采用生態系統 

多個行業合作伙伴已宣布將 NVIDIA Isaac 集成到其平臺和解決方案中：

• Boston Dynamics 正在使用 Isaac Lab 和 NVIDIA Jetson AGX Orin 直接部署模擬策略以進行推理，從而簡化部署流程。
• 為了訓練他們的 GR-1 和 GR-2 類人型機器人， Fourier 團隊轉而使用 NVIDIA Isaac Gym (現已棄用) 進行強化學習。他們目前正在將工作流移植到 NVIDIA Isaac Lab。
• Foxglove 在 Isaac Sim 中開發了一個擴展程序 ，可直接在 Foxglove 中實時可視化機器人仿真數據。
• Main Street Autonomy 的 Calibration Anywhere 軟件 使用 Isaac Perceptor 自動進行傳感器校準，改善機器人的傳感器融合。
• Miso Robotics 使用先進的機器人、 Isaac Manipulator 和 NVIDIA Isaac ROS 實現廚房任務自動化，提高商業廚房的效率、一致性和客戶滿意度。
• RGo Robotics 和 NVIDIA 正在利用 Isaac Perceptor 和 Isaac ROS，利用先進的 AI 和感知技術變革移動機器人技術 。
• 作為 NVIDIA 初創加速計劃的成員， Scaled Foundations 開發了通用機器人智能開發 ( GRID )，這是一個基于云的先進平臺，可加速機器人 AI 解決方案的開發。GRID 無縫集成了 NVIDIA Isaac Sim 和 NVIDIA Isaac Lab 技術，為機器人開發者和研究人員提供了一個端到端平臺，用于訓練、模擬和部署其機器人應用。有關更多信息，請參閱基于 GRID 的 NVIDIA Isaac Sim。
• Virtual Incision 正在使用 NVIDIA 平臺，涉及 Holoscan、IGX、Sensor Bridge、Isaac Sim。他們正在探索 Cosmos 進行訓練、模擬和測試，還在探索用于新一代機器人輔助手術設備的推理 AI 功能。
• NVIDIA Inception 計劃會員兼深度技術初創公司 Wandelbots 正在使用其操作系統 Wandelbots NOVA 構建自定義機器人仿真，該系統與 Isaac Sim 無縫集成。

開始開發您自己的機器人開發解決方案

注冊 NVIDIA 開發者計劃 ，獲取有關其他資源和參考架構的更新信息，以支持您的開發目標。

• NVIDIA Cosmos 平臺 可幫助您為物理 AI 系統構建自定義世界模型，并包含用于機器人應用的預訓練世界基礎模型。
• NVIDIA Isaac Lab 是一個用于機器人學習的開源統一框架 ，用于訓練機器人策略。
• NVIDIA Isaac ROS 基于開源 ROS 2 軟件框架構建，是加速計算包和 AI 模型的集合，可為各地的 ROS 開發者提供 NVIDIA 加速。
• NVIDIA Isaac Sim?基于?NVIDIA Omniverse?構建，可讓您構建自己的基于?OpenUSD?的應用，以便在基于物理的虛擬環境中設計、仿真、測試和訓練基于 AI 的機器人和機器。

關注 LinkedIn 、 Instagram 、 X 和 Facebook ，了解最新動態。如需了解更多信息，請瀏覽我們的文檔，并在開發者論壇和 YouTube 頻道上加入機器人開發社區。關注我們的自主培訓和網絡會議 (Isaac ROS 和 Isaac Sim)。