機器人需要具備適應能力，能夠隨時學習新技能并適應周圍環境。然而，傳統訓練方法可能會限制機器人在新情況下應用所學技能的能力，這通常是由于感知和行動之間的差距，以及在不同環境中傳遞技能所面臨的挑戰。
NVIDIA Isaac Lab 是一個用于機器人學習的開源模塊化框架，可解決這些限制。Isaac Lab 的模塊化高保真模擬適用于各種訓練環境，提供物理 AI 功能和 NVIDIA GPU 驅動的物理模擬。
Isaac 實驗室支持模仿學習 (imitation learning) 和強化學習，為任何機器人 embodiment 提供靈活的訓練方法。它為訓練場景提供了用戶友好型環境，幫助機器人制造商根據不斷變化的業務需求添加或更新機器人技能。
許多行業協作者都在使用 Isaac Lab 高效地訓練人形機器人。其中包括 Fourier Intelligence 公司 (其 GR1 人形機器人具有類似人類的自由度) 和 Mentee Robotics 公司 (其 MenteeBot 專為家庭到倉庫應用而構建)。
ORBIT-Surgical 是一個基于 Isaac Lab 的模擬框架，用于訓練 da Vinci Research Kit (dVRK) 等機器人，以協助外科醫生并減少他們的精神工作負載。該框架使用在 NVIDIA RTX GPUs 上運行的強化學習和 imitation learning，使機器人能夠操作剛性和軟性物體。此外，NVIDIA Omniverse 幫助生成高保真的 synthetic data，這些數據可用于訓練 AI 模型，以便在真實的醫院手術室視頻中分割手術工具。
Boston Dynamics 正在使用 NVIDIA Isaac Lab 和 NVIDIA Jetson AGX Orin，支持直接部署用于推理的模擬策略，從而簡化部署流程。有關更多信息，請參閱 Closing the Sim-to-Real Gap: Training Spot Quadruped Locomotion with NVIDIA Isaac Lab。
本文概述了 NVIDIA Isaac Lab 的主要功能，并預覽了NVIDIA Humanoid Robot Developer Program中的 Isaac Lab 生態系統協作者。本文還介紹了如何使用NVIDIA OSMO平臺擴展機器人工作流程。
用于加速機器人學習的 Isaac Lab 功能
Isaac 實驗室提供的主要功能包括用于無縫有效機器人策略訓練的強化學習和模擬學習、PhysX 提供的快速準確的物理模擬、用于矢量化渲染的平鋪渲染 API、用于提高機器人策略的可靠性和適應性的領域隨機化，以及對在云中運行的支持。
一個工具中包含多種機器人訓練技術：Isaac Lab 是一款模擬應用程序，通過強化學習和模仿學習實現機器人學習。
強化學習 (RL)：機器人通過試驗和錯誤進行學習，使其更能適應新的情況，并可能超過人類在某些任務中的表現。然而，RL 可能很慢，需要精心設計的獎勵函數來指導機器人的學習。Isaac Lab 通過向不同的庫提供 wrappers，支持 RL，這些庫將環境數據轉換為函數參數和返回類型。
模仿學習：機器人通過模仿人類演示進行學習。這方法非常適合具有特定動作或行為的任務，需要更少的數據并利用人類專業知識。學習框架 Robomimic 支持模仿學習，并支持在 HDF5 中保存數據。
任務設計工作流的靈活性： 通過兩種方式構建機器人訓練環境，基于 manager 的工作流或 direct 的工作流。借助基于 manager 的工作流，您可以輕松切換出環境的不同部分。為了優化復雜邏輯的性能，推薦使用 direct 工作流。
平鋪渲染：Isaac Lab 是目前唯一一款為機器人學習提供高保真渲染的行業工具，有助于縮小 sim-to-real 之間的差距。 平鋪渲染 通過將多個攝像頭的輸入整合到單個大型圖像中來縮短渲染時間。它提供了用于處理視覺數據的簡化 API，其中渲染的輸出直接用作模擬學習的觀察數據。
多 GPU 和多節點支持：： 對于復雜的強化學習環境，最好跨多個 GPU 擴展訓練。這在 Isaac 實驗室中是可行的，通過使用PyTorch 分布式框架。
Vectorized API：利用增強的 View API 提高易用性，消除預先初始化緩沖區的需要，并且緩存場景中不同對象的索引，此外還支持場景中的多個視圖對象。
輕松部署到公有云：支持在AWS、GCP、Azure 和 Alibaba Cloud 上部署，通過 Docker 集成可在容器中高效執行 RL 任務，以及使用 OSMO 無縫擴展多 GPU 和多節點作業。
準確的物理模擬：通過 Isaac Lab 利用最新的 GPU 加速 PhysX 版本，包括對可變形性的支持，確保快速準確的物理模擬通過域隨機化增強準確的物理模擬。
借助 NVIDIA OSMO 擴展機器人工作流程
NVIDIA OSMO是一個云原生工作流編排平臺，幫助編排、可視化和管理一系列任務，這些任務包括生成合成數據、訓練基礎模型，以及為任何機器人實施實現軟件在環系統。
借助 NVIDIA OSMO，企業無需具有廣泛的內部 IT 專門知識即可高效地訓練機器人。 請求早期訪問 NVIDIA OSMO。
用于人形機器人學習的 AI 基礎模型
NVIDIA Project GR00T 是一項為人形機器人開發通用基礎模型的計劃。Isaac Lab 使行業協作者能夠執行機器人學習，包括 1X, The AI Institute, Boston Dynamics, ByteDance Research, Field AI, Fourier, Galbot, LimX Dynamics, Mentee, NEURA Robotics, RobotEra, 和 Skild AI。
隨著自由度的增加，模擬人形動力學的復雜性也會呈指數級增長。RL 和模仿學習是為在各種任務和環境中工作的人形生物制定策略的唯一可擴展方式。
邀請使用人形機器人構建機器人應用的企業申請加入NVIDIA 人形機器人開發者計劃。
開始使用
NVIDIA Isaac Lab 提供模塊化功能，包括可定制的環境、傳感器和訓練場景，以及強化學習和模仿學習等技術，可幫助任何機器人 embodiment 從快速演示中學習。
準備好開始更快地訓練您的機器人實施策略了嗎？Isaac Lab 是在 BSD-3 許可下開源的，可通過 GitHub 上的 isaac-sim/IsaacLab 獲取。
如果您是 NVIDIA Isaac Gym (NVIDIA Isaac Lab 的前身) 的現有用戶，我們建議遷移到 NVIDIA Isaac Lab，以確保您能夠訪問機器人學習的最新進展和強大的開發環境，從而加速您的機器人訓練努力。
在 SIGGRAPH 2024 大會上，NVIDIA CEO Jensen Huang 與 Meta 創始人兼 CEO Mark Zuckerberg 和 WIRED Sr. Writer Lauren Goode 進行了爐邊談話。點播觀看 NVIDIA 在 SIGGRAPH 2024 大會上的爐邊談話和其他會議從 NVIDIA 在 SIGGRAPH 2024 大會上點播。
訂閱我們的機器人開發者時事通訊，并在 YouTube、Discord 和 開發者論壇上關注 NVIDIA Robotics，保持最新動態。
?
