人形機器人 旨在適應人類工作空間，處理重復性或高要求的任務。然而，為現實世界的任務和不可預測的環境創建通用人形機器人具有挑戰性。每個任務通常都需要一個專用的 AI 模型。為每個新任務和環境從頭開始訓練這些模型是一個費力的過程，因為需要大量任務特定的數據、高昂的計算成本和有限的泛化。
NVIDIA Isaac GR00T 通過為您提供開源 SimReady 數據、 NVIDIA Isaac Sim 和 Isaac Lab 等仿真框架、 合成數據藍圖 和預訓練的基礎模型 ，幫助您應對這些挑戰，并加速通用人形機器人的開發。
NVIDIA Isaac GR00T N1 的特性和優勢
NVIDIA Isaac GR00T N1 是全球首個用于廣義人形機器人推理和技能的開放基礎模型。這種交叉實施模型接受包括語言和圖像在內的多模態輸入，以在不同的環境中執行操作任務。
GR00T N1 在一個龐大的人形數據集上進行訓練，并由使用 NVIDIA Isaac GR00T Blueprint 組件 生成的合成數據和互聯網級視頻數據進行補充。它可以通過后訓練針對特定實施例、任務和環境進行調整。現在，開發者社區可以通過 Hugging Face 上的開源 NVIDIA 物理 AI 數據集 免費獲取這些數據的子集。
GR00T N1 使用一個模型和一組權重來實現人形機器人的操作行為，例如 Fourier GR-1 和 1X Neo。它展示了對一系列任務的魯棒性泛化，包括使用單臂或雙臂抓取和操作物體，以及在雙臂之間轉移物品。
它還可以執行復雜的多步驟任務，這些任務需要持續的上下文理解和整合不同的技能。這些功能使其非常適合物料搬運、包裝和檢查應用。
今天，NVIDIA 宣布推出 GR00T N1 2B 模型 ，這是我們將預訓練和發布的一系列完全可定制模型中的第一個。
GR00T N1 模型架構
GR00T N1 采用受人類認知啟發的雙系統架構，由以下互補組件組成：
- 視覺語言模型 (系統 2) ：這種有條不紊的思維系統基于 NVIDIA-Eagle 和 SmolLM-1.7B。它通過視覺和語言指令來解釋環境，使機器人能夠推理其環境和指令，并規劃正確的行動。
- Diffusion Transformer (System 1) ：此動作模型生成連續動作來控制機器人的動作，將 System 2 制定的動作計劃轉換為精確、連續的機器人運動。
這些系統緊密耦合，在后訓練期間可以同時進行優化。
用于預訓練的 GR00T N1 數據策略
訓練 GR00T N1 等通用模型需要一種強大的數據方法，該方法可以利用不同數據類型的互補優勢。GR00T N1 訓練數據形成了一個金字塔，數據量逐漸減少，實施特異性逐漸從基底增加到峰值。
- 在此基礎上，互聯網規模的網絡數據和人類視頻提供了廣泛的視覺和語言信息基礎。這些數據集捕捉人與物體的交互，提供對自然運動模式和任務語義的見解。
- 中間層包含 NVIDIA Omniverse 平臺生成的 合成數據 。
- 峰值是通過各種平臺上的遠程操作收集的真實機器人數據，提供對機器人能力的精確見解。
以人為中心的在線視頻提供了有關人機交互的寶貴見解，但缺乏機器人的運動控制信號。仿真數據通過 GPU 加速以無限的實時數據填補了這一空白，盡管它面臨著仿真與現實之間的差距。
真實的機器人數據彌合了這一差距，但成本高昂且耗時。通過將這些不同的數據結合起來，并使用諸如 潛在動作訓練 等技術 (教會機器人在沒有監督的情況下從大規模、無標記的人類視頻數據中學習) ，形成了一個強大的策略來增強機器人訓練，提高 GR00T N1 的性能和適應性。
我們使用 NVIDIA Isaac GR00T 藍圖將這種方法付諸實踐。有了它，在短短 11 小時內就生成了超過 75 萬個合成軌跡，相當于 6.5 萬個小時或連續 9 個月的人類演示數據。與僅使用真實數據相比，將這些合成數據與真實數據集成后，GR00T N1 的性能提升了 40%。
使用 GR00T N1 進行實操
您可以按照以下步驟開始使用 GR00T N1：
- 數據準備：將機器人演示數據 (視頻、狀態、動作) 三元組格式化為 GR00T 數據集，該數據集與 Hugging Face LeRobot 格式兼容。
- 數據驗證：使用驗證腳本確保數據遵循正確的格式。
- 后訓練：使用 PyTorch 腳本使用自定義數據集微調預訓練的 GR00T N1 模型。
- 推理：使用經過后訓練的 GR00T N1 模型將推理腳本連接到機器人控制器，以在目標硬件或仿真環境中執行操作。
- 評估：運行評估腳本，獲取模型的任務成功率。
性能
GR00T N1 模型使用模擬和真實基準進行評估，以評估其在各種機器人實施和操作任務中的性能。模擬實驗使用了三個不同的基準測試，而現實世界的測試專注于使用 GR-1 人形機器人完成桌面操作任務。
模擬基準測試
模擬實驗使用了三個基準測試：兩個來自先前研究的開源測試，以及一個反映現實世界桌面操作任務的新套件，用于評估不同機器人實施例和各種操作任務的模型。
| RoboCasa | DexMG | GR-1 | 中等 | |
| BC Transformer | 26.3% | 53.9% | 16.1% | 26.4% |
| 擴散策略 | 25.6% | 56.1% | 32.7% | 33.4% |
| NVIDIA Isaac GR00T N12B | 32.1% | 66.5% | 50.0% | 45.0% |
實際基準測試
這些模型基于各種操作任務進行評估，這些任務需要精確的物體處理、協調的雙手動作和高級空間感知，從而在復雜的交互中實現精細的控制。
| 取放 | 接 | 工業 | 協調 | 中等 | |
| 擴散策略 ( 10% 的數據) | 3.0+ | 14.3% | 6.7% | 27.5% | 10.2% |
| NVIDIA Isaac GR00T N1 2B (10% Data) | 35.0% | 62.0% | 31.0% | 50.0% | 42.6% |
| 取放 | 接 | 工業 | 協調 | 中等 | |
| 擴散策略 (完整數據) | 36.0% | 38.6% | 61.0% | 62.5% | 46.4% |
| NVIDIA Isaac GR00T N1 2B (完整數據) | 82.0% | 70.9% | 70.0% | 82.5% | 76.8% |
與 Diffusion Policy 基準相比，Isaac GR00T N1 模型的運動更平滑、更流暢，并且抓取準確性有顯著提高，尤其是在較小的訓練后數據集上進行微調時。
結果進一步表明，與基準方法相比，GR00T N1 不僅可以更高效地學習新任務，而且還能以更高的精度遵循語言指令。
立即開始使用
您可以訪問以下資源以開始使用 GR00T N1：
- Hugging Face 上提供了 NVIDIA Isaac GR00T N1 2B 模型。
- 您可以從/NVIDIA/Isaac-GR00T GitHub 庫中獲取用于微調的示例數據集和 PyTorch 腳本。
使用以下資源進行后訓練和推理：
- 對于后訓練，最低配置為一個 NVIDIA RTX A6000 或一個 NVIDIA GeForce RTX 4090 GPU。對于更苛刻的需求，建議配置包括 NVIDIA DGX Spark 或 NVIDIA DGX H100 系統。
- 在推理方面，GR00T N1 模型可以部署在 NVIDIA RTX A6000 GPU 或 NVIDIA Jetson AGX Orin 超級計算機上。
有關該模型的更多信息，請參閱適用于人形機器人的 NVIDIA Isaac GR00T N1 Open Foundation Model 白皮書。
該模型與 NVIDIA Isaac GR00T 合成運動和數據生成管線以及 Isaac Lab 和 Isaac Sim 等仿真框架相結合，使您能夠創建通用人形機器人。
有關 NVIDIA Isaac GR00T 的更多詳細信息，請觀看 GTC 主題演講 來自 NVIDIA 首席執行官黃仁勛先生和 GTC 大會的重要會議，包括 人形機器人構建簡介 。
您可以訂閱 時事通訊 并在 YouTube 、 Discord 和 開發者論壇 上關注 NVIDIA Robotics，隨時了解最新信息。
?
?
