我們宣布與Intrinsic.ai 合作，學習工業機器人任務的基礎技能模型。
工業制造中的許多挑選和放置問題仍然由人工操作員完成，因為為這些任務編程機器人仍然具有挑戰性。例如，在機器維護環境中，作為復雜的多步驟零件制造過程的一部分，協作機器人可以用來從料倉中挑選原材料零件，并將其送入數控或彎曲機。
這樣的機器人可以通過編程基礎模型，從而實現對物體零件、機器人實施例和真實世界工業環境方面的顯著可變性的推廣。
我們利用 NVIDIA Isaac 操縱器 生成抓取姿勢和機器人運動，首先在 NVIDIA Isaac Sim 中進行模擬，然后在現實世界中使用 固有流狀態 實現。
感知也是通過 Flowstate 完成的，在 Flowstate 中，我們使用對象姿態估計包來獲得雜亂場景中可抓取對象的位置和方向。
在這篇文章中，我們在一個具有挑戰性的智能取放應用程序上演示了該系統：一個機器人在雜亂的垃圾箱中抓取金屬零件，并以精確的放置姿勢將其分割。這些薄金屬片物體很難感知，因為商品深度相機難以處理鏡面。它們也很難操作，因為抓握需要吸盤而不是手指。
用于抓取和運動生成的 Isaac 操縱器?
生成 合成數據 對于真空抓取，我們使用了金屬片和吸盤的 CAD 模型。在 機器人仿真 中，我們可以為每個物體嘗試數千次抓取，并找到最優的解決方案。
良好的吸盤需要密封，并避免出現在金屬板上的孔。我們還希望避免金屬板在運輸過程中的任何擺動，這也是我們在模擬中確保的。
在我們生成了一組密集的抓取姿勢后，我們使用對象姿勢信息將它們轉換為機器人框架。然后，我們利用 NVIDIA cuMotion（由 cuRobo）提供的 CUDA 加速運動生成庫，生成無碰撞軌跡，以移動機器人并實現這些目標抓取姿勢中的一個。
其中一些姿勢可能在運動學上無法達到，或者可能發生碰撞，這兩種姿勢都可以通過 cuRobo 進行同時規劃軌跡。作為參考，cuRobo 可以在 NVIDIA RTX 4090 上快速生成運動計劃，僅需 30 毫秒。
Isaac Sim 評價?
我們首先在 Isaac Sim 中評估了我們的管道。模擬機器人來源于配有吸盤的定制 Kuka K10 機械臂的 CAD 文件。對象被隨機定位，以模擬真實世界的垃圾箱拾取場景。
代替對象檢測器，直接從模擬器獲取對象姿態信息。我們利用了關于物體類型的地面實況信息，并在給定物體初始姿態的情況下確定了最佳可達抓取。
具有內在流狀態的真實世界執行?
我們的工作流程直接從模擬轉移到現實世界的工作單元。真正的硬件設置包括一個外部校準的頭頂多攝像頭系統和一個配備有吸盤的 Kuka K10 機械臂。
我們在中使用了原生對象姿態估計包 固有流狀態，以檢測片狀金屬物體的位置。然后，我們使用 Isaac Manipulator 來計算對象的抓取位置，并計劃一個無碰撞的軌跡來執行抓取任務。
最后，我們通過在機械臂上的位置控制器執行了這個機器人軌跡 Flowstate。總的來說，在演示中我們實現了大約 8 秒/次的循環時間。
展望未來?
我們計劃將我們的框架擴展到更先進的智能取放形式，如機器維護。在這個例子中，機器人必須將抓取的物體精確地放置在機器進行下游處理的位置或固定裝置上。
欲了解更多信息，請參閱 Isaac 操縱器 以及來自 Intrinsic 的公告：用人工智能解鎖工業自動化的新價值。
?
