???? ??? ?? ?????? ?? ?? ?? ?? ??

?? ? ?? ???? ???? ??? ???? ?? ?? ???? ???? ????. ??? ????? ?? ???? ???, ???? ?? ?? ????? ?? ??? ????? ????.?

??? ?? ???? ??? ???? ??? ????? ???? ???? ?????? ???? ?? ??? ?????. ? ? ??? ?? ?? ??(?, ??? ??? ???? ???? ????)?? ??? ??? ??, ?? ? ??? ???? ???. ??? ?? ???? ???? ????? ??? ???? ???? ?? ???? ???? ?? ?????.

NVIDIA Isaac? ??? ??? ????? ?? ??? ?? ?? ??? ???? ??? ??? ??? ??? ?? ????? ????? ??? ??????? NVIDIA? ?? ?? ??? ?? ?? ??(?: ??)? ?????? ???????. ?? ?? ??? ???? ?? ????? ???? ?????? ?? ????? ??? ? ????

?? ??? ?? ??????? ???? ??? ?? ?? ????? ?? ??(RL)? ???? ??????? ??? ?? ??? ??? ? ?? ????? ??? ??? ?? ??? ????? ???? ??? ??????. ??? ??? ??? ?? ?? ??? ??????? ??? ??? ?????.

? ?????? ??? ?? ??? ???? ??? ??? ???? ?????? ? ?????? ??? ?????? ?? ??? ?????? AutoMate? ?????. ????? ??? ??? ??????? ???? ?? ?, ??????? ??? ?? ??? ?? ?? ?? ?? ??? ?? ???? ??? ?????.

AutoMate? ??????

AutoMate? ???? ??? ?? ??????(???) ? ??????(??) ?? ??? ???? ?? ??? ????? ?? ???????, ??? ???? ??? ??????? ???? ??? ?? ?? ??? ??????. ? ??? ?? ????? ???? NVIDIA ??? ???? ???? ??? ???? ???????.

?? AutoMate? ?? ?? ??? ??? ????.

• 100?? ???? ??? ??? ??? ?? ?? ??? ????? ??.
• ?????? ??? ????? ?????? ??????? ???? ?? ??? ???? ??? ???? ??.
• ?? ???? ?? ??? ??? ??? ?? ?? ??? ???? RL? ?? ?? ?? ??? ??? ?? ???? ?? ?? ??? ???? ??.
• ???? ???? ??????? ??????? ????? ?? ??? ??? ? ?? ?? ???.

??? ??? ????? ??

AutoMate? ?????? ???? ?? ???? 3D ??? ??? 100?? ?? ??? ??? 100?? ?? ??? ?? ???? ????? ??? ?????. 100?? ??? Autodesk? ??? ?? ??? ??? ???? ???. ? ???? ????? ??? ???? ?? ??? ????(?? 3, ???? ??), ??? ???? ???? ??? ?????(?? 3, ???? ??).

??? ??? ?? ??? ??

NVIDIA? ?? ??? IndustReal? RL? ??? ?? ??? ??? ?? ?? ??? ??? ? ??? ?? ????, ?? ??? ??? ??? ? ?????. RL? ??? ?? ??? AutoMate ??? ??? 100? ?? ???? ??? ? ????. ??? ?? ??? ?? ??? ??? ???? ???? ??? ??? ??? ? ????. AutoMate? RL? ?? ??? ???? ? ?? ??? ????? ??? ??? ???? ???? ??? ?? ???? ?? ??? ?????.

?? ???? RL? ???? ?? ? ?? ???? ???? ???.

• ?? ?? ??
• ?? ?? ??? RL? ??
• ?? ?? ??? ?? ??

?? ????? ??? ? ??? ???? ??? ?????.

?? ? ??? ?? ?? ??

??? ???(Kinematics of assembly)? ??? ???? ???? ?? ????? ??? ??? ??? ? ??? ??? ???? ?? ?? ?? ??(narrow-passage problem)???. ?? ???? ???? ?? ??? ???? ???? ?? ?? ?????. ??? ??? ????? ??? ??? ?? ???? ?? ?? ?? ?????? ???? ?? ??? ?? ? ? ????.

??? ???? ??? ?? ???? ??? ???? ??? ??? ?? ???? ??? ?? ??? ??? ??, ??? ???? ?????. ??????? ??? ???? ???? ???? ? ??? ?? 100?? ???? ?? ??? ????? ??? ????.?

?? ??? ?? RL

RL?? ??? ??? ???? ??? ? ???? ???? ???? ?????? ???? ?????. ??? ??? ??? ??, ??? ??? ?? ?? ??? ?????? ????? ??? ??? ???? ????? ?????(?? ???? ???). DeepMimic? ?? ??? ????? ???? ??? ?? ?? ??? ?? ??? ???? ?? ??? RL? ???? ??? ?? ???? ?? ??? ????? ?????. ?? ??? ?? ??? ??? ??? ?? ?? ??? ?? ?? ???? ?????.

?? ?? ??? ?? ???? ??? ?? ??? ?????.

• ???? ??? ??? ??
• ????? ??? ??? ???
• ?? ??? ??

?? ?? IndustReal ??? ?????.

?? ?? ??? ?? ?? ?? 

??? ??(?, ?? ??? ?? ?? ???? ?? ??? ?????)? ???? ?? ? ?? ??? ? ??? ?? ?? ?? ??? ?? ??? ??? ??? ??, ?? ??? ??? ???? ????. ?? ??? ?? ?? ??? ??? ?? ?????? ??? ?? ??? ?? ?? ?????? ?? ? ???? ?? ??? ?????? ?? ?? ??? ?? ?? ???? ????? ?????. 

?? ?? ??(DTW)? ??? ?? ? ?? ? ?? ??? ?? ???? ???? ? ???? ???????. ? ???? DTW? ?? ??? ??? ? ?????? ?? ??? ???? ????? ?? ?? ??? ????? ?? ?? ??? ??? ? ?? ?? ?? ??? ?? ? ?????(?? 6). DTW?? ??? ??? ???? ?? ??? ? ?? ??? ?? ???? ?? ?? ?? ??? ???? ?? ??? ?????.?

??? ??? ??, ?? ??? ?? RL, DTW? ??? ?? ??? ??? ??? ???? ???? ??? ??? ?? ???. ??????? ??? ??? 80?? ?? ???? ≈80%? ???? ???? 55?? ?? ???? ≈90%? ???? ?????. ?? ???? ??? ??? 20?? ???? ?? 86.5%? ???? ????, ?? ??????? ??? ??? ??? ?? ?? ? 4.2% ??? ????(?? 7).

?? ?? ?? ??

?? ?? ??? ??? ? ?? ?????? ??? ???? ?? ??? ?? ????? ?????? ??? ??? ???? ??, ???? ?? RL? ???? ??? ?? ???? ????. ??? ???? ? ??? ?????. 

• ??, ?? ?? ??(BC)? ????, ???? ?? ????? ?????? ???? ??? ???? ??? ??? ???? ?????? ??? ??? ???? ??? ?????.
• ??, DAgger(??? ?? ??)? ?????? ??? ???? ??????? ??? ???? ?? ???? ??? ?????? ??? ????? ??(?, ???? ??? ??? ???)?? ??????? ???? ? ?????.
• ????? ??????? RL ?? ?? ??? ?????. ?? ?? ????? IndustReal ??? ??? ?? ????? ????, ??? ??????? ? ?? ?? ???? ???? ?? ??? ?? ??? ?? ?????.?

??????? 20?? ??? ?? ??? 3?? ?? ??? ???? ???????. ??????? ?????? ??? 80.4%? ???? 20?? ??? ???? ??? ? ????. ?? ???? ?????? ??? ??? ?? ???? ?? 84.5%? ???? ????, ?? ????? ??? ?? 4.1% ??? ????(?? 9).

?? ?? ? ?? ??? ?????

?? ???? Franka Panda ?? ?, ?? ?? Intel RealSense D435 ???, 3D ???? ??? ? ??, ??? ?? ? ???? Schunk EGK40 ???? ?????. ?? ??? ??????? ??? ?????. 

• ???? ? ??? ???? ???? ??? Schunk ??? ?? ???? ?????.
• RGB-D ???? ?? ?? ???? ?? ??? ? ??? 6D ?? ??(FoundationPose)? ?????.
• ??? ???? ?? ???? ??? ????? ????? ?? ??? ?????.

??????? ??????? ?? ??? ??????? ?????. ??????? ?? ?? ???? 90.0%???. ?????? ?? ???? 86.0%???. ??? ??? 6-DOF ?? ??, ?? ???, ??? ?????? ? ?????? ?? ??? ?? ??? ??? ????? ???? ?? ?? ????? ???? ???? ???? ??? ? ?? ??? ??? ? ??? ?????.

??

AutoMate? ?? ??? ?????? ???? ???? ?? ??? ????? ? ?? ?????. ? ??? ?? NVIDIA? ????? ?? ??? ???? ??? ????? ?? ??? ?? ????? ?? ????? ??? ????.

???? ???? ??? ??(?, ??? ?? ??? ???? ??)? ??? ???? ??? ???? ?? ??? ?? ?? ??? ???? ?? ??? ?? ??? ?????.

??? ???? NVIDIA ??? ??? ??????Factory???IndustReal? ?? ??? ?????. AutoMate?????????????? ??? ?? ??? ??? ?????. ?? ????NVIDIA Isaac Lab? AutoMate? ? ??? ???? ?? ??? ???.

2024? 7?? ??? ????: ?? ? ???(RSS) ?????? ?? Bingjie Tang, Iretiayo Akinola, Jie Xu, Bowen Wen, Ankur Handa, Karl Van Wyk, Dieter Fox, Gaurav S. Sukhatme, Fabio Ramos, Yashraj Narang? ?? AutoMate: Specialist and Generalist Assembly Policies over Diverse Geometries?? ??? ?????. 

?? ???

• DLI ??: ??? ??? ?? ? ??
• GTC ??: ??????? ???, ?? ??? – ?? ???? ?? ??? ?? ?????
• GTC ??: Isaac Gym? ?? ??????? ???: ?? ?? ?? ? ?? ??
• GTC ??: ??? ?? ?????: Isaac Sim? ROS2? ??? ??? ?
• NGC ????: MATLAB
• ???: ???? ?? ??: Omniverse Replicator? ??? ?? ??? ??