?? ????? ?? ??? ????? ?? ????? ?? ????? ??? ??? ??? ???. ? ??? 3D ???? ??? 6?? ???(DOF) ??? ????, ?? ? ?? ??? ??? ?????.
?? ???? ??? ??? ???? ?? ?? ?? ??? ???? ?? ??? ?? ??? ?????. ?? ???? ? ? ????(pick-and-place) ??? ?? ?? ??? ????, ?? ?? ??, ?? ??, ?? ??? ?? ??? ?? ?? ????? ??? ? ????. ??? ??? ???? ?? ??? ?? ?? ?????? ???? ??, ?? ? ?? ?????? ?????.
NVIDIA? ??? 6?? DOF ??? ?? ?? ? ???? ?? ??(DOPE)? ??????. ? ?????? ????? ?? DOPE ??? ???? ?? ?? ???? ???? ??? ?????.
? ???? ?? ??
DOPE? ???? ????? ???? ??? ? ??? RGB ????? ?? ?? ????? 6?? DOF ??? ???? NVIDIA?? ??? ?? DNN???. ?? ????? ???? ???? ?? 3D ??? ?????. 2cm? ?? ??? ?? ?? ? ??? ??? ??? ???? ?????.
DOPE? ???? ?? ????? ??? ?? ? ?? ??? ?? DOPE ??? ??? ???? ???. ?? ??, ?? ??? ??? ???? ?? ??? DOPE ??? ??? ? ??? ?? ?? ???? ??? ??? ???? ???.
? ?? ??, ??????? ?? ?? ??? ?????? ??? ?? 4?? ???? ?? ??? ???? ? ??? ??? ?? ??? ??? DOPE ?? ???? 4?? ?????.
DOPE? ??
- ?? ????? ??? ? ?? ??? ?? ? ?? ??? ??? ? ????.
- ???? ????(object occlusion)? ?????.
- ??? ?? ??? ??? ?? ???? ???? ?? ???? ???? ??? ?? ??? ????.
- ????? ? ???(PnP) ????? ???? ??? ??? ??? ??? ???? ?????.
- DOPE? GPU ???? ???? ?? ??? ???? ?? NVIDIA Isaac ROS?? ?????.
???? ?? ??
?? ????? ??? ????? ?? ????? ??? ???? ??? ????. ?? ?? ?? ??? ????? ?? ??? ?? ??? ??? ???.
??? ????? ????? ???? ?? ??, ???, ??, ??, ????? ???? ?? ????? ???? ???? ?????. ?? ???? ??? ??? ??? ????? ???? ?? ??? ?? ???? ???? ?? ?????. ??? ?? ?? ???? ????? ? ?? ???? ?????.
DOPE? ??? ?? ??? ??? ???? ???? ?? ???? ???? ???? ??? ???? ?? ?? ??? ? ??????.
????
DOPE? ???? ?? ??(CPM)? ??? ?? ????? ??? ?? ?? ?? ???? ??????. ? ????? ?? ???? ???? ?? VGG19 ?? RESNET? ?? ?? CNN?? ?????.
DOPE ????? ??? ?? ?????? ?? ???? ??? ??? ??? ??? ?? ??? ?? ? ???? ?? ??? ?????.
??? ??
NVIDIA? NVIDIA ?? ??? ?? ??? ????(HOPE) ??? ???? ??? ?? ??? DOPE ??? ?????. ? ??? ??? ??? ??? ?? 28?? ??? ??? ???? ????, 6D ???? ?? ??? ?? ????? ?????.
???? ???? ??? DOPE? ??????? ??? ?? ????? ???? ?? ??? ??? ???? ???. DOPE? ???? ?? ??? ??? ????? ??? 3D ??? ?????. 3D ???? ??? BundleSDF? ???? ??? ? ????. NVIDIA?? ??? ? ??? ?? RGBD ???? ????? ??? 3D ??? ???? ????.
??? ??
??? ????? ?? NVIDIA Isaac Sim? ???? DOPE? ?? ???? ??? ? ????. ????? MESH? DOME??? ? ?? ??? ??? ??? ?? NViSII ???? ??? ??? ??? ?? ??? ?? ??? ???? ??? ?????.
??? ??? ??? ?? ?? ??? ??? ????? ?? ??? ???? ?? ??, ?? ??? ?? ? ??? ???????. DOME? ???? ? ?? ?? ?? ??? ???? ? ???? ??? ?????.
Isaac Sim? ???? DOPE? ?? ???? ???? ??? ?? ??? NVIDIA ???? ??? ? ????.
? ??(MESH ? DOME)?? ??? ???? ?? ??? ? ????. ?? MESH / DOME ??? ?? ??? ?? ????. ??? ?? ??? ??? ????? ?????(?: MESH/DOME 25/75). ?? ??? ?? ???? ???? DOPE? ???? ?? ????? ? 2? ?? ???? ??? ?? ??? ??? ?????.
??? ??? ???? ???? ??? ?? JSON ??? ?????. ? JSON ???? ?? ???, ??, ??, ?? ???? ??? ? ??? ?? ??? ???? ????. ???? ??? ??? ????(????? ??)? ????, ??? ?? ???? ????? ? ??? ? ????.
Isaac Sim? ??? ? ??? ?? ??? YCB ??? ?????? ??? ???? ???? ???? ?? 6D ?? ?? ??? ???? ? ??? ? ????.
???? ???
DOPE? ?? ??? ?? ???? ???? ?? ?????. ? ????? ?? ??? ?? ??? ????? ?? ???? ???? ??? ?? ???? ??? ? ????.
??? ??? GitHub?? ? ???? ?? ???? ?????.
?? Isaac Sim ??? ?? ??? ?? ??? ????? ???? ????. ??? NVIDIA? ??? ??? ? ?? NViSII? ??? ?? ??? ?? ????? ?????.
DOPE ??
?? ??? ??? ??? ? NVIDIA? DOPE? ???? ?? ????? ?????. ?????? ?? ???? ???? ??? ??? ?? ??? ??? ?? ??? ? ????.
????? ??? ?? ??(?? ??? ? ?? ? ??)? ????, ?? TensorBoard? ???? ??? ? ????.
?? ? ??
DOPE ??? ??? ??? ??? ??? ???? ??? ??? ? ????. ??? ???? ???? ?? ??? ?? ???? ?? ????? ????? ?? ??? ? ????.
?? ?? ??? ?? ??? ??? ??? ?????(????? 3D ??? ???? 3D ??? ???? ??? ???). ?? ???????? ??? ??? ???? ??? ?? ??? ??? ??? ?? ??? ?????.
??? ??? ??? ??? ??? ????? ??? ? ?? ?? ????? ?????. ??? ???? ?? ???? ??? ?? ???? ?? ??? 3D ??(.obj ??)? ?????. ????? 3D ??? ????? ?? ???? ?? ?? ?? 3D ??? ?????.
?? ???? ADD ???? ???? ? ?? ??? ?????:
- ?? ??(ADD)? ??? ??? ??? ?? ??? ?? ??? ?? ??? ???? ??? ?? ?????.
- ????(Cuboid) ??? 3D ??(?? ???)? ??? ???? ?? 8?? ???? ?? ???? ?? ??? ?????. ? ??? ADD?? ?? ??? ???? ???? ?????.
??? ??? ?? ??? ??? ???? ???? ? ??? ?? ?? ?? ?? ??(AUC)? 300? ?? ????? 66.64????. 600? ?? ?? ???? ??? ??? ??? ???? ?? 62.94? AUC? ???????. ??? ??? ???? ???? ?? ???? ???? ? ???? ?? ?????(77.00 AUC).
DOPE? ?? ???? ???? ???????. ??? ?? ???? ??? ????, ??? ??? ??? ?? ??? ?? ???? ??? ??? ??? ?????. ?? ??? ?? ?? ???? ?? ???? ???? ??? PoseCNN? BB8?? ??? ? ?????.
?? ??? ?? YCB ??????? 5?? ????? ?????, 5?? ???? ? 4?? ????? ?? DOPE? PoseCNN?? ? ?? AUC? ??????.
??? ??? DOPE ???? ??? ? ????. ?? ? ??? ?? ??? ??? GitHub?? ?????.
Isaac ROS ?? ?? ??
Isaac ROS? DOPE? ??? ?? ??? ?? ROS 2 ???? ?????. ? ???? NVIDIA Triton ?? NVIDIA TensorRT? ???? GPU ?? ??? Isaac ROS DNN ??? ?????.
DOPE ??? ??? ?, ? ???? ???? NVIDIA Jetson ?? NVIDIA GPU? ??? ????? ??? ??? ? ????.
??? ???? ??? ????? ??? ??? ?? ???, ?? ??? ???? ?????. ?? ??? ??? ?? ???? ?? ??? ??? ?????. ??? DOPE ???? Isaac ROS ???? ?????? ???? NVIDIA Jetson AGX Orin?? 39.8 FPS, NVIDIA RTX 4060 Ti-?? 89.2 FPS? ?????.
????? ? ?? ?? ??? ??? ???? ????:
- DNN ??? ??? ??? ?? ???? ??? ???? ???? ??? ?????.
- TensorRT ??? ?? ??? ??? ?? ??? ?????.
- DOPE ??? ??? ??? ?? ?? ??? ?????.
?? ???? ??? Isaac ROS ???? ??? ???? ???? ?? ??? ?????.
?? ???
GTC ??: Jetson? AI ?? 6D ?? ?? ??: NVIDIA ????? ? ????? ???? ? ??
NGC ????: Isaac ML 3D ??
SDK: Isaac SDK
???: Isaac ??? ?? #2 – NVIDIA Isaac ?????? ? NVIDIA TAO? AI ?? ?? ????
???: Jetson? vSLAM? ??? ????, 250fps, ROS 2 ???????
???: NVIDIA Jetson?? NITROS? ??? CUDA ROS ?? ????
