NVIDIA Jetson Orin? ?? ??? ???? AI ??????. Jetson Orin SoC ??? ???? NVIDIA Ampere ???? GPU? ???? ???, SoC?? ?? ? ?? ???? ????:
- ? ?? ????? ?? ? ?? ???(DLA)? ?? ? ?? ?? ??
- ??? ?? ? ??? ?? ????? ?? ?????? ?? ???(PVA) ??
- ?? ?? ??? ???(NVENC) ? ?? ?? ??? ???(NVDEC)
NVIDIA Orin SoC? 275?? ?? AI TOP? ??? ??? ???? ??? ???? ? ????? AI ??????. ??? AI TOP? ?? 40%? NVIDIA Orin? ? DLA?? ???? ??? ?? ????? NVIDIA Ampere GPU? ?? ??? ???? ???? ??, 2?? DLA? ?? ??? ?? ???? ?????. ?? ? ? ?? AI ??????? ??? ???? ?? ?? ???? ???? ?? ??? ???? ????. ?? ?? ???? ?? ?? KPI? ???? ??? ?? ??????.
??? ?? DLA? ??? ?????. DLA? ? ?? ??? ?? ??? ?????? ????? ?? ??? ???? ? ?? ??? CPU?? ?? ? ????? ??? ? ????.
Jetson AGX Orin ?? NVIDIA DRIVE Orin? ?? SoC? ??? ?? GPU? DLA? ??? ???? AI ??????? ?? ??? ???? ?????. ? ?????? ? ?? ???? ?? ?????. ?? ??? ? ?? ?? ??? ? ?? ?? ??? ?? AI ???? DLA? ?? ??????? ? ?? ??? ??? ??? ? ?? ??? ?????. ?????, ?? AI ???? ??? ??? ?? ???? SDK? ???? DLA ? ?? Jetson SoC? ???? ?????? ?????? ???? ??? ?????.
?? DLA? ??? ??? ??? ? ?? ?? ?? ??? ???????.
?? ?? ??
??????? ??? ? ???? ? ? ?? ?? ?? ?? ?? KPI? ????. ?? ?? ?? ??? ?? ??? ?? ?? ??????? ??? ???, ?? ???? ?? ?? SoC? ??? IP? ??? ? ??? ??????? ???? ???? ???? ???.
??????? ?? KPI? ?? ??? ?? ?? ?? ?? ?? ??? ?????? ?? ??? ???????? ???. GPU?? ???? ??? ???? ??? ??? ???? ??? ?? ???? DLA? ??? ? ????. DLA ?? ??? ?? ??? ?? 38%?? 74%?? NVIDIA Orin ? ? ??(DL) ??? ?????.
| ?? ??: MAXN | ?? ??: 50W | ?? ??: 30W | ?? ??: 15W | |
| GPU ?? INT8 ?? DL ?? | 171 TOPs | 109 TOPs | 41 TOPs | 14 TOPs |
| 2x DLA ?? INT8 ?? ?? | 105 TOPs | 92 TOPs | 90 TOPs | 40 TOPs |
| ? NVIDIA Orin ?? INT8 DL ?? | 275 TOPs | 200 TOPs | 131 TOPs | 54 TOPs |
| ???: ?? NVIDIA Orin ?? DL INT8 ?? ? DLA ?? INT8 ?? ?? | 38% | 46% | 69% | 74% |
Jetson AGX Orin 64GB? 30W ? 50W ?? ??? DLA TOP? ?????? NVIDIA DRIVE Orin ???? ?? ??? ?????.
??? ?? KPI ? ???? ?? ???? ???? ?? DLA? ???? ???. ??? DLA ??? ?? ?? ? ????? ?? GPU? ?? ?? 3~5? ? ????. ?? ??? ???? ?? ??? ???? ? ?? ??? ??? ??? ?????.
?? ??, DLA? ?? ???? ??? ??? ??? ?? ???? NVIDIA Orin?? ?? 275?? ?? DL TOP? ???? ?? ??????. ? ?? ??? ?? ??? ?? ? ???? DLA-SW GitHub ?????? ??????.
??? DLA? ???? AI ???? ??? ?????? ?? NVIDIA? ?? ?????: ??? ? ????
?? ??: ???
NVIDIA DRIVE AV? ??? OEM? ??? ?? ?????? ?? ?? ? ?? ??? ??? ? ?? ????? ?? ?? ??? ?????. ???? ??, ?? ? ?? ????? ??? ???? ?? ?? ???? ??? ??? DNN? ?????.
NVIDIA DRIVE AV ?? ?????? ?? NVIDIA Orin SoC ???? ???? ??, ?? ? ?? ?????? ???? ????? ??? ?????. ???? ???? ???? ? ??? ? ?? ? DNN ??? ?? ???, ??? DNN ??? ???? ?? NVIDIA Orin SoC? ?? ?? ??? DLA? ?????. ?? ? DNN ??? ???? ?? GPU ???? ???? ?? ??? ?? ?????. DLA ???? ???? ?? KPI? ???? ??? ????.
??? ??? ?? ??? ??? ?? ??? ??? ??? ?????.
?? ??, ?? ?????? ?? 8?? ?? ?? ??? ???? ??? ???? ?? ?????? ?? ??? ?? ????? ??? ???. ?? ??? DNN? ?? ???? ?? ???? 60% ??? ?????.
??? KPI? ???? ?? ?? ????? ??? GPU? DLA? ????, ?? ????? ?? ?? ??? ???? ?? ?? ?? DNN? DLA?? ???? ? DNN ??? GPU?? ?????. ?? ?? ??? ?? ? ??? ?? ?? ?????? ?? DNN? ?? ????? ?? ??? ?????. ?????? GPU? DLA?? ??? ???? ??? ?? ??? ???? ? ? ????. ? ?? DLA? ???? ?? ??? 2.5? ??????.
“?? SoC, ?? DLA? ?? ? ?? ?? ??? ?????? ?? ?? ?? ??? KPI ??? ????? ????? ??? ??? ??? ??? ? ?? ?????. ?? DLA? ???? ??? ????.”?? NVIDIA? ?? ?? ? ????? ???? Abhishek Bajpayee? ????.
?? ??: ?? ??
NVIDIA Isaac? ?? ???? ???? AI ?? ??? ??, ????? ? ??? ?? ??? ????? ??????. ?? ??? ??? ?? ?? ??? DL ???, ???? ?? ?? ? ??? ???? ??? ?????. ??? ??? DL ??? DLA? ???? ?? ?????.
NVIDIA Isaac ?? ???? ?? DNN? ???? ?? ???? ?? ?????? ??????. ?? ???? ???? ?? ?? ?? ??? ??? ???? ????? ? ????? ??? ??? ? ??? ? ????. ???? ???? ????? ?? ?? ??? ???? BI3D ????? DLA? ??????.
?? KPI? ???? ??? ???? ??? 30fps ??? ???? ????. NVIDIA Isaac ?? ??? SoC ??? ???? DNN? DLA? ???? ??? GPU?? ???? ?? ???? ? ?????? ?? ???? ??????. ??? ??? NVIDIA Isaac ROS ?? ???? ?????.
“??? DNN ??? ?? DLA?? TensorRT? ???? GPU? ???? ???? ?????? ????? ???? ??? ?? ??? ?? GPU? ???????. DLA? 3?? DNN?? ??? Jetson AGX Orin for BI3D?? ?? 46fps? ???? ?? ??????? 30ms? ?? ?? ??? ?????.”?? NVIDIA? ?? ??? ????? ?? ???? Gordon Grigor? ????.
DLA? ?? NVIDIA DeepStream
DLA? ?? ??? ??? ? ?? ??? ??? ???? ?? ??? NVIDIA DeepStream SDK? ???? ????.
??? ? ?? ???? ???? ?? AI ?? ??????? ???? ?? AI ????? DeepStream SDK? ?? ??? ????? ?????? ??? ? ????. ?? ??, ?? ??, ?? ??, ?? ??, ?? ??, ??? ??? ?? ???? ?? ?? ?? ??? ??, DeepStream? ???? ?? SoC, ?? DLA? ?? ???? ??? ? ????.
?? ??, ?? ?? ?? ??? ?? zoo?? ?? ??? ??? ???? DLA?? ??? ? ????. ??? ?????? ???? DLA?? ??? ????? ??? ? ????. ??? ??? ??? DLA ????? ?????.
| ?? arch | ?? ??? | GPU FPS | DLA1 + DLA2 FPS | GPU + DLA1 + DLA2 FPS |
| PeopleNet-ResNet18 | 960x544x3 | 218 | 128 | 346 |
| PeopleNet-ResNet34 (v2.3) | 960x544x3 | 169 | 94 | 263 |
| PeopleNet-ResNet34 (v2.5 unpruned) | 960x544x3 | 79 | 46 | 125 |
| TrafficCamNet | 960x544x3 | 251 | 174 | 425 |
| DashCamNet | 960x544x3 | 251 | 172 | 423 |
| FaceDetect-IR | 384x240x3 | 1407 | 974 | 2381 |
| VehicleMakeNet | 224x224x3 | 2434 | 1166 | 3600 |
| VehicleTypeNet | 224x224x3 | 1781 | 1064 | 2845 |
| FaceDetect (pruned) | 736x416x3 | 395 | 268 | 663 |
| License Plate Detection | 640x480x3 | 784 | 388 | 1172 |
? ?? ?????? ????
??? ??? ????? ??? ??? ?? ???? ?????:
- Jetson DLA ??????? DNN? DLA? ???? ? ??? ?? ?? DLA ?????? ?????.
- DLA-SW GitHub ??????? Jetson Orin DLA?? DNN ??? ???? ? ??? ? ?? ?? ???? ??? ?????.
- ?? ????? DLA? ???? Jetson SoC? ??? ???? ??? ?? ?? ?? ? ???? ?????.
- DLA ???? ?? ???? ????? ???? ??? ? ????.
