NVIDIA TAO ??? ????? ?? ??? ???????? ?? ?? ??? ??? ?? AI ?? ??? ???? ? ?? ???? AI ?????? ?????. ???? TAO ??? ?? ?? ??? ??? ???? ???? ?? ? ???? ?? ???? ?? ?? ??? ???? ????? ???? ??? ? ????.
NVIDIA? ?? AI ?? ??? ???? ? ?? ???? ??? ???? TAO ?? 5.0? ??????. ??? ???? ?? ??? ????, ????? ?? ?? ??? ??, AI ?? ??? ??, ?? ???? ??? ??? ? ?? ??? ?????.
??? ?? ??? ??? ????:
- ??? ONNX ???? ??? ??? GPU, CPU, MCU, ?? ??? ?? ??? ? ??? ?????.
- ??? ?? ? ???? ?? ???? ???? ????? ?? ?? ?????(Vision Transformer) ????.
- ??? AI ?? ??? ???? ??? ???? ??? ??? ??????.
- ?? ?? ?? ? ? ???? ??? ?? ?? ??? ?? ??? ??? ?? ?? ? ?? ??? ?? ??.
- ??? ???, ?? ?? ? ??? ?? ?? ?? ???.
????
- TAO ?? ???? ????? ??? ???? ?? ?? ???? ?????.
- NGC?? TAO ??? ?? ??? ??? ???????.
? ???? TAO ?? 5.0 ???? ???? ??? ??? ???? ?? ?? ???? ???????.
???? ?? ???? NVIDIA TAO ?? ??
NVIDIA TAO ?? 5.0? ONNX?? ?? ????? ?????. ??? ?? ?? ????? ?? ??? ???(GPU, CPU, MCU, DLA, FPGA)? NVIDIA TAO Toolkit?? ??? ??? ??? ? ????. NVIDIA TAO ??? ?? ???? ????? ????? ?? ???? ?? ??? ????? ? ?? ?? ?????? AI? ?????.
?? ?? ?? ? ????? ??, ?? ? ???? ?? ???? ?? ???? TAO ??? ?? AI ???? ??????. ?? ??? ?? ?? ???? ?? ??? ???? ?? ?? AI ??? ??? ??? ? ?? ?????. ???? ? ???? ???? ?? ?? ????? TAO? ???? AI? ??? ? ????. ?? ???? ??? ????? ??? ?? ??? ?????.
???? ???????? ??? ??? ??? STMicroelectronics? STM32Cube AI ??? ????? NVIDIA TAO ??? ??????. ?? ?? ??? ?? ST?????????? ????? ?? AI ??? ??? ? ?? ?????. ? ??? STM32Cube? ???? ?? ???? IoT ? ?? ?? ??? ??? AI? ??? ? ?? ??? ???? ?????.
?? NVIDIA TAO ??? ???? ?? AI ???? ????????? ??? ? ??? ?? ??? STM32 MCU?? ????? AI ??? ????? ???? ? ????. ?? ???? ?? ??? ??? TAO ??? ???? ?? ??? ?? ????. ? ??? ?? ??? ??? ?? ???? ??? ? ????. ? ????? ?? ??? ??? STMicroelectronics GitHub ????? ??? ? ????.
TAO ?? ??? ?? ????? ??? ? ???, ? ??? ??? ?? TensorRT? ???? NVIDIA GPU?? ?? ?? ???? ?????. CPU?? ? ??? ??? ONNX-RT? ?????. ??? ??? ???? ????? ???? ?????? ???? ??? ?????.
| NVIDIA Jetson Orin Nano 8 GB | NVIDIA Jetson AGX Orin 64 GB | T4 | A2 | A100 | L4 | H100 | |
| PeopleNet | 112 | 679 | 429 | 242 | 3,264 | 797 | 7,062 |
| DINO – FAN-S | 3.1 | 11.2 | 20.4 | 11.7 | 121 | 44 | 213 |
| SegFormer – MiT | 1.3 | 4.8 | 9.4 | 5.8 | 62.2 | 17.8 | 108 |
| OCRNet | 935 | 3,876 | 3,649 | 2,094 | 28,300 | 8,036 | 55,700 |
| EfficientDet | 61 | 227 | 303 | 184 | 1,521 | 522 | 2,428 |
| 2D Body Pose | 136 | 557 | 593 | 295 | 4,140 | 1,010 | 7,812 |
| 3D Action Recognition | 52 | 212 | 269 | 148 | 1,658 | 529 | 2,708 |
AI ?? ??? ?? ? ??
??? ??? ?? AI ?????? ??? ?? ??? ??? ???? ???????. ?? ???? ??? ?? ???? ??? ???? ???? ?? ???? ?? CV ??? ?? ?? ?????. ????? ?????? ???? ?? ??? ???? 10? ?? ??? ?? ???.
TAO ?? 5.0? ???? ??? AI ?? ?? ???? ??? ???? ? ??? ???? ??? ? ? ????. ?? ??? ???? ??? ????? ??? ?? ???(MAL)? ???? ??? ??? ?? ??? ?? ?? ?? ?? ? ??? ??? ? ? ????. ?? ????? ?? ??? ?? ??? ???? ??? ?? ??? ??? ?? ? ????. ??? AI ?? ?????? ???? ??? ?? ??? ??? ???? ?? ??? ??? ?? ? ????.
MAL? ?? ???? ???? ???? ???? ?? ????? ??? ??? ?? ??? ????????. MAL? ?? ?? ???? ???? ?? ???? ??? ?? ??? ?????. ?? ? ?? ?? ??? COCO ?? ??? ?????.
MAL? ??? ??? ?? ?? ???? ??? ?? ??? ??? ?? ?????. MAL? ??? ???? ??? ??? ???? ??? ??? ?? ?? ??? ??? ?? ??? ? ???, ?? ?? ??? ?? 97.4%? ??? ?????.
MAL ????? ??? ? ?? ????? ?? ????(??? ????? ??? ??)? ?? ???? ???? ???? ?? ?? ??? ?????. ?? ?? ??? ?? ??(CRF) ??? ?? ???? ??(MIL) ??? ?? ???? ??? ? ????.
TAO ??? ?? ??? ?????? ??? ?? ????? ???? MAL? ?????. ?? ???? ????? ??? ???? ?? ???? ????(?? ??, ?? ?? ??), ??? ???? ???? ?? ?? ??? ??? ? ??? ? ????.
??? ?? ?????
?????? ??? ??? ?? ????? ?? ?????. ?? ??? ?? AI ????? ??? ?? ????. ????? ????? ?? ??? ???, ??? ???, ??? ??? ?? ??? ??? ? ?? ???? ?? ?? CNN ?? ???? ??? ?????. ? ?? ?? ?? ???? ??? ??? ?? ? ???? ?? ???? ??? ??? ?? ??? ?? ? ? ??????.
TAO ?? 5.0? ??? ??? ??? ??? ?? ???? CV ??? ?? ? ?? ???(SOTA) ?? ?????? ??? ????.
?? ??(Fully Attentional) ????
FAN(Fully Attentional Network)? ??? ??? ?? ????? SOTA? ???? NVIDIA Research? ????? ?? ?? ??????. ? ?? ???? ??? ???? ?? ???? ? ??? ???, ?? ?? ?? ?? ?????.
FAN ??? ?? ??? ??? ?? ???? ???? ?? ?? ?? ?????. FAN? ??? ?? ???? ??? ?? ?? ? ??? ?? ????? ???? ??? ? ????.
FAN ???? ? 2? ??? ??? 4?? ??? ?????.
| Model | # of parameters/FLOPs | Accuracy |
| FAN-Tiny | 7 M/3.5 G | 71.7 |
| FAN-Small | 26 M/6.7 | 77.5 |
| FAN-Base | 50 M/11.3 G | 79.1 |
| FAN-Large | 77 M/16.9 G | 81.0 |
??? ???? ?? ?????
GC-ViT(??? ???? ?? ?????)? ?? ?? ???? ??? ???? ???? NVIDIA Research? ??? ???????. GC-ViT? ?? ?????? ?? ???? ?? ??? ?????. ?? ?? ??(self-attention) ??? ???? ? ?? ?? ?? ??? ImageNet?? ? ?? ??? ?? ? ????.
?? ?? ??? ??? ???? ?? ??? ???? ??? ? ??? ?? ?? ??? ?? ????? ????? ???? ? ????. ?? 6? GC-ViT ?? ????? ?????. ??? ??? ??? ???? ?? ?????? ?????.
? 3?? ? ? ??? GC-ViT ????? GC-ViT-xxTiny(??? ???)?? GC-ViT-Large(?? ???)? ??? 6?? ??? ???? ????. GC-ViT-Large ??? ??? ?? ??? ?? ImageNet-1K ??? ???? 85.6? ?? ???? ??? ? ????. ? ????? ?? ??, ??? ? ???? ???? ?? ?? CV ??? ????? ??? ? ????.
| Model | # of parameters/FLOPs | Accuracy |
| GC-ViT-xxTiny | 12 M/2.1 G | 79.6 |
| GC-ViT-xTiny | 20 M/2.6 G | 81.9 |
| GC-ViT-Tiny | 28 M/4.7 G | 83.2 |
| GC-ViT-Small | 51 M/8.5 G | 83.9 |
| GC-ViT-Base | 90 M/14.8 G | 84.4 |
| GC-ViT-Large | 201 M/32.6 G | 85.6 |
DINO
DINO(??? ??? ?? ??? ?? ?? ?????)? ?? ??? ?? ?????(DETR)???. ?? ???? ? ?? ?? ?? ??? ?????. ????-DETR(D-DETR)? ???? ? ?? 50?? ???? ??? ??, DINO? COCO ??? ???? 12?? ???? ??? ? ????. ?? D-DETR? ???? ? ? ?? ???? ?????.
DINO? ?? ? ??? ??? ???? ? ?? ??? ????, ?? ?? ?? ???? ??? ?? ????? ??? ???. DETR? ??? ??? ?? ??? ??? ??? ?????? ?? ????. ??? ??? ???? ???? ?? NMS ??? ???? ??????. ??? ??? ?? ???? ??? ???? ??? ???? ??? ?? ? ?? ??? ??? ??? ?????.
??? ??? ???? ?? DINO? ‘?? ??’ ????? ???? ?? ???? ?? ???? ?? ?? ??? ???? ?? ?? ??? ??????. ? ??, DINO? ??? ?? ??? ?????. ??? ??? ????? ?? ??? ?? ??? ??? ?? ?? ??? ??? DINO: DETR? ?????.
TAO ??? DINO? ???? ???? ResNets? ?? ?? CNN? ??? ??? FAN ? GC-ViT? ?? ????? ?? ??? ??? ? ????. ? 4? ?? ???? YOLOv7? ??? ??? ??? DINO?? COCO ??? ??? ???? ?????. ??? ??? YOLOv7: ?? ??? ??????, ??? ?? ???? ??? ??? ??? ?????.
| ?? | Backbone | AP | AP50 | AP75 | APS | APM | APL | Param |
| YOLOv7 | N/A | 51.2 | 69.7 | 55.5 | 35.2 | 56.0 | 66.7 | 36.9M |
| DINO | ResNet50 | 48.8 | 66.9 | 53.4 | 31.8 | 51.8 | 63.4 | 46.7M |
| FAN-Small | 53.1 | 71.6 | 57.8 | 35.2 | 56.4 | 68.9 | 48.3M | |
| GCViT-Tiny | 50.7 | 68.9 | 55.3 | 33.2 | 54.1 | 65.8 | 46.9M |
Table 4. DINO and D-DETR accuracy on the COCO dataset
SegFormer
SegFormer? ?? ????? ??? ??? ?????????. ???? ?? MLP ???? ??????. ?? ?? ???(?? ??????? ??)? ???? ???? ??? ????? ??? ????? ??????.
SegFormer MLP ???? FAN ??? ???? ?? ???? ???? ??? ?????? ??? ??????. FAN ?? ????? + ????? ??? ??? ???? Robust Vision Challenge 2022?? ??? ???????.
| ?? | ????? | ?? IOU(%) | ???(???)(%) |
| PSPNet | Cityscapes Validation | 78.8 | 43.8 |
| SegFormer – FAN-S-Hybrid | Cityscapes validation | 81.5 | 81.5 |
?? ????? SegFormer? ???? ?? ?? ???? ?? ?? ???? ????? ??? ??? ??????? ???? ??? ??? ???.
?? ?? ? ???? ??? CV ??
NVIDIA TAO ??? ??? ?? ?? ? ???? ?? ???? CV ??? ??????. TAO ?? 5.0? ??? ?? ?? ? ?? ??? ?? ???? ???? ???? ???? ??? ? ????. ?? ?? ?? ??? ????? ?? ? ??? ?? ???? ?? ??? ???? ? ????.
????? ?? ??? ???? ?? ?? ??? ??? ?? ???? ?? ??? ???? ?? ???? ? ?????. ?? ?? ?? ???? ??? ?? ???? ??? ? ????. ?? ???? ???? ?? ????? ??? ???? ?? ??? ?? ?? ??? ??? ?? ? ????.
??? ?? ??? ??, ??? ??? ?? ??? ?? ???? ???? ?????. TAO ?? 5.0? ??? ??? ?? ??? ?? ?? ??? ??? ???? ??? ??? ??? ???? ? ???? ???? ???.
??????? ???? ?? ???? ????(AutoML)? ???? ?? ???
???? ?? ??(autoML)? ??? ??? ???? ??? KPI? ?? ??? ??? ???????? ?? ?? ??? ??????. ??????? ??? ??? ???? AI ?? ?? ? ???? ???? ?? ?? ???? ? ????.
TAO ??? AutoML? ??? ???????? ???? ?????? ???? ??? ? ????. AI ???? ???? ??? ?????. ????? ?? ??? ??? Jupyter ???? ??? AI ??? ???? ????? ??? ? ?? ??? ?????.
???? ?? TAO ??? ??? ???????? ??(sweeps)? ??? ????? ???? ??? ? ?? ??? ?????. TAO ??? ?? ? ?? ??? ????? ?????: Bayesian ? Hyperband ???. ??? ????? ??? ???????? ???? ??? ??? ??? ?? ??? ??? ?? ? ????.
AutoML? DINO, D-DETR, ???? ? ?? ?? ??? ?? ?????? ???? ???? CV ??? ?????. ? 6? ???? ????? ?? ??? ?????(?? ??? TAO ?? 5.0? ?? ??? ??).
| Image classification | Object detection | Segmentation | Other |
| FAN | DINO | SegFormer | LPRNet |
| GC-ViT | D-DETR | UNET | |
| ResNet | YoloV3/V4/V4-Tiny | MaskRCNN | |
| EfficientNet | EfficientDet | ||
| DarkNet | RetinaNet | ||
| MobileNet | FasterRCNN | ||
| DetectNet_v2 | |||
| SSD/DSSD |
????? ??? ?? REST API
TAO ??? ????? ???? ??????? ????? ??? ? ??? Kubernetes? ???? ?? ? ??? ? ????. TAO Toolkit? ?? ??? ?? ???? ????, DGX ?? ??????? ?? ??? ???? ??? ? ????. TAO Toolkit? ? ??? REST API? ????? ?? ?????? ?? ??? ? ????. ???? ?? ?? ? ??? ??? ?? API ?????? ??? ? ????. ??? API ?????? ?? ?????? ?? ??? ??????? ??? ? ???, ?? ?? ???? ???? ??? ???? ? ????.
?? ??? ??
???? ????? ?? ???? ??? ?? TAO ??? ? ?? ?? ?? ??? ??? ?????. ???? ?? ????, ??? ???, TensorRT ???? ????, ?? ???? ?? ?? ???? ?? ??? ?? 4??? 8?? ?? ??? ??? ? ????.
????? ???? ? ?? ??
AI ??? ??? ????? ???? ??? ?????. ??? ???? ?? ??? ?? ??? ????? ???? ??? ??? ???, ?? ? ????? ??? ? ????. ?? ??? AI(XAI)? AI ??? ??? ?? ??? ?????? ?? ????? ?????? ??? ??? ???? ?? ??? ???. ?? ?? ??? AI ??? ??? ???? ??? ? ?? ???? ??? ? ????. ??? ???? AI ???? ?? ??? ???? ? ??? ? ? ????.
???? ?? ???? ??? ?? TAO ??? ?? ?? ???? ??? ?????. ???? ?? ????? ?? ?? ? ? ?? ?? ??? ??? ?? ?? ????? AI ??? ??? ? ? ??? ? ????. ?? ?? ??? ????? ???? ??? AI? ???? ???, ??? ??? ????, ??? ?? ???? ?? ? ????.
NVIDIA TAO ??? ????????? NVIDIA AI ??????(NVAIE)? ?? ??? ? ????. NVAIE? ???? ???? ???? ??, NVIDIA AI ???? ?? ??? ? ?? ?? ??? ?????. NVAIE? ???? AI ???? ??? ????.
???? ????? ??
NVIDIA TAO ?? 5.0? Google Vertex AI, AzureML, Azure Kubernetes ???, Google GKE, Amazon EKS ? ?? ???? ?? ??? AI ???? ???? ????.
??
TAO ??? ?? ???, ?? ???, ?? ?????? ?? ??? ??? ??? ?? ?? ????, ??? ? ????? ????, ??? ?? ?????? ????, AI ?? ??? ??? ? ?? ???? ?????.
?? ???
GTC ??: ??? ?? AI ?? ?? ? ???? ?? NetsPresso?? TAO ?? API ????
GTC ??: TAO? ???? ???? ?? AI ??
SDK: TAO ??
???: TAO ??? ??? AI ?? ??? ??? ??? ?? 5?? ??
???: NVIDIA TAO 4.0?? AutoML? ???? AI ?? ?? ?????
???: ?? ?????, NVIDIA TAO ? ?? NVIDIA GPU? ??? ?? ????
