• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Computer Vision / Video Analytics

    NVIDIA TAO ?? 5.0?? ?? ?? AI ?? ?? ?????? ??????.

    Reading Time: 9 minutes

    NVIDIA TAO ??? ????? ?? ??? ???????? ?? ?? ??? ??? ?? AI ?? ??? ???? ? ?? ???? AI ?????? ?????. ???? TAO ??? ?? ?? ??? ??? ???? ???? ?? ? ???? ?? ???? ?? ?? ??? ???? ????? ???? ??? ? ????.

    NVIDIA? ?? AI ?? ??? ???? ? ?? ???? ??? ???? TAO ?? 5.0? ??????. ??? ???? ?? ??? ????, ????? ?? ?? ??? ??, AI ?? ??? ??, ?? ???? ??? ??? ? ?? ??? ?????.

    ??? ?? ??? ??? ????:

    • ??? ONNX ???? ??? ??? GPU, CPU, MCU, ?? ??? ?? ??? ? ??? ?????.
    • ??? ?? ? ???? ?? ???? ???? ????? ?? ?? ?????(Vision Transformer) ????.
    • ??? AI ?? ??? ???? ??? ???? ??? ??? ??????.
    • ?? ?? ?? ? ? ???? ??? ?? ?? ??? ?? ??? ??? ?? ?? ? ?? ??? ?? ??.
    • ??? ???, ?? ?? ? ??? ?? ?? ?? ???.

    ????

    ? ???? TAO ?? 5.0 ???? ???? ??? ??? ???? ?? ?? ???? ???????.

    ?? 1. NVIDIA TAO ?? ????? ?????

    ???? ?? ???? NVIDIA TAO ?? ??

    NVIDIA TAO ?? 5.0? ONNX?? ?? ????? ?????. ??? ?? ?? ????? ?? ??? ???(GPU, CPU, MCU, DLA, FPGA)? NVIDIA TAO Toolkit?? ??? ??? ??? ? ????. NVIDIA TAO ??? ?? ???? ????? ????? ?? ???? ?? ??? ????? ? ?? ?? ?????? AI? ?????.

    ?? 2. NVIDIA TAO ?? ????

    ?? ?? ?? ? ????? ??, ?? ? ???? ?? ???? ?? ???? TAO ??? ?? AI ???? ??????. ?? ??? ?? ?? ???? ?? ??? ???? ?? ?? AI ??? ??? ??? ? ?? ?????. ???? ? ???? ???? ?? ?? ????? TAO? ???? AI? ??? ? ????. ?? ???? ??? ????? ??? ?? ??? ?????.

    ??? 1. NVIDIA TAO? ???? ?? ??? ????? AI ??? ?????? Cortex-M7 MCU? ????

    ???? ???????? ??? ??? ??? STMicroelectronics? STM32Cube AI ??? ????? NVIDIA TAO ??? ??????. ?? ?? ??? ?? ST?????????? ????? ?? AI ??? ??? ? ?? ?????. ? ??? STM32Cube? ???? ?? ???? IoT ? ?? ?? ??? ??? AI? ??? ? ?? ??? ???? ?????.

    ?? NVIDIA TAO ??? ???? ?? AI ???? ????????? ??? ? ??? ?? ??? STM32 MCU?? ????? AI ??? ????? ???? ? ????. ?? ???? ?? ??? ??? TAO ??? ???? ?? ??? ?? ????. ? ??? ?? ??? ??? ?? ???? ??? ? ????. ? ????? ?? ??? ??? STMicroelectronics GitHub ????? ??? ? ????.

    ??? 2. STM ????????? TAO ???? ???? ??? ???? ?? ????

    TAO ?? ??? ?? ????? ??? ? ???, ? ??? ??? ?? TensorRT? ???? NVIDIA GPU?? ?? ?? ???? ?????. CPU?? ? ??? ??? ONNX-RT? ?????. ??? ??? ???? ????? ???? ?????? ???? ??? ?????.

     NVIDIA Jetson Orin Nano 8 GB NVIDIA Jetson AGX Orin 64 GB T4 A2 A100L4 H100  
    PeopleNet 112 6794292423,2647977,062
    DINO – FAN-S 3.111.220.411.712144213
    SegFormer – MiT1.34.8 9.45.862.217.8108
    OCRNet 935 3,8763,6492,09428,3008,03655,700
    EfficientDet 612273031841,5215222,428
    2D Body Pose 136 5575932954,1401,0107,812
    3D Action Recognition 522122691481,6585292,708
    ? 1. NVIDIA GPU? ??? ?? ????? ??? ??? ?? NVIDIA TAO ?? ?? ??? ?? ??(FPS ??)

    AI ?? ??? ?? ? ??

    ??? ??? ?? AI ?????? ??? ?? ??? ??? ???? ???????. ?? ???? ??? ?? ???? ??? ???? ???? ?? ???? ?? CV ??? ?? ?? ?????. ????? ?????? ???? ?? ??? ???? 10? ?? ??? ?? ???.

    TAO ?? 5.0? ???? ??? AI ?? ?? ???? ??? ???? ? ??? ???? ??? ? ? ????. ?? ??? ???? ??? ????? ??? ?? ???(MAL)? ???? ??? ??? ?? ??? ?? ?? ?? ?? ? ??? ??? ? ? ????. ?? ????? ?? ??? ?? ??? ???? ??? ?? ??? ??? ?? ? ????. ??? AI ?? ?????? ???? ??? ?? ??? ??? ???? ?? ??? ??? ?? ? ????.

    ?? 3. TAO ?? ?? ???

    MAL? ?? ???? ???? ???? ???? ?? ????? ??? ??? ?? ??? ????????. MAL? ?? ?? ???? ???? ?? ???? ??? ?? ??? ?????. ?? ? ?? ?? ??? COCO ?? ??? ?????.

    MAL? ??? ??? ?? ?? ???? ??? ?? ??? ??? ?? ?????. MAL? ??? ???? ??? ??? ???? ??? ??? ?? ?? ??? ??? ?? ??? ? ???, ?? ?? ??? ?? 97.4%? ??? ?????.

    ?? 4. MAL ???? ????

    MAL ????? ??? ? ?? ????? ?? ????(??? ????? ??? ??)? ?? ???? ???? ???? ?? ?? ??? ?????. ?? ?? ??? ?? ??(CRF) ??? ?? ???? ??(MIL) ??? ?? ???? ??? ? ????.

    TAO ??? ?? ??? ?????? ??? ?? ????? ???? MAL? ?????. ?? ???? ????? ??? ???? ?? ???? ????(?? ??, ?? ?? ??), ??? ???? ???? ?? ?? ??? ??? ? ??? ? ????.

    ??? ?? ?????

    ?????? ??? ??? ?? ????? ?? ?????. ?? ??? ?? AI ????? ??? ?? ????. ????? ????? ?? ??? ???, ??? ???, ??? ??? ?? ??? ??? ? ?? ???? ?? ?? CNN ?? ???? ??? ?????. ? ?? ?? ?? ???? ??? ??? ?? ? ???? ?? ???? ??? ??? ?? ??? ?? ? ? ??????.

    TAO ?? 5.0? ??? ??? ??? ??? ?? ???? CV ??? ?? ? ?? ???(SOTA) ?? ?????? ??? ????.

    ?? ??(Fully Attentional) ????

    FAN(Fully Attentional Network)? ??? ??? ?? ????? SOTA? ???? NVIDIA Research? ????? ?? ?? ??????. ? ?? ???? ??? ???? ?? ???? ? ??? ???, ?? ?? ?? ?? ?????.

    FAN ??? ?? ??? ??? ?? ???? ???? ?? ?? ?? ?????. FAN? ??? ?? ???? ??? ?? ?? ? ??? ?? ????? ???? ??? ? ????.

    ?? 5. ResNet50(???)? FAN-Small(???)? ??? ???? ?? ??? ?? ? ??

    FAN ???? ? 2? ??? ??? 4?? ??? ?????.

    Model # of parameters/FLOPs Accuracy 
    FAN-Tiny 7 M/3.5 G 71.7 
    FAN-Small 26 M/6.7 77.5 
    FAN-Base 50 M/11.3 G 79.1 
    FAN-Large 77 M/16.9 G 81.0 
    ? 2. ??? ???? ?? FAN ??

    ??? ???? ?? ?????

    GC-ViT(??? ???? ?? ?????)? ?? ?? ???? ??? ???? ???? NVIDIA Research? ??? ???????. GC-ViT? ?? ?????? ?? ???? ?? ??? ?????. ?? ?? ??(self-attention) ??? ???? ? ?? ?? ?? ??? ImageNet?? ? ?? ??? ?? ? ????.

    ?? ?? ??? ??? ???? ?? ??? ???? ??? ? ??? ?? ?? ??? ?? ????? ????? ???? ? ????. ?? 6? GC-ViT ?? ????? ?????. ??? ??? ??? ???? ?? ?????? ?????.

    ?? 6. GC-ViT ?? ????

    ? 3?? ? ? ??? GC-ViT ????? GC-ViT-xxTiny(??? ???)?? GC-ViT-Large(?? ???)? ??? 6?? ??? ???? ????. GC-ViT-Large ??? ??? ?? ??? ?? ImageNet-1K ??? ???? 85.6? ?? ???? ??? ? ????. ? ????? ?? ??, ??? ? ???? ???? ?? ?? CV ??? ????? ??? ? ????.

    Model # of parameters/FLOPs Accuracy 
    GC-ViT-xxTiny 12 M/2.1 G 79.6 
    GC-ViT-xTiny 20 M/2.6 G 81.9 
    GC-ViT-Tiny 28 M/4.7 G 83.2 
    GC-ViT-Small 51 M/8.5 G 83.9 
    GC-ViT-Base 90 M/14.8 G 84.4 
    GC-ViT-Large 201 M/32.6 G 85.6 
    ? 3. ??? ???? ?? GC-ViT ??

    DINO

    DINO(??? ??? ?? ??? ?? ?? ?????)? ?? ??? ?? ?????(DETR)???. ?? ???? ? ?? ?? ?? ??? ?????. ????-DETR(D-DETR)? ???? ? ?? 50?? ???? ??? ??, DINO? COCO ??? ???? 12?? ???? ??? ? ????. ?? D-DETR? ???? ? ? ?? ???? ?????.

    DINO? ?? ? ??? ??? ???? ? ?? ??? ????, ?? ?? ?? ???? ??? ?? ????? ??? ???. DETR? ??? ??? ?? ??? ??? ??? ?????? ?? ????. ??? ??? ???? ???? ?? NMS ??? ???? ??????. ??? ??? ?? ???? ??? ???? ??? ???? ??? ?? ? ?? ??? ??? ??? ?????.

    ??? ??? ???? ?? DINO? ‘?? ??’ ????? ???? ?? ???? ?? ???? ?? ?? ??? ???? ?? ?? ??? ??????. ? ??, DINO? ??? ?? ??? ?????. ??? ??? ????? ?? ??? ?? ??? ??? ?? ?? ??? ??? DINO: DETR? ?????.

    ?? 7. DINO ????

    TAO ??? DINO? ???? ???? ResNets? ?? ?? CNN? ??? ??? FAN ? GC-ViT? ?? ????? ?? ??? ??? ? ????. ? 4? ?? ???? YOLOv7? ??? ??? ??? DINO?? COCO ??? ??? ???? ?????. ??? ??? YOLOv7: ?? ??? ??????, ??? ?? ???? ??? ??? ??? ?????.

    ??BackboneAPAP50AP75APSAPMAPLParam
    YOLOv7N/A51.269.755.535.256.066.736.9M
    DINOResNet5048.866.953.431.851.863.446.7M
    FAN-Small53.171.657.835.256.468.948.3M
    GCViT-Tiny50.768.955.333.254.165.846.9M
    ? 4. COCO ??? ??? DINO ? D-DETR ???

    Table 4. DINO and D-DETR accuracy on the COCO dataset

    SegFormer

    SegFormer? ?? ????? ??? ??? ?????????. ???? ?? MLP ???? ??????. ?? ?? ???(?? ??????? ??)? ???? ???? ??? ????? ??? ????? ??????.

    SegFormer MLP ???? FAN ??? ???? ?? ???? ???? ??? ?????? ??? ??????. FAN ?? ????? + ????? ??? ??? ???? Robust Vision Challenge 2022?? ??? ???????.

    ?? 8. ???? ?? ?? ???(??)? FAN ??? ??? SegFormer(???)
    ????????? IOU(%) ???(???)(%)
    PSPNet Cityscapes Validation 78.8 43.8  
    SegFormer – FAN-S-Hybrid Cityscapes validation 81.5 81.5 
    ? 5. PSPNet? ??? ????? ???

    ?? ????? SegFormer? ???? ?? ?? ???? ?? ?? ???? ????? ??? ??? ??????? ???? ??? ??? ???.

    ??? 3. NVIDIA DRIVE Labs ????, ?? ?? ?? ??? ?? AI ??? ?? ????

    ?? ?? ? ???? ??? CV ??

    NVIDIA TAO ??? ??? ?? ?? ? ???? ?? ???? CV ??? ??????. TAO ?? 5.0? ??? ?? ?? ? ?? ??? ?? ???? ???? ???? ???? ??? ? ????. ?? ?? ?? ??? ????? ?? ? ??? ?? ???? ?? ??? ???? ? ????.

    ????? ?? ??? ???? ?? ?? ??? ??? ?? ???? ?? ??? ???? ?? ???? ? ?????. ?? ?? ?? ???? ??? ?? ???? ??? ? ????. ?? ???? ???? ?? ????? ??? ???? ?? ??? ?? ?? ??? ??? ?? ? ????.

    ??? ?? ??? ??, ??? ??? ?? ??? ?? ???? ???? ?????. TAO ?? 5.0? ??? ??? ?? ??? ?? ?? ??? ??? ???? ??? ??? ??? ???? ? ???? ???? ???.

    ??????? ???? ?? ???? ????(AutoML)? ???? ?? ???

    ???? ?? ??(autoML)? ??? ??? ???? ??? KPI? ?? ??? ??? ???????? ?? ?? ??? ??????. ??????? ??? ??? ???? AI ?? ?? ? ???? ???? ?? ?? ???? ? ????.

    TAO ??? AutoML? ??? ???????? ???? ?????? ???? ??? ? ????. AI ???? ???? ??? ?????. ????? ?? ??? ??? Jupyter ???? ??? AI ??? ???? ????? ??? ? ?? ??? ?????.

    ???? ?? TAO ??? ??? ???????? ??(sweeps)? ??? ????? ???? ??? ? ?? ??? ?????. TAO ??? ?? ? ?? ??? ????? ?????: Bayesian ? Hyperband ???. ??? ????? ??? ???????? ???? ??? ??? ??? ?? ??? ??? ?? ? ????.

    AutoML? DINO, D-DETR, ???? ? ?? ?? ??? ?? ?????? ???? ???? CV ??? ?????. ? 6? ???? ????? ?? ??? ?????(?? ??? TAO ?? 5.0? ?? ??? ??).

    Image classificationObject detectionSegmentationOther
    FANDINOSegFormerLPRNet
    GC-ViTD-DETRUNET
    ResNetYoloV3/V4/V4-TinyMaskRCNN
    EfficientNetEfficientDet 
    DarkNetRetinaNet
    MobileNetFasterRCNN
    DetectNet_v2
    SSD/DSSD
    ? 6. ? ?? ??? ?? ????? ??? ???? TAO ???? AutoML? ???? ??(?? ??? TAO ?? 5.0? ?? ???)

    ????? ??? ?? REST API

    TAO ??? ????? ???? ??????? ????? ??? ? ??? Kubernetes? ???? ?? ? ??? ? ????. TAO Toolkit? ?? ??? ?? ???? ????, DGX ?? ??????? ?? ??? ???? ??? ? ????. TAO Toolkit? ? ??? REST API? ????? ?? ?????? ?? ??? ? ????. ???? ?? ?? ? ??? ??? ?? API ?????? ??? ? ????. ??? API ?????? ?? ?????? ?? ??? ??????? ??? ? ???, ?? ?? ???? ???? ??? ???? ? ????.

    ?? 9. ???? ???? ??? ?? TAO ?? ????

    ?? ??? ??

    ???? ????? ?? ???? ??? ?? TAO ??? ? ?? ?? ?? ??? ??? ?????. ???? ?? ????, ??? ???, TensorRT ???? ????, ?? ???? ?? ?? ???? ?? ??? ?? 4??? 8?? ?? ??? ??? ? ????.

    ?? 10. ??? GPU?? TAO ?? ??? ??? ??? ?? ?? ?? ??

    ????? ???? ? ?? ??

    AI ??? ??? ????? ???? ??? ?????. ??? ???? ?? ??? ?? ??? ????? ???? ??? ??? ???, ?? ? ????? ??? ? ????. ?? ??? AI(XAI)? AI ??? ??? ?? ??? ?????? ?? ????? ?????? ??? ??? ???? ?? ??? ???. ?? ?? ??? AI ??? ??? ???? ??? ? ?? ???? ??? ? ????. ??? ???? AI ???? ?? ??? ???? ? ??? ? ? ????.

    ???? ?? ???? ??? ?? TAO ??? ?? ?? ???? ??? ?????. ???? ?? ????? ?? ?? ? ? ?? ?? ??? ??? ?? ?? ????? AI ??? ??? ? ? ??? ? ????. ?? ?? ??? ????? ???? ??? AI? ???? ???, ??? ??? ????, ??? ?? ???? ?? ? ????.

    NVIDIA TAO ??? ????????? NVIDIA AI ??????(NVAIE)? ?? ??? ? ????. NVAIE? ???? ???? ???? ??, NVIDIA AI ???? ?? ??? ? ?? ?? ??? ?????. NVAIE? ???? AI ???? ??? ????.

    ???? ????? ??

    NVIDIA TAO ?? 5.0? Google Vertex AI, AzureML, Azure Kubernetes ???, Google GKE, Amazon EKS ? ?? ???? ?? ??? AI ???? ???? ????.

    ?? 11. ??? AI ???? ??? TAO ?? 5.0

    ??

    TAO ??? ?? ???, ?? ???, ?? ?????? ?? ??? ??? ??? ?? ?? ????, ??? ? ????? ????, ??? ?? ?????? ????, AI ?? ??? ??? ? ?? ???? ?????.

    ?? ???

    GTC ??: ??? ?? AI ?? ?? ? ???? ?? NetsPresso?? TAO ?? API ????
    GTC ??: TAO? ???? ???? ?? AI ??
    SDK: TAO ??
    ???: TAO ??? ??? AI ?? ??? ??? ??? ?? 5?? ??
    ???: NVIDIA TAO 4.0?? AutoML? ???? AI ?? ?? ?????
    ???: ?? ?????, NVIDIA TAO ? ?? NVIDIA GPU? ??? ?? ????

    Discuss (0)
    +1

    Tags

    人人超碰97caoporen国产