?? ?????(ViT)? ??? ???, ???? ?? ????? ?? ??? ???, ??? ??? ???? ????? ??? ??? ? ??? ???? ????. ? ????? ??? ?? ??????? ????? ? ???? ??? ?? ???, NVIDIA? NVIDIA TAO ?? ? NVIDIA L4 GPU? ???? ViT? ??????? ?? ??? ? ??? ???? ????.
ViT? ???
ViT? ?? ??? ??? ?? ??? ????? ????? ?? ???? ???? ?? ?? ?????. CNN ?? ??? ?? ? ?? ??? ??? ??? ??? ?? ?? ??? ??? ? ????. CNN? ???? ?? ??? ??? ??? ?? ??? ???? ??, ViT? ??? ???? ??? ????? ?????. ?? ???? ?? ? ?? ?? ?? ???? ???? ?? ??? ?? ?? ?? ??? ???? ???? ????? ?????.
?? 1? ?? ???? ? ?? ?? ?? ??? ???, ?? ???? ??? ?? ???? ???? ViT ???? ???? ???? ??? ?????. ??? ??? ?? ???? ?? ?? ??? ?? ?? ? ?? ??? ????? ??? ????? ???? ?????.
?? ?? ????? ???? ???? ? ?? ?? ??? ?? ??? ?? ???? ?? ??? ???? ?????. ?? ?? ??? ?? ?? ??? ???? ???? ?? ??? ?? ???? ???? ??? ? ????.
?? ?? ? ???? ??, ??? ????? ?, ??, ??? ?? ??? ??? ? ?? ??? ?????. ?? ?? ???? ???? ??? ?? ? ???? ?? ???? ???? ??? ?? ??? ?? ??? ??? ????? ??? ?????.
??? ?? ??????? ViT? ??? ??
?? ???? ???? ??? ??? ??? ?????. ViT? ???? ???? CNN? ?? ??? ????? ??? ?? ?? ??? ??? ??? ? ?? ????.
?? 2. ??? ??? ????? ???? ?? ?? ???? ??? ??? ???? ?????.
?? ?????? CNN ?? ??? ViT ?? ???? ???? ???? ?? ???? ?????. ?? ???? ViT? CNN ?? ???? ??? ?????.
TAO ?? 5.0? ViT ????
?? AI ??? ???? ????? ???? AI ??? TAO? ???? ?? ??????? AI ????? ViT? ?? ???? ??? ? ????. ???? ?? ????? ?? ???? ?? ??? ??? ?????? ?? ??? ??? ViT? ??? ? ????.
TAO ?? 5.0?? ??? ?? ?? ???? ??? ?? ??? ?? ? ?? ?? ViT? ???? ????.
?? ?? ????(FAN)
NVIDIA Research? ????? ?? ?? ???? FAN? ? 1? ?? ??? ?? ??? ??? ?? SOTA ???? ?????. ? ?? ???? ??? ????? ?? ???? ? ??? ???? ??? ?????. ? 1? ??? ??? ??? ?? ??? ?? ImageNet-1K ??? ??? ?? FAN ??? ???? ?????.
| ?? ?? | ???? | ???(??/??) |
| FAN-Tiny-Hybrid | 7.4M | 80.1/57.4 |
| FAN-Small-Hybrid | 26.3M | 83.5/64.7 |
| FAN-Base-Hybrid | 50.4M | 83.9/66.4 |
| FAN-Large-Hybrid | 76.8M | 84.3/68.3 |
??? ???? ?? ?????(GC-ViT)
GC-ViT? ?? ?? ???? ??? ???? ???? NVIDIA Research? ??? ???????. ? ????? ?? ?????? ?? ???? ?? ??? ?????. ?? ?? ?? ???? ??? ?? ???? ???? ?? ? ?? ?? ? ??? ?? ?? ??? ??? ? ?? ?? ?? ???? ???? ? ?? ?? ????? ImageNet?? ? ?? ??? ?? ? ????.
| ?? | ???? | ??? |
| GC-ViT-xxTiny | 12M | 79.9 |
| GC-ViT-xTiny | 20M | 82.0 |
| GC-ViT-Tiny | 28M | 83.5 |
| GC-ViT-Small | 51M | 84.3 |
| GC-ViT-Base | 90M | 85.0 |
| GC-ViT-Large | 201M | 85.7 |
??? ?? ??? ??? ?? ???(DINO)
DINO? ?? ViT ? CNN? ?? ?? ?? ??? ? ?? ?? ??? ?? ???(DETR)???. TAO ??? DINO? ???? ???? ResNets? ?? ?? CNN? ??? ??? FAN ? GC-ViT? ?? ????? ?? ??? ??? ? ????
????(Segformer)
????? ??? ??? ????? ??? ??? ?????????. ???? ?? ???? ?? ???? ???? ????. ?? ??????? ???? ?? ???? ???? ???? ??? ????? ????? ??? ? ????.
NVIDIA L4 GPU? ???? ????? ??
NVIDIA L4 GPU? ??? ?? AI ????? ?? ???????. ???? AI ??? ?????? ??? NVIDIA Ada ????? ????? ???? ???.
L4 GPU? ???? ?? FP8 485 TFLOPs? ?? ??? ???? ViT ????? ???? ? ?????. FP8? ? ? ???? ?? ??? ??? ??? AI ???? ????? ??????.
?? ??, ?? ???? ? ??? ????? ??? ???? L4? ?? ??? ??? ?? AI ??? ??????.
? ?????? ??? ?? ????? ???? ViT, NVIDIA TAO ?? 5.0 ? L4 GPU? ?? ??? ?????.
