AI? ?? ??? ???? ?? MLPerf ?? v3.0?? ??? ?? ??

Reading Time: 9 minutes

?? ?? ???? ??? ??????? ??? AI ??? ???? ??? ???? ? ???? ???, ?? ???? ??? ?? ?????? ?????. ??? ??????? ?? ??? ???? ??? ??? ??? ????? ???? ???? AI ???? ?????.

??? ??? ???? ?? ??? AI ??? ???? ???? ???, AI ?? ??????? ?? ??? ?? ??? ?? ???? ? ?????. ?, AI ???? ?? ???? ????? ??? ? ??? ?? ?? ?????? ??? ??? ???? ???. ?? v3.0?? 7?? ??? ??? MLPerf Inference? ??? ? ?? ?? ??? ?? ???? ?? ?? ??? ?????, ??? ?? AI ??? ?????.

AI ??????? ??? ?????? ??????? ?? ?? ????? ????? ?? ??? ?????. MLPerf ??? ?????? ?? ??? ?? ?????. ?? ????(??) ??, ?? ??? ??? ??, ?? ??? ? ?? ??? ????? ?? ??? ?? ????? ?????. ??? ????? ?? ??? ??? ??? ?? ??? MLPerf ??? ??? ??? ?? ??? ?? ? ???? AI ???? ????? ????? ??? ???? ? ? ????.

NVIDIA? MLPerf ?? v3.0 ????? NVIDIA Hopper ???? ??? NVIDIA H100 Tensor ?? GPU(SXM ? PCIe ????? ??? ??), ?? ??? NVIDIA Ada Lovelace GPU ???? ??? NVIDIA L4 Tensor ?? GPU, ?? AI ? ?? ??????? NVIDIA Jetson AGX Orin ? NVIDIA Jetson Orin NX AI ???? ??? ?? ??? ?? ??? ??????.

NVIDIA MLPerf ???? ??? NVIDIA AI ???? ??? ??? ???? ?? NVIDIA ?? ? ????? ??? ???? ????? ??? ?? ????? ???? ????. NVIDIA ??? ? ?? ?? SDK? ?? ??? TensorRT 8.6.0? NVIDIA GPU ????? ???? ????. ????? ?????? NVIDIA MLPerf ??? ?????.

?? NVIDIA MLPerf ?? ???? NVIDIA L4 Tensor ?? GPU? ???? NVIDIA Ada Lovelace ????? ???? ?? ?? ? ???, NVIDIA Jetson Orin NX ??, ??? ??, NVIDIA ???? ?? ??? ?? ??? ?? ? ?? ????? ?? ??? ???????.

NVIDIA ???? ??? ??? ?? ???? ??, ??? ???, ????? ??????. ??? ??? ???? ???? ?? ????? ???? ? ?? ?????? ????? NVIDIA ? ?? ???? ?? ???? ??? ???? ????. ? ?????? ??? ??? ??? ? ? ?? ????? ???? ?? ??? ?????.

? ? ?? ???? ??? ?? NVIDIA Hopper GPU

?? ????? NVIDIA? ?? ???? ??? ??? NVIDIA DGX H100 ???? ???? ?? ??? ???? ??? ??????. DGX H100? NVIDIA H100 Tensor ?? GPU? ???? ???? ???? ??? ???? ?? 6?? ?? ??? NVIDIA MLPerf ?? v2.1 H100? ?? ?? 54%?? ??? ??????, ?? NVIDIA A100 ?? ?? GPU? ?? ??? ?? ??? ??? ? ????. ??? ??? ? ???? ???? ??? ??? ?? ?? ??? ??????. (???? ??? MLPerf? ?? ??? ????.)

*?? 1. ???? NVIDIA H100 SXM MLPerf ?? v2.1 ? v3.0 ??*

???? ??? MLPerf ??? ?? ??? ????. MLPerf ?? v3.0: ?????, ??. ?? ??? MLPerf ?? v3.0 ?? ID 3.0-0070(?? ??)? ??? ?? ???? MLPerf ?? v2.1 ?? ID 2.1-0121(????)? ??? ?? ???? ??? ??? ???? ??? ????. MLPerf ?? ? ??? ?? ? ?? ???? MLCommons Association? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org ??.

?? ?? NVIDIA L4 Tensor ?? GPU ??

MLPerf ?? v3.0?? NVIDIA? NVIDIA L4 Tensor ?? GPU? ?? ??????. ??? NVIDIA Ada Lovelace ????? ???? ?? L4? ?? ?? NVIDIA T4 Tensor ?? GPU? ?? ????, ??? ?? ??, ?? ???? PCIe ? ???? AI, ??? ? ???? ??? ??? ?????.

NVIDIA Ada Lovelace ????? 4?? ?? ??? FP8? ???? ?? ?????? ??? ?? ??? ?????. MLPerf ?? v3.0?? L4? MLPerf ?? v3.0?? ???? ?? ??? BERT ???? 99.9%? ????(FP32) ???? T4?? ?? 3? ? ?? ??? ??????.

*?? 2. NVIDIA L4? NVIDIA T4 GPU ?? MLPerf ?? ?? ??*

???? ???? MLPerf ??? ?? ??? ????. MLPerf ?? v3.0: ????? ??. ?? ??? MLPerf ?? v0.7 ?? ID 0.7-113? ??? ?? ???? ??? ?? ??? T4 Tensor ?? GPU ???? ???? ????, 3.0-0123(???)? L4 Tensor ?? GPU ?? ??? ??? ??? T4? ???? ????? ??? ?????. MLPerf ?? ? ??? ?? ? ?? ???? MLCommons Association? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org ? ??????.

?? NVIDIA L4? ??? L2 ??? ???? ??? ??? ???? ?? ? ?? ???? ??? ?????. NVIDIA MLPerf ?? v3.0 ????? ? ? L2 ??? ???? ?? ?? ???? ? ?? ?? ???? ? ?? ?? ????? ???? ???????.

L4? ? ?? L2 ??? MLPerf ????? ?? ??? ??? ??? ? ?? ????. L2 ??? GDDR ????? ? ?? ???? ? ?? ???? ????? GDDR ???? ?? ???? ?? ??? ??? ??? ??? ??? ?????.

?? ??? ?? ???? ???? ?? ??? ???? ????? L2 ?? ?? ??? ??? ? ??? ?? ??? ????? ? ?? 1.4? ?? ??? ???????.

? ?? ???? NVIDIA Ampere ????? ?? ??? L2 ?? ??? ??? ??????. ?? ?? ???? TensorRT? ? ?? ???? L2 ??? ?? ??? ??? ???? ?? ????? ??? ? ????(?, ???? ????? ??? ? ????). ? ??? ???? ?? ?? ??? ?? ??? ???? ????? ???? ????? GDDR ?? ??? ???? ?? ?? ? ???? ???? ???? ??? ? ??? ?? ?????.

NVIDIA DGX A100 ? NVIDIA ????? ?? ???? ?? ??

NVIDIA? ?? ????? ???? ????? ?? ??? ??? ??? ???? ?? ??? ?? ???? ??? MLPerf Inference v3.0? ?? ??????. ??? ?? NVIDIA InfiniBand? ?? ???? ???? ?? ??? ??? ?? ?? ????? ??? ?????. ??? NIC, ???, ???? ?? ???? ?? ??? ??? ?? ??? ?? ??? ???? ????.

????	NVIDIA DGX A100 x8	??? ???? ??? ???? ???? ??
RN50 ????	????	100%
RN50 ????	??	100%
BERT ????	????	94%
BERT ????	??	96%
BERT ?? ???	????	90%
BERT ?? ???	??	96%

? 1. ?? ??? ??? ???? ???? ??? ResNet-50 ? BERT ??

?? ?? ?? ?? ?? ???? ?? ?? ??? ???? MLPerf Inference v3.0? ?? ??? ????. MLPerf ?? v3.0 ?? ID 3.0-0136?? ResNet-50 ? BERT? ??? ???? 3.0-0068? ??? ????? ??? ??? ??????. MLPerf ??? ??? ?? ? ?? ???? MLCommons Association? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org ? ?????.

v3.0 ???? ???? NVIDIA? ResNet-50 ? BERT ????? ????? ?? ??????. ? ????? NVIDIA ConnectX-6 ????? ??? ???? ???? ? ??? GPUDirect RDMA ??? ???? ResNet-50?? ?? ?? ??? 100%? ??????. BERT? ???? ?? ????? ?? ??? ??? ??? ????????.

??? ??? ??? ???? ?? ?? NVIDIA ??? ?? ???????:

TensorRT? ???? ?? ??
Mellanox OFED ????? ??? IBV verbs? ???? ??? ?? ??? ?? ???? ?? ?? ??? ?? InfiniBand RDMA(?? ?? ??? ???) ???? ??
?? ??, ?? ?? ??? ? ???? ????? ?? ??? TCP ??
??? ??? ?? CPU/GPU/NIC ???? ???? NUMA ?? ??

??? ?? ??? ???? NVIDIA Jetson Orin NX

NVIDIA Jetson Orin NX 16GB ??? ?? ??? ????? ??? ?? ?? ??? AI ??????. ? ??? ? ?? MLPerf ?? ???? ?? ??? NVIDIA Jetson Xavier NX? ?? ?? 3.2? ? ?? ??? ??????. ????? Connect Tech? ???? Jetson Orin NX MLPerf ?? v3.0? ?????, ?? Boson NGX007 ??? ???? ????????. Connect Tech Boson? ?? ? ??? ??? ? ?? ???? ??? ??? ?? Jetson Orin NX ???? Jetson Orin Nano ???? ????, Orin? ??? ??? ?? ???? ???? ?????.

? ???? ??? ??? ?? NGX007 L4T ???? CUDA, cuDNN, TensorRT? ??? Jetson AGX Orin ????? ??? ???? Jetson Orin NX?? ?? ?????. Jetson AGX Orin? Jetson Orin NX? ??? ?? ??? ???? ??? Jetson ??, ?? ??? ?? ? ??? ????? ??? ? ?? NVIDIA ????? ??? ????? ?????.

*?? 4. NVIDIA Jetson Orin NX MLPerf ??? NVIDIA Jetson Xavier NX? ?? ??*

MLPerf ?? v3.0: ??, ???. MLPerf ?? v3.0?? ??? ?? ??? ??? ???? ??? ?? ??: ??, ??? MLPerf-ID 3.0-0079?? ??? ?? ??? ??? ???? ??? ?? ???(MLPerf ?? v2.0?? ??? ?? ??): ??, ??? MLPerf ID 2.0-113. MLPerf ??? ??? ?? ? ?? ???? MLCommons Association? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org ? ?????.

RetinaNet ???

NVIDIA? ??? ?? ??? ???? NMS? ?? MLPerf Inference v3.0?? ??? ?? ???? RetinaNet ???? 20~60% ???????.

RetinaNet NMS ??? ????? 10?? ???? ??? ??? 2?? ??? ???, ?? ? ???? ??? ??? ???? ??? ???? ?? ?????. ?? ??? ? ????? ?? ??? ???? ???? ??????.

??? ??? ???? ?? NVIDIA? ???? ??? ??? ??? ???? ???? ??? ??????. ?? ?? ?? ???? ?????? ???? ??? ?? ????? ??? ?? ???? ?? ??? ?????. ??? ???? ?? NMS? ?? 2.1?? 50% ??????.

*?? 5. ??, ???, ?? ? NMS? ???? ???? CUDA ??*

?? NVIDIA? NVIDIA Orin? ? ?? ???(DLA) ???? ??? ???? ? RetinaNet ??? ?? ??? ??????. ?? DLA 3.12.1 ? TensorRT 8.5.2?? ??? ? ?? ? ??? ?? GPU? DLA ?? ????? ???? ??? RetinaNet? ? NMS ??? DLA?? ??? ??? ? ????. ?? ? NMS ??? ?? DLA? ????? ???? ????? ? ???? RetinaNet? GPU? DLA?? ??? ??? ? ????.

DLA 3.12.1 ???? SRAM ???? ??? ??? ?? ????? ?? SRAM?? ??? ???? ??? ??? ?? ?? ?? ??? ?????? ?? ??? DRAM ???? ?? ??????. ??? ??? ????? NVIDIA/Deep-Learning-Accelerator-SW? ?????.

?? ?? ?? ??? 20%, DRAM ???? 50% ??????. ??? DLA ???? ?? CNN ?????? ??? ???. ?? DLA ?????? ResNeXt ?? ???? ??? ????? ??? 1.8? ???? DRAM ???? 1.8? ?????.

??? Orin DLA ??? ???? ??? ??? ?????? 1? ??? ??? ?? ??? ???? RetinaNet? ??? 50% ?? ????? ? ???? ??? ???, Jetson AGX Orin? ????? ??? ????? ?????? NVIDIA? ??? ???? ? ? ??? ????. ??? ??? NVIDIA Jetson Orin?? ???? ??? ?? ??? ??????.

*?? 6. ResNet-50, BERT, 3D U-Net ? RNN-T? ?? v2.0, RetinaNet? ?? v2.1? ??? MLPerf Inference v3.0? Jetson AGX Orin ?? ??*

MLPerf Inference v3.0?? ??? ?? ???? ??? ??? ???? ??? ?? ??: ??, ??. MLPerf-ID 3.0-0080? MLPerf Inference v2.0?? ??? ?? ?????: ??, ??? 2.0-140(ResNet-50, BERT ? RNN-T ?????) ? MLPerf ?? v2.1? ??? ?? ??: Edge, Closed 2.1-0095? ??? ??? ???????(RetinaNet? v2.1? ?? ????? ??). MLPerf ??? ??? ?? ? ?? ???? MLCommons Association? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org ??.

MLPerf ?? v3.0: ??, ??, ??. ?? ??? ???? ????? ?? ???/??, ?? ? ?? ??? ????? ?? ?/???? ??? ???? ????, MLPerf Inference v3.0 MLPerf-ID 3. 0-0081? ???? ResNet-50, BERT ? RNN-T ????? ?? MLPerf ?? v2.0 MLPerf-ID 2.1-141, RetinaNet? ?? MLPerf ?? v2.1 MLPerf ID 2.1-0096(RetinaNet? MLPerf ?? v2.1? ?? ????? ??)???.

3D U-Net ???? ??? ??

3D U-Net? KiTS19 ?? ???? ???? ??? ??? ?????. ? ?? ???? 50% ??? ROI ?? ???? ???? ?? ?? ??? ?????. ??? ???? ????? ?? ???? ?? ???? ????. ??? ??? MLPerf ?? 2.0?? ??? ?? ??? ?????.

MLPerf Inference v3.0??? ???? ?? ??? ?? ???? ??? ?? ??? ???????. ?? ??? ?? ??? ?? ?? ?? ???? ?? ???? ????? ?? ??? ?????? ?????. (??? ??? MLPerf ??: ??? ??? ???? NVIDIA ?? ??). ?? NVIDIA A100 ? H100 GPU? ???? GPU ???? ???? ?? 30% ? ?? ??? ?? ? ????.

??? ??? ??? ?? ?? ?? ???? ???? ?? ?? ?? ??? ???? ???? ????. ?? ???? ?? ?? ? ??? ??? CUDA ?? ??? ??????. ??? ?? ??? ????? ?????, ??? ????? ?? ?????? ?? ? ?? ???? ?? ??? ?????. ????? 50%? ??? ??? ???? ??? ???? ??? ???? ?????.

ResNet-50 ???

ResNet-50? ?? ????? ???? ????? ?? ???? ??? ??? ??? ???? DRAM ??? ???? ?? ??? ?????. NVIDIA MLPerf Inference v3.0 ResNet-50 ??? ??? ??? ? ??? ?? ?????.

?? ?? ????? ?? ???? ?? ?? ?? ??? ???? ???? DRAM ??? ??? ?? ??? ???? ?? ? ????. NVIDIA? ??? ???? ???? ?? ???? ??? ?? ? ??? ?? ??? ???? ????? ??? ??? ?? ?? ? ??? ??? ??? ?????.

?? ???? ONNX GraphSurgeon? ??? ? ???? ???? ???? ?? ONNX ??? ?? ?? ??? ?? ???? ?????. TensorRT? ?? ??? ONNX ???? ?? ???? ??? ?????. ???? ?? ??? ?? ?? ??? ????????? ???? D2D(???? ?) ???? ???? ??? ???.

?? ?? ?? ??? ?? Orin ???? ResNet-50 ?????? ? 3%? ????? ?? ??? ??????. ?? ??? ???? ??? ??? ?? ??? ??? ?????.

*?? 8. NVIDIA MLPerf ?? v3.0 ??? ??? ???? ?? ?? ? ?? ?? ??? ???? ?? ??*

?????? ???? ???? NVIDIA AI ?? ???

NVIDIA ???? ???? ??? ?????? ?? AI ?? ??? ????? ????? ????. ?????? ?? NVIDIA H100 Tensor ?? GPU? ? ????? ?? ??? ?? 54% ???????. ???? ?????-???? ?? ???? ?? NVIDIA L4 Tensor ?? GPU? NVIDIA T4 GPU? ?? ?? 3? ? ??? ??? ??? ? ?? ?????.

?? ?? ? ????? ??, NVIDIA Jetson AGX Orin? ??? ??? ??? 50% ?? ???????. NVIDIA Jetson Orin NX? ?? ???? ?? 3.2? ? ??? ??? ??????.

?? NVIDIA ???? ???? ???? ?????? ???? ?? MLPerf ?? ?????? ??? ??? ?????. AI? ???? ?? ???? ??, ?? ? ?? ?? ???? ???? ???? ???? ??? ?? ??? ??? ???? ? ???? ?? ?? ????. NVIDIA ???? AI ?? ??????? ?? ?? ??? ???? ??? ??? ?? ??? ????? ?? ??? ???? ????.

? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???.