??? ???? ?? AI ?? ??????? ???? ??? AI ??? ????. ??? ??? ????? ?? ??? ?? AI ??? ??? ??? ????? ?? ??? ????? ???. ?? AI ??? ???? ??? ???? ?? ??? ???? ??? ????? ????? ???? ???????. ?? ?? ??? ???? AI ?? ??????? ? ??? ???? ?? ?? ??? ??? ? ????.
MLPerf ????1 ? ?? ???? AI ?? ?? ???? ????? ??? AI ?? ?? ?????. MLPerf Training v3.0? ??? ??, ??, ?? ??? ?? ???? AI ?? ??? MLPerf ??? ???? ?? ?????. ?? MLPerf Training v3.0 ???? ??? AI? ???? GPT-3 175B ??? ??? ??? ??? ?? ??(LLM) ???? ????? ?????????. ?? ?? AI ?? ?? ??? ? ? ???? ?? ?? ? ? ??? ??? ????? DLRM ???? ???? ????.
MLPerf ???? v3.0?? NVIDIA H100 ?? ?? GPU ??? NVIDIA AI ???? ???? ?? ??? ???? ?? ?????? ???? ?? ?? ???? ??? ????? ??? ?? ??? ?????.
?? MLPerf ???? v3.0? ??? ?? ????? ??? ????? ??? ? ????. NVIDIA ???? NVIDIA? CoreWeave? ?? ?? ?? ??? ?? MLPerf? ?? ??? ?????? ???????. ?? NVIDIA ???? MLPerf ???? v2.1? NVIDIA H100 ??? ???? ???? ????? ??? ??? ??????.
? ?????? MLPerf ???? v3.0?? NVIDIA AI ???? H100 ?? ?? GPU? ???? ??? ??? ?????.
???? ??? ???? NVIDIA AI ? H100 ?? ?? GPU
?? 6?? ?? MLPerf ????? ? ?? ?? NVIDIA H100 ?? ?? GPU? ?? MLPerf ???? v3.0 ?????? ??? ???? ?? ??? ?????. ?? ????? NVIDIA ?? ?? DGX H100? ??? ????, ????? ????? ??? ?????? 6?? ?? ??? ?? 17%?? ???????. MLPerf ???? v2.1? NVIDIA A100 ?? ?? GPU ??? ???? ?, ?? H100 ??? ???? ?? 3.1? ? ?? ??? ??????.
?? ????? NVIDIA? ?? 768?? H100 GPU? ??? NVIDIA “Pre-Eos” AI ?????? ???? ??? ??????. ??, NVIDIA? ???? ??? ???? CoreWeave? ?? ?? 3,584?? H100 GPU? ?? ????? ?? ??? NVIDIA HGX H100 ???? ???? ?? ??????.
? ????? H100 GPU? ??? NVIDIA AI ???? ??? LLM ????? ??? ?? ?????? ??? ?? ?? ???? ?????.
| ???? | ?? ?? ??(?) |
| ??? ?? ??(GPT-3) | 10.9 |
| ??? ??(BERT) | 0.13 (8?) |
| ?? ??(DLRMv2) | 1.61 |
| ?? ??, ???(??? R-CNN) 1.47 | 1.47 |
| ?? ??, ??(RetinaNet) | 1.51 |
| ??? ??(ResNet-50 v1.5) | 0.18 (11?) |
| ??? ??(3D U-Net) | 0.82 (49?) |
| ?? ??(RNN-T) | 1.65 |
MLPerf ?? ID: 3.0-2002, 3.0-2075, 3.0-2001, 3.0-2077, 3.0-2066, 3.0-2070, 3.0-2003, 3.0-2065.
?? ????? ??? ??? ??? ? ? ?? ????? ???? ?? ??? ?????.
MLPerf ??? ????? NVIDIA ?????
NVIDIA MLPerf Training v3.0 ???? ?? ? ????? MLPerf Training ?????? ??? ????? ??? LLM ????? ??? ??? ?? ? ??? ?? ??? ???? ???? ????.
??? ?? ??
?? ??? LLM ????? 1,750? ?? ????? ??? ??? ??? ?? ??? ?????. ? ??? ????? ???, GPU ??? ???, ???? ? ????? ?? ?? ?? ? AI ?????? ?? ??? ????? ?? ??? ? ?? ?? ??? ?????.
??? ????? ?? ???? ??? ? ????? ?? ?? ?? ??? NVIDIA ?????? Pre-Eos ????? 512?? ?? H100 ?? ?? GPU? ???? 64.3?? ?? ??? ??????. ??? Pre-Eos ????? 768?? GPU? ???? ?? ??? 44.8??? ???? ?? ??? ??? ?? ??? ??????.
?? NVIDIA? CoreWeave? 768-GPU, 1,536-GPU, 3,584-GPU ? ??? ???? CoreWeave? NVIDIA HGX H100 ???? ???? LLM ????? ?? ?? ??? ??????. CoreWeave? HGX H100 ????? 768-GPU? ??? 768-GPU ???? 768-GPU Pre-Eos ???? ?? ??? ??? ???? NVIDIA AI ???? ????? ? ?? ???? ???? ???? ??? ??? ????? ?? ??????.
??, NVIDIA? CoreWeave? 3,584?? GPU? ?? LLM ??? ???? 10.9?? ?? ??? ??????. ?? H100?? ??? 768?? GPU? ?? 4? ?? ??? ???, ?? ??? ?? ?? H100 GPU? ???? ???? 89%? ?? ?? ???? ???????.
MLPerf LLM ??? ??? ????? ???? NVIDIA ????? ?? ????? ? NVIDIA cuBLAS ?????? ??? NVIDIA NeMo ?????? ??? ?????? ?? NVIDIA H100 GPU?? ????? 8?? ?? ??? ???(FP8)? ????? ??? ? ?? ??? ???? ????.
BERT
?? ???? ???? ?, NVIDIA? BERT NLP ?????? ???? H100 ??? 17% ???????. ?? NVIDIA? CoreWeave? ?? 3,072?? H100 GPU?? BERT ??? ???? 0.134?(? 8?)??? ????? ?? ??? ??????.
????? ?? ??? NVIDIA ??????? ??? ??? ???? ?? cuDNN ?????? NVIDIA ????? ?? ?????? ???? ?? ??? ???? FP8 I/O ??? ??????. ?? cuDNN ?? ??? ???? ?? ??? ?? ??? ?? ?? BERT? ?? ??? ??? ? ??? ??? ??? I/O? ?? ??? ??? ??? ?????. cuDNN ??? ??? ??? ? ?? ??? ?? ??? ??? cuDNN ??? ???? ?????.
?? ????? BERT? ?? ??? ?? ?? ???? ??? ??? ????:
??? ???
???? ??? ???? ? CPU?? ??? ???? ???? ??? ????? ??? ? ????. ??? ???? ?? ??? ????? ?? ?? ??? ?? ??? ???? ?? ???? ?? ?? ??? ???? ?? ??? 3% ??????.
?? ??? ??? ?? ??
BERT ?? ?? ?????? ?? ?? ???? ??? ?? ??? ???? ???? ???? ??? ?? ??? ?? ??? ???? ?????. ??? ??? ?? NVIDIA GPU ????? ?? ?? ???? ?? ?? ???? ????? ?? ????? ?????.
?? ?? ?? ??? ??? ?? ?? MLPerf ?????? ? ?? ???? ?? ??(32?? ?? 8??)? ???? ???? ???? ?? ?? ???? 4? ???????. ?? ?? ???? ???? 128?? ??? 32?? ?? 4?? ???? ?? 8?? ?? 16?? ?????. ??? ???? ?? ???? ?? ???? ?? ??? ????? ?? ???? ?? ?? ?? ??????? ????? ??? 4% ?????. ? ???? ??? ???? ?? ???? ??? ??? ????.
CUDA ???
?? ????? ?? ?? ????? ?? ???? ?? ? ??? ??? ???? ???? ?? cuDNN ?? ??? ???? ????? ?? ?????? ??? ?? ??? ?? 8?? GPU? ??? ??? ?? ??? ?? ????? CUDA ???? ??????.
???? ?? FP16? FP8 ?? ?? ??? ??????. ??, cuBLAS ?????? ???? ?? GEMM ???? ????? ???? H100? ?? GEMM? gelu ??? ??? ?????? ????? ??? 5% ???????. ??? ???? ?? MLPerf Training v2.1? H100 ??? ??? ?? BERT?? ?? ?? ??? 17% ???????.
ResNet-50 v1.5
MLPerf ???? v3.0?? NVIDIA? CoreWeave? ?? 3,584?? H100 ?? ?? GPU? ???? ???? 0.183?(11? ??)? ???? ?????. ?? ????? ??? ?? ???? H100 ??? ?? ???? ?? 8.4% ???????.
?? ????? ResNet-50 v1.5 ????? ?? ?? ??? ??? ????:
NVSHMEM?? ?? ??? GroupBatchNorm
?? ????? ???? NVIDIA NVSHMEM ?????? ???? GPU ? ?? ?? ??? 5? ?? ?? ? ?? GroupBatchNorm ??? ??????. ?? ? ??? ??? ????? GPU ? NVIDIA NVLink ?????? ???? ??? ???? ? ????. ??? ???? ?? ?? ? ??? ???? ????? ??? 6% ???????.
cuDNN ??
NVIDIA cuDNN ?? NVIDIA H100 GPU? ?? ?? ?? ?? ???? ???? ?? ??? ???? ??? ??????. ? ??? ?? ?? ? ???? ??? ?? ???? ????? ??? 5% ???????.
RetinaNet
NVIDIA? ?? 768?? NVIDIA H100 ?? ?? GPU? ???? RetinaNet? ??? ???? ? 1.51???? ????? ??? ?? ??? ??????. ???? ??? ?? ??? ?? ???????.
??? ??? ???? ?? ?? ???? ???? ??? ????:
??????? FP32 ??? ??? ??
MLPerf Training v3.0? NVIDIA RetinaNet ????? PyTorch AMP(?? ?? ???)? ???? NVIDIA H100 GPU? FP16? ?? ?? ??? ??? ??? ???? ? ?? ???? ??????.
??? ?? ????? ??? FP32? ????? PyTorch AMP? ?? ?? ??? ??? ???? ?? ???? ?? ??? ????? FP16? FP32 ??? ?? ?? ?????.
??? ????? ??? ?? ?????? “??? ???”?? ?? ??? ?? ???? ??? FP32? ?????. ?? ?? ????? FP16?? ??? ???? ? ???? ?? ?? ??? ??? ???? ??? ???. ?????? ??? ?? ?? ?? FP16 ?????? ???? ??? ???? ????? ? ????. ? ???? ?? ?? ??? 10% ???????.
??? ???
NVIDIA RetinaNet ??? ???, ??? ? ??? ????? ???? ? ?? ??????? ????? ?? ??? ?? ?? ?????? NVIDIA ??? ?? ?????(DALI)? ?????.
MLPerf Training v3.0??? ??? ??? ?? ?? ???? ??? ??? ???? ?? DALI? ??????. NVIDIA Nsight ???? ???? ??? ???? ??? ?????? ??, ???? ????? ? ?????? ?? ??? DALI? ??? ??? ??? ???? ???? ??? ???? ?? ??????.
DALI ??? ???? ??? ?? ??? ??? ?? ?? ? ??????. ??? ???? ?? ? ??? ??? ?? ??? ?????? ??? ??? ???? ??? 10% ????? ???? ??????.
cuDNN? ???
cuDNN ?????? NVIDIA H100 4?? ?? ??? ? ? ??? ? ?? ??? ??? ?????????. ??? ??? ?? ??? ??? ??? ?? ??? ????? ?? ??? ???? ???? ???? ??? ???? ?? ???? ?? ?? 7.5% ? ?? ?? ???? ?????.
3D U-Net
432?? NVIDIA H100 ?? ?? GPU? ??? ??? ???? 0.82?(49?)? ?? ???? ???? ???? ??????. H100? ???? ??? ?? ???? ?? 8.2% ???????.
????? ??? ??? ???? ?? ? ?? GroupBatchNorm ??? ?? ??? ? ??????.
?? ? ??? 3D U-Net ???? ???? ???? ??? ??? 4?? GPU?? ?? ??? ??? ??? ????. ???? ???? ???? ? ? ?? GroupBatchNorm ??? ?????? 1.5%? ?? ??? ??????.
Mask R-CNN
?? ????? NVIDIA? ?? 384?? H100 GPU? ??? Mask R-CNN ??? ???? 1.47???? ??? ?? ??? ??????. ?? ????? ???? ?? ???? ??? ?? ???? ?? 6.1% ???????.
?? ???? ???? ??? H100 GPU? ??? ? ? ??? ? ??? CPU ????? ??? ? ??? ?????.
? ??? ??
?? ????? ?? ??? ?? ??? ??? ? ??? ?????. H100 GPU? ?? ??? A100 GPU?? ?? ??? ??? ? ?? ??? ??? ??? ?? ?? ??? ??????.
? ?????? ? ?? ?? ??? ?? ??? ???? ?? ? ???? ?? ?? ??? ???? JSON?? ??????. ??? ??? ??? ?? ??? ?? ??? ??? ? ?? ??? ????? ????? ?? ?? JSON ????? ???? ???? ?? ?? ??? ?? JSON ???? ?????. ? ?? ??? ??? ? ????? ?? ??? ?? ??? ? ?? ?????.
? ??? ??
?? ?????? ? ??? ?? ?? ??? ???? ??? ?? ? JSON ???? ??????, ? ???? ?? 5?? ?????. ??? ???? ??? ???? ?????? ?? ??? 80% ?? ??????.
??? ??? ????? ?? ??? ??? ???. ? ???? ?? ??? ??? ????? ???? ?? ?? ???? ??? ??? ???? ?? ??? ??? ?? ??? ??????. ? ??? ?? ?? ? ? ???? ? ???? ??? ??? ?????.
? ???? ?? CPU ???? 20% ??? ?????. ??? R-CNN? CPU? ??? ??? ??? ?? ??? ?? 20% ???????.
? ?? CUDA ???
?? ?????? ?? ??? ??? ?? ?? CUDA ???? ??????. ?? ?? ??? CPU? ???? ?? ??? ?? ??? ?? ?? ??? 40% ??? ???? ?? ??????. ?? ??? CUDA ???????? ?? ???? 30% ?? ??????.
DLRM_DCNv2
DLRM_DCNv2? MLPerf Training v3.0? ??? ???????. ??? ?? ????? ?? DLRM ????? ?????:
- ??-? ??? ??: ?? DLRM ????? ?? ? ???? ??? ??? ??????. ??? ?? ??? ??? ? ? ???? ??, DLRM_DCNv2? ??? ????? ??????. ?? ?? ????? ?? ??? ???? ??? ??? ??? ??????.
- ??? ???: ?? DCN V2?? ??? ??? ???: ??? ?? ? ?? ????? ? ??? ??? ?? ??? ??? ??? ?? ???? ??? DLRM_DCNv2? ?? ?????.
- Adagrad ?????: Adagrad? ?? ????? ? ????? ???? ??? DLRM? ??? SGD ?????? DLRM_DCNv2?? Adagrad ?????? ???????.
?????? ??? ?? ??? ???? ?? ?? ??? ??? ??? ??? ??? ????? ???? ??? ??? ???? NVIDIA Merlin HugeCTR? ??? ???? ??????.
????? ????? ?? ???? ???? ??? ??? ???? ?? ??? ??? ??? ??????. ? ?? ??? ??? ?? ??? ????????:
- ??? ???? ??? ??? ?? NVIDIA NVLink ??? ???? ?? ? GPU? ???? InfiniBand ????? ?? ???? ?? ??? ?? ????? ?????.
- ?? ?? ??? ??? ??? ?? GPU? ??? ????? ??? ???? GPU? ???? ?? ??? ????? ?? ?? ??? ??????.
NVIDIA ?????? ??? ???? ?? ??? ???? ?? ????? ??? ??????. ? ??? ??? ??? ??? ?? ??? ??? ??? ??? ?? ?? ???? ?????. ?? ??? ??? ??? ?? ??? ?? ???? ???? ???? ? GPU? ??? ????? ?????. ?? ?? ???? ?? ??? ?? ??? ?? ??? ?? ??? ???? ???? ?? ???? ????.
MLPerf ???? v3.0? ?? ??
NVIDIA AI ???? MLPerf ???? v3.0?? ???? ??? ?????, ResNet-50 ? BERT? ?? ??? ???? ?????? GPT-3 175B? ?? ??? LLM ????? ????? ???? ????? ?? NVIDIA H100 GPU ? NVIDIA AI ???? ??? ??? ??????. ????? ?? ??? NVIDIA HGX H100 ???? ???? CoreWeave? ???? ??? ? ??? NVIDIA ???? H100 GPU? ????? ?? ??? ???? ????? ?? ? ??? ??? ??? ????? ?? ???????.
NVIDIA ???? ??? ??? ??? ???? ???? ???? ??? ? ????. NVIDIA MLPerf ??? ??? ?? ?????? MLPerf ??????? ??? ? ???? ??? ??? ??? ? ????. ??? ??? ?? ?? ??? ?? NVIDIA AI ?????? ??????? ????? ???? NVIDIA AI Enterprise??? ??? ? ????.
1MLPerf ?? ? ??? ?? ? ?? ???? MLCommons Association? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org ??.
