??? ??? ? ?? ???? ????? ??? ???? ???? ???? ????. ?? ??? ??? ????? ????? ??? ?? ??? ?????. GTC 2024?? ???? ?? ?? ?? ?? NVIDIA Blackwell ???? GPU, CPU, DPU, NVLink Switch ?, InfiniBand Switch, Ethernet Switch ? 7?? ??? ?? ?????. Blackwell ???? GPU? ??? ?? ?????, ? ??? AI ????? ??? ? ?? ??? ??? LLM ??? ??? ?? ??? ?????.
AI ???? ???? ???? MLPerf Training?? NVIDIA? ??? ??? Blackwell ???? ???? ??? ??? ??????. ??? ?? MLPerf Training ?????? Hopper ?? ??? ??? ???? ??? ?? ??? ?? ?????. ?? ???? GPT-3 ?? ?????? GPU? ??? 2?, Llama 2 70B? LoRA(Low-Rank Adaptation) ?? ???? 2.2? ??? ?? ?????. NVIDIA? ?? MLPerf Training ?????? Blackwell ???? ??? ??? ???? Hopper ?? ????? ??? ??? ??????.
??? ? ????? TDP(? ?? ??) 1,000W? ???? 8?? Blackwell GPU? ???? ???, 5?? NVLink? ?? NVLink Switch? ?? ?????. ?? ? ??? NVIDIA ConnectX-7 SuperNIC? NVIDIA Quantum-2 InfiniBand ???? ?????. ??? ??? GB200 NVL72? ? ?? ??? ??, ??? NVLink ???, ? ?? ??? ???? ??, ??? NVIDIA Grace CPU?? ??? ??? ???? ???. ?? ?? HGX B200 ?? GPU? ??? ?? ? ??? ??? ????, ConnectX-8 SuperNIC? ??? Quantum-X800 Switch? ?? ???? ??? ???? ?????.
? ?????? ??? ??? ??? ??? ?????.
Blackwell? ?? ????? ?? ??
??? ??? ??? ??? ??? NVIDIA? ???? ??? ????? ??? ? ??? ????? ?????? ??? ?? ?????. Blackwell GPU ????? Tensor ??? ?? ???? ??? ????? ???? ?? ??? ?????. NVIDIA ????? ??? ?? MLPerf Training ????? ?? ??? Blackwell? ??? ??? ??? ? ??? ?? ???? ???????. ? ?? ???? ??? ?????:
- ???? GEMM, ???? ? ?? ?? ???: Blackwell GPU ????? ? ??? ???? ?? ??? ????? ???? ?? ??? ??? ???????.
- ? ???? ??? ? ?? ??: ???? ? ????? ???? ?? GPU ?? ? ?? ??? GPU ???? ? ????? ??? ? ????.
- ??? ??? ??? ??: Hopper ????? ?? ??? ?? ??? ???(TMA) ??? ???? ??? ?????? cuDNN ?????? ??? ???? ???? ??? ?? ???? HBM ??? ???? ???????.
- ? ??? ??? ?? ??: Blackwell GPU? ? ? HBM ??? ???? ???? ???? ?? ????? ???? ?? ??? ?? ??? ???? ???.
Hopper? ??? ?? ????? ?? ?? ??? ??? ??? ??? ??? ????? ???? cuBLAS? ?????????. ???? Blackwell ???? ??? ??? ???? ??? cuDNN? ??? ?? ??? ?? ??????. ??? ???? ????? ?? ??? ???? ??? ???? ? NVIDIA Transformer ?? ?????? ?? ??? ????.
Blackwell ????? ??? ??, ?? ??? ???, ??? ??? ? ??? ?? ????? ??? ?? ?? ??? ??? ??? ????? ??? ?? ??? ??????.
Blackwell, LLM ?? ??? ? ?? ??
MLPerf Training ????? OpenAI? ??? GPT-3 ??? ???? ? LLM ?? ?? ????? ???? ????. ? ????? ??? ????? ??? ?? ??? ???? ?? ??????. GPU? ?? ???? ?? Blackwell? ??? ? ?? ??? Hopper ?? 2?? ??? ??? ??????. ??, NVIDIA Ampere ???? ?? HGX A100(MLCommons ?? ??)? ???? ? GPU? ??? ? 12? ??? ??? ??????.
MLPerf ????, ???. HGX H100 2023? 6?, HGX H100 2024? 11?, HGX B200 ??? MLCommons Association?? ??????. HGX A100 ??? ML???? ?? ???? ?????. ?? 3.0-2069(512 H100 GPU), 4.1-0060(512 H100 GPU) ? 4.1-0082(64 Blackwell GPU)?? ?? ??? ???? GPU?? ????????. ??/GPU? MLPerf ??? ?? ??? ????. MLPerf ??? ??? ?? ? ?? ???? MLCommons ??? ?? ? ??? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org??.
HGX B200? ??? Blackwell GPU? ? ?? ???? ?? HBM3e ???? ???, GPU? ?? ?? ?? 64?? GPU??? GPT-3 ????? ??? ? ?????. ??, HGX H100? ??? GPU? ??? ?? ?? 256?? GPU(32?? HGX H100 ??)? ??????. Blackwell? ?? GPU? ?? ???? ??? ???? HBM3e ??? ??? GPT-3 175B ????? ?? ?? GPU?? ?? ??? ???? ??? ? ????.
Blackwell, LLM ?? ?? ?? ??
Meta? Llama ?? ???? ?? ???? ??? ???? LLM? ???? ??? ?? ??? ??? ??? ??? ??? ? ?? ?????. ??? ??? ?? ??? ?? ?? ??? ??? ????? ??? ??? ? ????. MLPerf Training? ?? ???? ??? ?? ??(PEFT)? ??? ???? ??(LoRA)? ???? LLM ?? ?? ????? Llama 2 70B ??? ??????.
Meta? Llama ?? ?? ??? ???? LLM? ????? ??? ?? ??? ??? ??? ??? ??? ? ?? ?????. ??? ??? ?? ??? ?? ?? ??? ???? ??? ??? ??? ??? ?????. MLPerf Training??? ?? LoRA(Low-Rank Adaptation) ??? ???? ??? ?? ??(PEFT)? ???? LLM ?? ?? ????? Llama 2 70B ??? ??????. Blackwell? ?? ?? ?? ??? ? ??? ????? ??? ? ??? ????.
?? 4.1-0080(??? ????)? Blackwell GPU? ??? DGX B200 8-GPU ??? ?? 4.1-0050(?? ?? ????)? 8-GPU HGX H100 ??? ??? Llama 2 70B LoRA ?? ??? ?? ?? ?????. GPT-3 175B ??? ?? 4.1-0057(?? ?? ????)? 256 H100 GPU ???? ???? GPU? ??? 4.1-0082(??? ????)? ???? GPU? 64 Blackwell GPU ???? ??? ????. ??? ML??? ???? ??????. MLPerf ?? ? ??? ?? ? ?? ???? MLCommons ??? ?? ? ??? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org??.
LLM ?? ?? ?????? ?? HGX B200 ??? HGX H100 ??? ?? 2.2? ? ??? ??? ?????. ??? ??? Hopper? ?? Blackwell? ???? LLM? ? ??? ???? ? ???? ?? ??? ???? ????? ??? ?? ? ????.
?? ?????? ??? Blackwell ??
NVIDIA? ?? ?????? Blackwell? ??? ??? ?????, ????? ??? ?? ??? ???????.
| ???? | Blackwell GPU? ?? vs H100 ?? |
| LLM LoRA ?? ?? | 2.2x |
| LLM ?? ?? | 2.0x |
| ??? ??? | 2.0x |
| ??? ? ??? | 1.7x |
| ????? | 1.6x |
| ?? ?? | 1.6x |
| ?? ?? ?? | 1.4x |
MLPerf ?? v4.1, ??. 2024? 11? 13?? ?? ???? ??? ??: 4.1-0048, 4.1-0049, 4.1-0050, 4.1-0051, 4.1-0052, 4.1-0078, 4.1-0079, 4.1-0080, 4.1-0081, 4.1-0082. GPU? ???? ??? ???? ??? ?? ??. GPU? ??? MLPerf ??? ?? ??? ????. MLPerf ?? ? ??? ?? ? ?? ???? MLCommons ??? ?? ? ??? ?????. ?? ?? ??. ?? ??? ??? ?????. ??? ??? www.mlcommons.org??.
???? ??? ??? ???? Hopper
NVIDIA Hopper ????? MLPerf Training v4.1??? ???? ??? ??? ?? ???? ?? ??? ??? ????? ???????. ?? ??, GPT-3 175B ?????? Hopper? ???? ??? 2023? 6? ??? MLPerf Training v3.0 ??? ?? 1.3? ???????.
NVIDIA? GPU? ?? ??? ???? ? ??? ??, ?? ???? ?? ?? 11,616?? H100 GPU? ??? GPT-3 175B ???? ??? ???? ????. ?? ?? ?? ??? ?? ?? ???? ??? ???? ??? ???? ????.
NVIDIA? ?? HGX H200 ???? ???? ??? ??????. NVIDIA H200 ?? ?? GPU? NVIDIA H100 ?? ?? GPU? ??? Hopper ????? ???? ?????, HBM3e ???? ??? 1.8? ? ?? ??? ??? 1.4? ? ?? ??? ???? ????. Llama 2 70B ???? ??(LoRA) ?????? H200? ??? NVIDIA 8-GPU ??? H100? ?? ? 16% ? ?? ??? ??????.
?? ??
?? MLPerf Training ??? NVIDIA Blackwell ???? ?? LLM ?? ??? ?? ?? ???? Hopper ??? ?? ?? ?? ?? ??? ????? ?? ?????. ??, Hopper? ?? ?? ???? ????? ???? ?? GPU? ??? ??? ????? ??? ??? ??? ???? ????. ??? ?? MLPerf Training??? ? ? ??? Blackwell ???? ?? ? ??? GB200 NVL72 ???? ??? ??? ??? ?????. Blackwell? ??? LLM ?????? ??? ??? ?? ??? ?????.
?? ???
- GTC ??: NVIDIA NeMo ? AWS? ??? LLM ???? ???
- GTC ??: ???? ?? LLM ???? ????? ???(CoreWeave ??)
- GTC ?? ??? ??? ?? TensorRT-LLM? ??? LLM ??? ? ??(??: CoreWave)
- NGC ????: NVIDIA MLPerf ??
- NGC ????: NVIDIA MLPerf ??
- NGC ????: Mixtral-8x7B-Instruct-v0.1
