?? ?? ???? LLM ???? ? ??? ??? ???? NVIDIA GB200 NVL72

Reading Time: 6 minutes

? ?? ???? ??? ?? ???? ?? ??? ?? ?? ??? ???, ??? ?? ??? ??? ??? ? ??? ??? ?? ??? ??? ????:

??, ?? ??, ???, ???? ?? ??? ?? ??.
???? ??? ???? ??? ? ?? ??
??, ??, ??? ??? ???? ?? ??
?????, ? ??, ?? ??? ?? ???? ?? ??
??? ?? ?? ? ?? ??? ?? ??? ?? ??
??? ???? ???? ??? ????? ???? ???? ? ?? ??.

??? ??? ??? ??? ???? ???? ?? ?? ??? ?? ?? ??? ???? ? ????. ??? ??? ????? ??? ?? ????? ?? ????? ??? ???? ???? ???? ??? ?? ?????. ??? NVIDIA GB200 NVL72? ??? ??? ??? ??? ? ?????.

?? ???? ?? ??? ??(MoE) ??? ?? ???????. ? ??? ?? ???(expert)?? ?? ??? ???? ?? ?? ?? ? ????? ?? ??? ???? ?? ?? GPU? ?? ?????. ? ??, ???? ???? ?????.

??? ??? ?? ???, ?? ???, ??? ??? ?? GPU ????? ??? ??? ??? ??? ? ????. ? ??? ???? NVIDIA GB200 NVL72 ? ??? ????? ?? ??? ??? ?????.

????? AI ?????? ?? ? ??? ??

GB200 NVL72? ??? NVIDIA GB200 Grace Blackwell ??????. ? ?? 900GB/s? ??? ???? ???? NVLink-C2C(Chip-to-Chip) ?????? ?? ? ?? ??? NVIDIA Blackwell Tensor ?? GPU? NVIDIA Grace CPU? ?????. ??????? NVLink-C2C? ?? ?? ??? ??? ????? ???? ? ????. ??? ?????? ????? 1? ? ???? LLM, ???? ??? ?? ????? ??, ??? ?????? ??, 3D ???? ?? ?? ?? ?? ??? ??? ?? ??? ?????.

GB200 ??? ???? ??? NVIDIA MGX ??? ???? ???. ???? 2?? Grace CPU? 4?? Blackwell GPU? ???? ????. GB200?? ?? ??? ?? ???? ???, ?? ????? ?? PCIe 6?? ??, NVLink ??? ????? NVLink ???? ????. GB200 ??? ???? 80????? AI ??? 1.7TB? ?? ???? ?????.

*?? 1. ??? GB200 ??? ???? ?? ???? ??? ??? ?? ??*

?? ? ??? ????? ?? ????? ??? ?? ???? Blackwell GPU? ????? ?? ???? ?? ?? ???? ???? ????? ??? ???? ???.

GB200 NVL72 ? ??? ???? 9?? NVLink Switch ???? GPU? ???? ?? ???? ??? ????? ?? NVIDIA NVLink Switch ???? ???? 18?? ??? ???? ?? ?? ???? ????.

NVIDIA GB200 NVL36 ? NVL72

GB200? NVLink ????? 36? ? 72?? GPU? ?????. ? ?? MGX ???? ??? ? NVLink Switch ???? ???? 18?? ??? ??? ??????. ??? ?? 36?? GPU? 18?? ?? GB200 ??? ??? ?? GB200 NVL36 ???? ?????. GB200 NVL72? ??? ?? 72?? GPU? 18?? ?? GB200 ??? ??? ????? 2?? ?? 72?? GPU? 18?? ?? GB200 ??? ??? ?????.

GB200 NVL72? ?? ??? ????? ???? GPU? ???? ???? ?? ???? ??? ??????. ?? ?? ?? ??? ??? ???? ??? ??? ??? 25? ????.

5?? NVLink ? NVLink Switch ???

NVIDIA GB200 NVL72? ? ??? 1 PB/s ??? 240TB? ?? ???? ?? NVLink ????? ?? 576?? GPU? ???? 5?? NVLink? ??????. ? NVLink Switch ???? 100GB?? 144?? NVLink ??? ????? 9?? ???? 72?? Blackwell GPU? ?? 18?? NVLink ?? ??? ??? ?????.

GPU? 1.8TB/s? ???? ??? ???? PCIe Gen5 ???? 14? ????, ??? ?? ??? ?? ??? ??? ?? ??? ?????.

??? ???? NVLink

?? ??? SerDes? ?? ??? ???? NVIDIA? ??? ?? GPU ??? ???? ????? NVLink? ??? ???? GPU ? ??? ??? ???? ????. NVLink? GPU ? ???? 1.8TB/s? PCIe ???? 14?? ????. 5?? NVLink? 2014?? ??? 1?? 160GB/s?? 12? ?? ?????. NVLink GPU ? ??? AI ? HPC?? ?? GPU ??? ???? ? ??? ??? ?????.

NVLink ??? ??? ?????? ??? ?? GPU ???? ??? 2014??? 576 Blackwell GPU NVLink ???? ? ???? 1 PB/s? 900? ???????.

?? ?? ? ?? ??

GB200 NVL72? ??? ? ?? ??? ?? ?? ????, AI ? HPC? ??? ??? ???? ?? ??? ??? ? ?? ????.

AI ????

GB200?? FP8 ???? ?? ? ??? 2?? ????? ??? ???? ????. GPT-MoE-1.8T? ?? ?? ?? ??? ?? 32k GB200 NVL72? 4? ?? ?? ??? ????? ??? ?? NVIDIA H100 GPU? ???? 4? ? ?? ??? ?????.

AI ??

GB200? LLM ?? ????? ????? 2?? Transformer ??? ??? ??? ??????. ?? H100 ??? ?? 1.8T ???? GPT-MoE? ?? ??? ???? ??????? 30? ?? ??? ?????. ??? ??? FP4 ???? 5?? NVLink? ??? ??? ??? ??? Tensor ??? ?? ???????.

*?? 4. GB200? H100? ?? 30?? ??? ???? ?????*

?? ? ?? ?? = 50???, ??? ? ?? ?? ?? = 5,000???, ?? ??? ?? = 32,768, ?? ??? ?? = 1,024 ??, 8x 8?? HGX H100 ???: 400GB IB ???? ? 18GB200 ??? ???: NVL36, GPU ?? ?? ?? ?????. ?? ??? ??? ? ????.

??? ??

? ??? ??? ??? ????? ???? ? ?? ??? ??? ?? ??? ??? ? ??? ???. ??? ????? ??? ???? ???? ?? ??? ???? ???? ??? ???? ?? ??? ?? ??? ???? ????. ??? ??? ??? GPU?? ????? ???? ?? Blackwell ????? ????? ??? ???? ???? ?? ???? ?? ?????? ????? ???? ??? ?? ? ?? ???? ?? ?? ??? ??????. ?? ?? ??? ????? LZ4, Deflate ? Snappy ?? ??? ??? ??? ???? ?? ??? ?????.

?? ?? ??? ???? ???? ?? ??? ??? ?????. ?? 800GB/s? ??? ????, ?? ?????? CPU(Sapphire Rapids)?? 18?, NVIDIA H100 Tensor ?? GPU?? 6? ?? ??? ???? Grace Blackwell? ??? ? ????.

? ??? 8TB/s? ??? ??? ???? Grace CPU ?? NVlink-? ? ?(C2C)? ?? ?????? ??? ?? ???? ??? ????. ? ?? ??? ?? ? ??? ?? ?? ?? ???? ?? ??? ??? ?????. ?? ?? ??? ??? ????? ???? ????? ?? ? ????.

*?? 5. GB200 NVL72, 72x H100 ? 72 x86 CPU? ??? ?????? ?? ?? ???*

?? ?? ?????

?? ?? ?????? ??? ?? ?? ? ??? ??? ??? ????. ???? ???? ??, ??? ?, ??? ???? ????? ?????? ?? ??? ????? ???? ??? ??? ??? ? ????.

??????? ?? ??? ??? ??? ???? ?? ???? ??? ???? ?? ??? ?????? ?? ?? ????? CPU?? ?????. Cadence SpectreX ?????? ??? ???? ? ????. ?? ??? SpectreX? x86 CPU?? GB200?? 13? ? ??? ???? ?? ?????.

*?? 6. x86 CPU?? GB200?? 13? ? ??? ???? Cadence SpectreX ?????*

Cadence SpectreX(Spice ?????) | CPU: 16?? AMD Milan 75F3 ??? ??: KeithC Design TSMC N5 | GB200? ?? ???? ??? ? ????.

?? 2? ?? ????? GPU ?? ?? ?? ??(CFD)? ?? ??? ?? ? ?? ???? ????. ????? ?? ???? ?? ???? ??? ??? ???? ?????. ?? ?? ?????(LES)? Cadence Fidelity? x86 CPU?? GB200?? ?? 22? ?? ??? ?????? ?????.

?? 7. CFD ??????? ?? ?? ?? ?????? Cadence Fidelity? x86 CPU?? GB200?? ?? 22? ??? ?????? ?????.

???? ???(LES CFD ??)| CPU: 16?? AMD Milan 75F3 ?????: GearPump 2M ? | GB200? ?? ???? ??? ? ????.

GB200 NVL72?? ???? ????? ???? ??? ? ??? ?????. ?? ???? ?? 30TB? ???? ?? ???? ??? ? ??? ??? ???? ???? ?? ??? ???.

??

?????, GB200 NVL72 ? ??? ??? ?????, ?? ?? NVIDIA NVLink ???? ?? 72?? Blackwell GPU? ???? ??? ??? ?? ??????. ?? ?? ?? ????? ?? ??? ? ???? ?? ????? ?? ? ????. ? ??, 1.8T ???? MoE LLM? ?? ??? ??? ?????? ?? ??? 4? ? ??? ??? ? ?? ?????.

130TB/s ??? ????? 30TB? ?? ???? ?? 72?? NVLink ?? Blackwell GPU? ???? ?? ??? ???? AI ?????? ??? ? ????. ??? ?? NVIDIA GB200 NVL72???.