LLM, ?? ??? ? GNN? ?? ??? ??? ???: NVIDIA GH200 NVL32

Reading Time: 6 minutes

AWS re:Invent 2023?? AWS? NVIDIA? AWS? ???? ???? ? ??? NVIDIA DGX ????? ?? NVIDIA NVLink ??? ?? ???? Amazon Elastic Compute Cloud(Amazon EC2)?? ???? NVIDIA GH200 Grace Hopper ???? ???? ? ???? ??????. ?? ???? ???? ??? ??? ?????.

NVIDIA DGX ???? ?? Amazon ???? ?? ? ??? ???? NVIDIA GH200 NVL32? 32-GPU NVIDIA NVLink ???? 19.5TB? ??? ?? ???? ?????. ?? ???? ??? ??? ???? ? ???? NVIDIA HGX H100? ?? GPT-3 ????? ?? 1.7?, ?? ?? ??(LLM) ??? ?? 2? ? ????.

AWS? NVIDIA GH200 Grace Hopper ??? ?? ????? 4.5TB? HBM3e ???? ????, ?? ?? ??? NVIDIA H100 ?? EC2 P5 ????? ?? 7.2? ??? ????. ?? ?? ???? ? ? ??? ???? ??? ???? ??? ??? ? ????.

?? CPU? GPU ??? ? ?????? 900GB/s? PCIe Gen 5?? 7? ????. GPU? ?? ??? ???? CPU ???? ????? ??????? ??? ? ?? ? ???? ?????. ?????, ????? ? ???? ???? ?? ??? ???? ???? NVIDIA GH200 NVL32 ????? ???? ???? ???????. ? ???? GH200 ? ?? ???? ??? ?? ?? ????? ?????.

? ?????? ?? ???? ?? ???? ???? ?? ???? ? ?? ???? ?????? ?? ??? ?????.

NVIDIA GH200 NVL32

NVIDIA GH200 NVL32? ?????? ?????? ???? NVLink? ?? ??? NVIDIA GH200 Grace Hopper ???? ?? ? ??? ???? ??????. NVIDIA GH200 NVL32? NVIDIA MGX ??(chassis) ???? ???? 16?? ?? NVIDIA Grace Hopper ?? ??? ????, ??? ??? ?? ??? ??? ???? ???? ? ????.

????? NVLink-C2C? ??? NVIDIA GH200 ???? ?? ???? ?? ?????? ????? ?? NVLink ?? ??? ??? ??? ?? ??? ?????. ? ?? ???? ? ??? ??? ???, LPDDR5X ? HBM3e? ???? ?? ?? ????? NVIDIA GPU ?? ? ??? Arm ??? ??? ?????.

GH200 ?? ??? NVLink ??? ?? ??? ????? ???? ? Hopper GPU? ????? ?? ?? ?? Grace Hopper ???? ???? ???? ? ??? ????, 32 x 624GB ?? 19.5TB? NVLink ?? ?? ?? ???? ?????(?? 1).

?? NVLink Switch ???? ????? NVLink ?? ?????? ???? 3?? NVSwitch ?? ??? 9?? NVLink ???? ???? 32?? GH200 GPU? ?????. NVLink Switch ???? ????? ?? GPU? ?? ??? ??? ???(fat-tree) ????? ?????. ??? ?? ??? ?? 400Gb/s InfiniBand ?? ????? ???? ??? ??? ??? ???? AI ????? ???? ?????.

NVIDIA GH200 NVL32? NVIDIA HPC SDK ? ?? CUDA, NVIDIA CUDA-X ? NVIDIA Magnum IO ????? ????? ???? 3,000? ??? GPU ??????? ??????.

?? ?? ? ?? ??

NVIDIA GH200 NVL32? ??? ??? ??? ??? LLM ???? ? ??, ?? ???, ??? ???(GNN), ?? ??????, ?? ?? ??(RAG) ??? ??????.

AI ?? ? ??

??? AI? ChatGPT? ?? ???? ???? ???? ???? ??? ? ??? ??????. GPT-3 ? GPT-4? ?? LLM? ?? ??? ?? ??? AI ??? ??? ? ?? ???, ? ???? ?????.

ChatGPT? ?? ??? 1? ?? ????? ??? ??????? ????, ? 2?? ?? ? ??? ??????. ??? AI ??????? ?? ??? ???? ??????? ???? ????.

*?? 2. NVIDIA GH200 NVL32? ???? 16K GPU? ?? ??? ?????? 8?? NV?? ?? H100 GPU? ?? NVIDIA HGX H100 ??? H100 NVL8? ??? ??????? 1.7?? ??? ?????. (?? ?? ???? ??? ? ????.)*

LLM? ??? ?? GPU ????? ?????. ? ????? 4???(FP32)? ????? GPT-175B? ??? ???? 700GB???. ?? ?? ??? ?? ??? ??? ? ?? ??? GPU? ??? ??? ??? ?? ?????.

NVIDIA GH200 NVL32? ?? ? ??? LLM ????? ?? ???????. 32?? NVLink ??? GH200 Grace Hopper ????? ???, ?? ? ?? ?? ??? ??? ? ???? NVIDIA HGX H100?? 1.7? ?? ??? 1? ? ???? ??? ????? ? ????.

*?? 3. 80GB GPU ???? ?? H100 NVL8? ?? 2? ?? GPT-3 530B ?? ?? ??? ???? NVIDIA GH200 NVL32. (?? ?? ???? ??? ? ????.)*

?? 3? GPT-530B ?? ???? NVIDIA GH200 NVL32 ???? 4?? H100 NVL8 ????? 2? ? ??? ??? ????? ?? ?????. ?? NVIDIA GH200 NVL32? ??? ??? ??? ??? ??? ?? ??? ???? ??? ??? ???? ???? ???? ? ?? ???? ?? ???? ??????.

?? ???

?? ???? ??? ???? ?????. ?? ???? ???? ? ???, ??? ? ?? ???, ??? ?? ??? ???? ????? ?? ?????. ?? ?? ??? ???? ??? ?????. ??? ???, ??, ????, ????? ???? ???? ????, ? ??? ?? ?? ?????? ?? ? ????.

???? ?? ?? ???? ?? ???? ??? ??? ?????, ? ? ???? ? ??? ??? ??? ???. ????? ?? ???? ??? ???? ??? ????? ??? AI ???? ??? ??? ????.

Grace Hopper? ??? NVIDIA GH200 NVL32? 4?? HGX H100? ?? 7?? ?? ??? ???? ????, ?? x86 ?? ???? GPU? ?? PCIe Gen5 ??? ???? 7?? ???? ?????. x86? ???? H100? ?? 7? ? ??? ???? ?????.

?? NVIDIA GH200 NVL32? ??? ??? ???? ?? ??? ?? ?? 7.9?? ???? ??? ??? ? ????. ?? 4? 144GB HBM3e ???? 32?? NVLink ?????? ?? GH200 NVL32 ??? 1?? DLRM ??? ???? 8?? NVLink ?????? ??? 80GB HBM3 ???? ?? HGX H100 ?? 4?? ??? ?????. ??? ?? 10TB ???? ???? ???? ??? 2TB ???? ???? ???? ??? GH200 ? H100 ???? ???????.

*?? 4. ?? ??? ???? ? ?? NVIDIA GH200 NVL32 ???? ? ?? HGX H100 ??? ??? ??. (?? ?? ???? ??? ? ????.)*

??? ???(GNN)

GNN? ??? ?? ?? ??? ????? ??? ??? ??? ???? ??? ??? ??? ? ??? ???? ?????. ?? ?? ? ?? ???? ?? ??? ??????? ??? ???? ???? ????.

???? ????? ??? ????? ???? ?? ??? ???? ? ?????. ?? ? ?? ???? ?? ??, ?? ??, ??? ???, ??? ??, ????, ?? ?? ? ?? ???? ???? ?? GNN? ???? ????. ??? GNN? ???? ?? ??? ???? ??? ?? ??? ?? ?? ??, ??? ??? ??? ???? ?? ??? ???? ????.

NVIDIA GH200 NVL32? ??? ???? ?? ??? ??? ??? ??? ??? ? ?? ??? CPU-GPU ???? ?????. ?? ??? ????? ?? ?? ??? ???? ??? ??? ??? ??? ?? ??? ???? ??? ???.

??? ???? ????? ???? ?? ????? ?? ?? ??? ?????. NVIDIA GH200 NVL32? GPU ? NV?? ??? ??? ?? ???? ??? ?? ??? ?????. GH200 NVL32? NVIDIA H100? ?? GNN ???? ??? ?? 5.8??? ???? ? ????.

?? 5? 144GB HBM3e ???? 32?? NV?? ?????? ?? GH200 NVL32 ??? 1?? GraphSAGE? ???? 8?? NV?? ?????? ??? 80GB HBM3 ???? ?? HGX H100 ?? 4?? ??? ?????. GraphSAGE? ??? ? ? ??? ???? ?? ?? ???? ????? ???? ?? ???? ??? ????????.

*?? 5. ??? ?????? ? ?? NVIDIA GH200 NVL32 ???? ? ?? HGX H100 ??? ??? ??. (?? ?? ???? ??? ? ????.)*

??

Amazon? NVIDIA? NVIDIA DGX ????? AWS? ????? ??????. AWS? ???? ??? ???? ? ??? DGX ????? EC2 ????? NVIDIA GH200 NVL32? ???? ???. NVIDIA GH200 NVL32 ???? 32-GPU NV?? ???? 19.5TB? ??? ?? ???? ?????. ? ??? GPT-3 ???? ? LLM ???? ?? ???? ?? ??? ??? ?????.

NVIDIA GH200 NVL32? CPU-GPU ??? ?????? ?? ???? ??????? ??? ???? ??????. ? ??? ?????? ?????? ?? ?? ??? ??? ???, ???? NVIDIA ????? ? ????? ???? ??? ?? ?? ?? GPU ??????? ??????. NVIDIA GH200 NVL32? LLM ???? ? ??, ?? ???, GNN ?? ?? ??? ????? AI ? ??? ??????? ??? ?? ??? ?????.

??? ??? AWS re:Invent ???? NVIDIA GH200 Grace Hopper ??? ???? ???? ??? ? ????. NVIDIA SC23 ??? ??? ??? ? ????.