NVLink Switch? ??? NVIDIA HGX H200? Medusa? ?? 1.9? ??? Llama 3.1 ??

Reading Time: 3 minutes

?? ?? ??(LLM)? ??? ???? ?? ???? ??, ??? ??? AI ??????? ???? ?? ?? ??? ?? ???? ???? ???? ?? GPU ???? ?????.

??? ??? GPU ? ??? ?? ??? GPU? ‘??? ??? GPU’?? ??? ???? ??? ?? GPU? ??? ??? ? ?? ?? ?????? ?? ?????. ?? ???? ?? ?? ????? ?? ?? ?? ???? ??? ???? ? ?? ??? ??? ?? ??? GPU? ?????? ?? ?? ?? ??? ?? ??? ??? ??? ??? ? ????.

?? ??? ?? ?? Llama 3.1 ???? ?? ???? ???? ?? 8?? H200 ?? ?? GPU? 4?? ??? NVLink Switch ?? ??? ?? NVIDIA HGX H200 ??? ??? ? ????. ?? ?? ? GPU? NVLink Switch? ?? ?? GPU? ?? 900GB/s? ????? ??? ? ????. ??? ?? ???? ?? GPU ??? ?? ??? ???? ??? ??? ?? GPU ? ??? ???? ?????.

*?? 1. 4?? NVLink Switch ?? ??? NVIDIA HGX H200.*

NVIDIA H200 HGX ????? ??? ????? ????? ???? ?? NVIDIA TensorRT-LLM? ?????. TensorRT-LLM? ?? ?? ?? ? ?? ???? ??? ??? ??? ???? ?? LLM?? ??? ?? ??? ???? ?? ?? TensorRT ????????.

??? ??? ????? Medusa? ??? ??? ?? TensorRT-LLM ???? HGX H200?? ?? ?? 268 ??? ?? 108 ??? ??? ??? ??? ???? Llama 3.1 70B ? Llama 3.1 405B?? ?????.

Medusa, NVIDIA HGX H200?? ?? ??? ?? 1.9? ??

????? ?? LLM? ?? ????? ??? ??? ????? ???? ??? ?? ??? ???? ? ??? ???? ?????. ????? LLM ?? ?? ?? ??? ???? ??? ?? ???? ???? ??? ?? ?????? ?? ?????. ?, ????? ?? H200 GPU? ??? ?? ?? ??? ??? ???? ?? ? ????.

??? ???? “???? ??”? ???? ?? ?? ??? ?? ?? ??? ?????? ?? ?? ??? ?? ?? ???? ????? ?????. ?? ?? ?? LLM? ?? ??? ‘?? ??’?? ?? ??? ??? ???? ?? ??? ?? GPU ??? ???? ?? ????? ?????. ?? ???? ?? LLM? ?? ???? ?? ???? ?? ?? ??? ????? ?? ?? ??? ?????.

? ???? ???? Medusa? ?? ??? ?? ??? ???? ??? ??? ??????, ??? ?? ??? ??? ? ???? ??? ???? ?? ???? ????. ? ??? Medusa ???? ?? ?? ??? “??”? ???? ?? ??? ?? ?? ??? ?????. ? Medusa ??? ?? ??? ???? ??? ??? ?????. ?? ?? ?? ?? ?? ????? ?? ??? ???? ???? ?? ?? ?? ???? ??????. ?? ?? ???? ?? ?? ???? ??, ?? ??? ???? ??? ?? ?? ?????? ???. ???? ???? ?? ?? ?? ???? ?????.

*?? 2. Medusa? ?? ??? ?? ??? Llama 3.1 ???? NVLink Switch? ?? NVIDIA HGX H200 ??.*

*?? ??: MTBench ?? ?????, ?? ?, ???? ?? ??? ?? ??? ??, TensorRT-LLM? ?? ??, HGX H200 TP8, FP8, BS=1*

Medusa? ???? HGX H200? ???? ?? 268?? ??? ??? ? ???, Llama 3.1 70B? ?? 108?, Llama 3.1 405B? ?? 108?? ??? ? ????. ?? Medusa? ???? ?? ??? Llama 3.1 70B??? 1.5? ??, Llama 3.1 405B??? 1.9? ?? ?? ?????. ??? ?? ?? ??? ?? ???? Medusa? ???? ??? ???, ???? ??? ??? ???? ??????.

Llama 3.1 70B ? Llama 3.1 405B? Medusa ??? NVIDIA NeMo ?????? ??? NVIDIA TensorRT ?? ?????? ???? ???????. ??? ?? ????? ??? ??? ???? Medusa? ???? ?? ??? ??? ???? ?? ? ??? ????.

??? ?? NVIDIA ??? ??

NVLink Switch ? TensorRT-LLM? ??? NVIDIA HGX H200? ?? ?? ?? ?? ???? ???? ???? ??? ??? ?? ??? ???? ????. ??? ??? ????? ???? ?? ??? ???? ?? ?, ???, ????? ?????, ???? ? ?? ??? ?? ???? ???? ???? ????.

???? LLM ???? ???? ?? ?? ?? ??? ?? ?? ??? ?? ????? ??? ? ??? ?????.