???? ??? ?? ?? ??(LLM)? ????? ??? ?? ??? ????? ?? ??? ???? ??? ? ???? ??? ???? ??? ?? ??? ????. ??? ?? ??? ????? ? ?? ??? ??? ??(TTFT)? ????? ??? ???? ???? ?? ?? ?? ??? ???. ? ??? ???? ?? ??? ???? ??? ?? ??? ?????, ???? ??? ????(CSP), AI ?????? ????? ??? ??? ??? ?????.
NVIDIA GH200 Grace Hopper ???? ???? ??? ??????? ???? ? ????. ? ?????? IT ??? ??? ?? ????? NVIDIA GH200 Grace Hopper ???? ???? ??? ????? ???? ??? ???? ?? ?????? ?? ?? ?? Llama 3 70B ???? ??? ??? ????? TTFT? x86 ?? NVIDIA H100 ?? ?? ?? 2??? ?? ? ?? ??? ?????.
?-? ?? ????
LLM ??? ?? ??, ??, ?? ?? ? ??? ?? ???? ??? ???? ????. ??? ??? ???? ????? ???? ?? ?? ???? ?? ?? ??(RAG)? ??? ?? ?? ?? ?? ??? ?? ??? ?? ???? ??? ???? ???.
? ?????? ???? ????? ???? ??? ?? ??? ??? ????, ????? ?? ?? ?? ?? ??? ??? ???? ???? ?? ???? ?? ? ??? ???? ??? ?????. ? ??? ??? ?? ????? ?????. ????? ??? ??? ???? ? ??? ???? ?? ??? ??? ??? ?? 4???? ?????.
?-? ?? ?? KV ??? ???? ? ??? ???? ????? ?? ???? ? ?? ??? ???? ???? ?????. ?? ?? ?? ?? ??? ?? ?? ??? ??? ? ???? ? ??? ???? ??? ?? ? ?? ?????. ??? ?? ? ??? ???? ? ??? ??? ?? ?? ???? ????? LLM? ??? ???? ? ??? ??? ???? ??? ??? ?????.
KV ??? ????? ???? ?? ??? ??? ???? ?? ??? ??? ???? ?? ? ????. ??? ???? LLM ?? ???? ????? ?? ????? ?? ?? LLM ???? ??? KV ??? ?? ?? ??? ?? ???? ?? ??, KV ??? GPU ???? ??? ???? ?? ???? ??? ??? ???? ? ? ? ??? ? ?? ??? ???? ???? ?? ??? ???? ??? ? ????.
??? ??? ???? ?? KV ??? GPU ????? ??? ?? ??? ??? CPU ???? ????? ?? ?? ???? ??? ????? ??? ???? ??? ???? ?? ???? ?? GPU ???? ?? ??? ? ????. KV ?? ??????? ?? ? ??? ???? ??? GPU ???? ???? ??? KV ??? ?? ??? ??? ????.
??? ??? ????? ?? ??
KV ?? ????? ?? ???? ?? ?? ??? ?? ??? ???? ?? ??? ? ??? ???? ??? AI ??? ???? ???? ??? ????? ??? ????? KV ??? ?? ???? ??? ??? ??? ????. ?? ??? ?? KV ??? ? ? ???? CPU ???? ??? ?? ?? ????? ??????? ??? ??? ??? ?? ???? ? ????.
? ??? ?? ?? ?? ??, ?? LLM ??? ??? ?? ?? ??(IDE)??? ?????. ? ??????? ? ? ??? ???? ???? ?? ?? ?? ????? ?? ???? ?? ????? ??? ? ????. ?? KV ?? ??? CPU ???? ????? ?? ?? ?? ??? ?? ?? ???? ???? ???? ?? ? ?? ??? GPU ? ??? ???? ??? ? ????. KV ?? ???? ? ???? ?? ??? ?? ??? NVIDIA TensorRT-LLM ???? ?????.
PCIe? ?? x86 ??? ????? ??? NVIDIA H100 Tensor ?? GPU? ??? ???? ???? Llama 3 70B ??? ??, KV ?? ????? ?? TTFT? ?? 14??? ???? ? ????. ??? ???? ??? ??? ????? LLM? ?? ????? ????? ?? ?????, CSP ? ?????? ?????? ???? ?? ??? ? ? ????.
NVIDIA GH200 ???? CPU-GPU ???? KV ?? ???? ???
?? x86 ?? GPU ???? KV ?? ????? 128GB/s PCIe ??? ?? ??????. ?? ?? ??? ??? ????? ??? ??? ??? ??, ?? PCIe ?????? ??? ???? ????? ??? ??? ??? ??? 300ms – 500ms ???? ???? TTFT? ???? ? ????.
NVIDIA GH200 Grace Hopper ???? ?? PCIe ?????? ??? ?????. NVIDIA GH200? NVLink-C2C ????? ??? ???? Arm ?? NVIDIA Grace CPU? NVIDIA Hopper GPU ????? ??? ??? ???? ??????. NVLink-C2C? CPU? GPU ?? ?? 900GB/s? ? ???? ?????. ?? ?? x86 ?? GPU ??? ?? PCIe Gen5 ???? 7? ? ?? ??????. ?? GH200??? CPU? GPU? ?? ????? ??? ???? ????? ?? CPU ? GPU ???? ??? CPU ?? GPU ???? ??? ? ?? ?? ??? ?? ???? ???? ? ????.
GH200?? Llama 3 70B ??? KV ??? ?????? ??? ?????? x86-H100?? ?????? ??? ?? 2? ? ?? TTFT ??? ?????. ??? ??? ??? ?? ??? ??? ?? LLM? ???? ??? ?? ??? ???? ??? ?? ????? ??? ?? ??? ???? ? ????.
NVIDIA Grace Hopper ? NVLink-C2C? ??? Llama 3? ??? ?? ??
KV ?? ????? ?? ??? ???? ????? ?? ??? ??? ?????? TTFT? ??? ? ?? ??? CSP, ????? ? AI ?????? ????? ???? ??? ?? ????. NVIDIA GH200 ???? 900GB/s NVLink-C2C? ???? ??? ??? ?? ?? ?? ?? Llama 3 ???? ?? ??? ?? 2??? ???? ? ????. ?? ?? ??? ???? ??? ?? ??? ??? ??? ??? ? ????.
?? NVIDIA GH200? ? ?? 9?? ?????? ???? ???, ??? ??? ?????? ???? ??? Vultr, Lambda, CoreWeave? ?? ???? ?????? ???? ???? ???? ? ????. NVIDIA LaunchPad? ?? GH200? ??? ???? ? ????.
?? ???
- GTC ??: Grace Hopper ??? ???? ? ? ?? ??????? ?? ?? ???
- GTC ??: FlashAttention: IO ??? ?? ??? ??? ???? ??? ???
- GTC ??: NeMo, TensorRT-LLM ? Triton ?? ???? ???? LLM ?? ?? ? ??
- NGC ????: Llama-3-Swallow-70B-Instruct-v0.1
- NGC ????: Llama-3.1-405b-instruct
- ???: ??? ???? ??
