??? ?? ?? ??? ??? ??? ???? ? ??? ?? ??? ??? ?? ???? ???? ??? AI ????? ???? ?? ?? ???? ????. ?? ???? ?? ?? ???? ????? GPU ??? ??? ??? ???? ?? GPU ??? ??????. ???? ??? ??? ?? NVIDIA NVLink Switch? ??? ?? ??? ?? 3??? ??? ??? ?? GPU ?? ????, TensorRT-LLM ???? ?????. ? ?????? ? ??? ?? ?? GPU ??? ??? ??? ????? ??? ?????.
?? AllReduce ????? ???
?? ??? ?? ??? ???? ?? GPU? ??? ??? ???? ?? GPU ??? ??????. ??? ???? ?? ?? GPU ? ??? ?? ??? ?? ?? ???? ??? ? ????. ??? ??? ????, ? GPU? ???? ??? ???? ???? AllReduce ??? ?????.
?? ????? ? ?? ????? ??? ?? ??? GPU ??? ?????. ? GPU? ???? ?? ??? ?? GPU? ????, ? ??? 2N-2? ?????(N? ???? GPU? ?). ? ??? ??? ?? GPU? ??? ?? ?? ?? ???. ??? GPU? ???? ?? ?? GPU? ????? ?? ? ??? ??? ???.
? ? ??? ?? ??? GPU ? ???? ????? ?????, GPU ?? ???? ?? ??? ?????. ??? ?? GPU? ? ???? ?????? ??? ?? ??? ????, ?? ?? ?? ?? ????? ?? ? ??? ?? ?? ??? ???? ???? ? ????.
Ring AllReduce ????? ??? ???? ????:
- ? ????: GPU-1 → GPU-2 → … → GPU-N → GPU-1 → GPU-2 → … → GPU-(N-1)
- 2N-2 ??, ? ???? ?? ?? ??? ??
- ?? ??: 2N-2 ?? ??. (N: GPU ??)
- ???: (4N-4)/N ?? ???? ??/??
TensorRT-LLM ????? AllReduce ?? ?? ????
TensorRT-LLM ???? NVSwitch? ????? ??? ???? ?? Ring AllReduce? O(N) ?? ??? ?? 3??? ???? ??? ???????. ?????? NVSwitch? ???? ?? ??? ?? GPU? ???? ? ? ???? ?? GPU? ??? ??? ? ?? ??? ??? ????? ?? ??? ? ?? ???? ???? ? ????. NVSwitch? ?? ?? ?? ???? N?? ???? ???.
TensorRT-LLM ???? AllReduce ??? ReduceScatter ??? AllGather ???? ??? ?????. (?? ??? ?? ??? ??? ???? ?????.)
? GPU? ?? ??? ???? ?? ????? ???? ????.
? ?? ??(?? “?”)??? ? GPU? ??? ?? ??? ???? GPU? ?? ?? ??? ?????.
???? ??? ??? ? GPU? ??? ??? ????? ?? ??? ?? ??? ??? ???.
? ?? ??(?? “?”)??? ? GPU? NVSwitch ????? ??? ??? ??? ?? ????? ?? GPU? ?????????. NVSwitch? ??? ??? ????? ??? GPU? ???? ?????, ? GPU? ?? ??? 1/N? ???? ??? ?? ?? ??? ???? ???.
? ?? ??? ?? ?? ??? ???? GPU ?? ???? ? ?? ?? ????? ?????.
- TensorRT-LLM ??? ????: GPU_N? ????? ????, ???? ??? ????, ??? ???????? ?? ????? ???? ?????.
- ?? ??: 2?? ??(GPU ?? ??)
- ???: 2 ?? ???? ???(GPU ?? ????)
????? ???
? ????? 2N-2(??? N? GPU ?) ?? ? ? ?? ?? ??? ????, MultiShot? ?? Ring AllReduce?? ?? 3? ?? ??? ?????. ??, ?? ??? ??? ?? ?? ??? ???? ???? ?? ??? ???? ??? ??? ?? ???? ? ??????.
??, ? ????? ?? ??? ???? ??? ?? ???? ???? ????? ? ?????. ??, ?? ?? ??? ???? ????? GPU ?? ?? ??? ?? ??? ??????.
??? ?? ??? ????? ????? ?? ??? ??? ?? ?? ??? ?? ?? ??? ??????. ?? ?? ?? ????? ??? ?? ?? ???? ?????? ??? ????, ???? ??? ??? ??? ?? ???? ??? ??? ?????.
NVIDIA? ?????? ?? ??? ??? ??? ?? ??? ??? ????? ???? ??? ???, ??? ???? ??? ??? ??? ??? ?? ???? ????? ??? ?????.
?? ???
- GTC ??: ??? ??? ?? TensorRT-LLM?? LLM ??? ? ????
- GTC ??: TensorRT-LLM?? LLM ?? ?? ????
- GTC ??: ????? ???????? ?? ?? ??? ? ??? LLM ?? ????
- NGC ????: NV-CLIP
- SDK: Torch-TensorRT
- SDK: TensorFlow-TensorRT
