NVIDIA Spectrum-X? ?????? ???? ????? AI? ???? ???? ???? ????? ??? ???? ????. Spectrum-X ???? ??? ?????? ??? ??? AI ????? ???? ? ??? ?????. ?? NVIDIA? 2023? 11? ????? ?? Spectrum-X ?? NVIDIA ????-1 ?????? ?? ????? ?? ? ???? ??? OEM ??? ??????.
NVIDIA? ?? Supermicro? Spectrum-X ???? OEM ???? ????? ?????. Spectrum-X? 4U, 5U ? 8U ? ??? ???? ?????? GPU ????? ????, NVIDIA HGX H100, NVIDIA H100 ? NVIDIA L40S PCIe ? ???? NVIDIA GPU? ???? ? ????.
??? Supermicro ???? ??? ???? ??? ????, ????? ?? ??? ????, ??? ???? ??????? ??? ????? ?? ??? AI ??? ???? ? ?? ??? ?? ?????. ??? ??? ??? ???? ??? ???? NVIDIA Spectrum-4 Ethernet ???? NVIDIA BlueField-3 SuperNIC? ????? ??????.
NVIDIA? Supermicro? ???? ??? AI ???? ? ?????? ??? ???? ??? ??? ??? ? ??? ?????.
NVIDIA Spectrum-X ?? ????
NVIDIA Israel-1 ?????? ???? ??? ??, ??? Spectrum-X? ?? ??? ???? ??? ????? ??????. ?? ??? ??? ??? ??? ?? ?? ?????.
?? ???? ??(RDMA)
? ? ?? ????? ???? ?? ???? ??? ?????. AI ????? GPU ??? ???? ????, GPU(? ??? ???)? ??? ???? ???? ???? ??? ?? ????, ??? ??? ?????.
RDMA ???? ????? AI? ??? ??? ???? ???? ?? ????, Spectrum-X? ? ???? ??? ??? ?????. ?? ???? ?? 4? ?? ?? ?? ???? 4? ?? ?? ?? ??? ?????. ?? ????? RDMA? ?? ?? ? ?? ??? ?? ???? ???? ????.
AI ?? ??
NVIDIA? RDMA ?? ??? NCCL(NVIDIA Collective Communications Library)? AI ????? ??? ???????. ?? ????? ???? AI ????? ??? ? ????? ?? NCCL ??? ???? ?? GPU?? ?? ????? ?????? ????? ???? ? ??? ?? ???? ?????.
Spectrum-X? ?? NCCL ??? ?? ???? ?? ??? ??? ???????. ?? ?? ????? ??? ????? ?? ???? ???? ?? AI ???? ?????? ???? ?? ??? ??? ???????.
??? Spectrum-X? ???? ?? ????? ???? ?? ???? ???? ???? ?? ??? ???????. ?? ?? ?? ???? ???? ?? 20%? ?? ??? ?????.
??? ?? ?? ??
RDMA ??? AI ?? ??? ?????, ?? ??? ??? ?????? ???? ??????. Spectrum-X? ?? ?? ??(LLM) ?? ????? ??????? ?, ?????. NVIDIA NeMo ? FSDP Llama LLM ???? Spectrum-X? ??? ?? ??? ???? ?? ?? ??? ???? ??? ???? ??? ???? ????? ?? ??? ?????.
???? ???
Spectrum-X? ???? ???? ?? AI? ?????? ????? ???? ???? ?? ?????. AI ????? ???? ???? ??? ??? ??? ?? ?? ??? ?? ?? ???? ?????.
???? ??? ???? ??? ???? AI ??? ??? ??? ??? ? ????. ???? ??? ???? ?? ????? ??, ??? ??? GPU ???? ?? ??? ?? ??? ?? ??? ??? ???? ?? ??????? ??? ?? ???? ? ?? ????.
Spectrum-X ??? ????? ???? ??? ???? ??? ???? ?? ??? ????? ????? ?? ??? ???? ? ????. ??, ?? ???? ???? ??? ?? ??? ???? ?????? ???? ???, ?? GPU ???? ???? ?????.
??
??? ?? ?????? ? ? ??? Spectrum-X? ???? ???? ?? ??? ?????? AI ????? ???? ???? ?? ??? ?????. ? ???? ?? ??? AI ????? ??? ??? ???? ???? ??? ?? ???? ???? ?? ? ????. ?? ?? TTM? ????? ?? ??? ???? ??? ?????.
??? ????
??? ???? ?????? NVIDIA GTC 2024? ?? ?? ???? ???? NVIDIA ???? ??? ???? ?? ??? ???. ?? ????, ???, ???, ???? ????? ???? AI ? ?? ???? ?? ??? ????? ? ??? ????. AI ??????? NVIDIA ????? ??? ?? ???? ??, ??, ?? ??? ??? ?????.
?? ???? ??? ??? ???:
- AI? ?? ???? ?? ??: ???? ??? ????? ?? – Panel [S62447]
- AI ??????? ??? ???? ???? – Panel [S62476]
- InfiniBand? ?? ??? ??? ?? ?? [S62293]
- ???? ??? AI ????? ?? ?????? ??? AI ?? [S62521]
- BlueField DPU?? ????? ?? HPC ? AI ?????? ???: ?? ? ?? [S61956]
- ???? ?????: AI ??? ??? ???? ??: ????? ?????? ???? [CWE61202]
?? ???
GTC ??: AI ???? ??? ??? ???? ????
GTC ??: AI? ?? ???? ?? ??: ???? ??? ????? ??
GTC ??: Connect With the Experts: AI ??? ??? ???? ????: ????? ?????? ?????.
NGC ????: NVIDIA MLPerf ??
SDK: Spectrum Switch SDK
???: AI ??? ?? ????
