NVIDIA? MLPerf ?? v3.0?? ??? ??? ???? ??? ???? ?????, ?? ?? MLPerf ?? ????? ???? ??? ?????. ???? ??? ?? ??? ?? ??? ???????? ?????? ????? ?????? ??? ????? ??? ????? ?? ??? ???? ?? ???? ????.
???? ???(Division)?? ? ?? ??? ??? ????: ????? ??? ??? ????, ? ??? ????? ?? ???? ??? ???? ?????? ???? ?????. ??? ????? InfiniBand? ?? ?? ???? ???? ?? ?????.
?? 1? ??? ???? ???? ?? ???? ???? ?????. ???? ???? ??? ????? ???? ???? ??? ?? ?????? ??? ?????.
???? ???? ??? ??? ?? ????? ??? ?? ???? ?? ??? ?????. ???? ???? ????? ????(NIC), ???? ???, ???? ???? ?????. ??? ???? ????? ??? ??? ????? ??? ????? ???, ????? ??? ?????? ???? ??? ??? ? ??? ?????.
MLPerf ?? v3.0 ???? ??? NVIDIA ??
MLPerf Inference v3.0?? NVIDIA? ResNet-50 ? BERT ???? ???? ???? ??? ??????. NVIDIA? NVIDIA ConnectX-6 InfiniBand ??? ??? ???? ?? ?? ???? ???? ?? ?? ??? ???? GPUDirect RDMA ??? ???? ResNet-50?? ?? ?? ??? 100%? ??????.
| ???? | DGX A100 (8x A100 80GB) | ???? ???? ?? ???? ?? ?? |
| ResNet-50(?? ???) | Offline | 100% |
| ?? | 100% | |
| BERT (?? ???) | Offline | 94% |
| ?? | 96% | |
| BERT (?? ???) | Offline | 90% |
| ?? | 96% |
NVIDIA ???? ?? ??? ? ?? ????? ?? ?? ??? ??? ??? ?? ??? ?? ??? ??? ??? BERT ?????? ??? ??? ???????.
NVIDIA ???? ?? ???? ??? ??
??? ??? ??? ??? NVIDIA ???? ??? ??? ???? ????:
- ???? ?? ??? ?? NVIDIA TensorRT ???
- Mellanox OFED ????? ??? IBV ??(Verb)? ???? ??? ?? ??? ?? ???? ?? ?? ??? ?? InfiniBand RDMA ???? ??
- ?? ??, ?? ?? ??? ? ???? ????? ?? ??? TCP ??
- ??? ??? ?? CPU, GPU ? NIC ???? ???? NUMA ?? ??
???? ?? ?? ?? ??
MLPerf ?? ???? ??? ?? ?? ??? ??? ?????:
- ???? ?? ?? ??? ?? ??? ?? InfiniBand
- ???? ?? ?? ??
- ?? ???
?? ???, ??? ??? ?? InfiniBand
???? ????? ???? ?? ????? ??? ???? ???? ??? ??? ???? ??? ??? ??? ?? ???? ?????(QDL)? ???? ???.
- ?? ?? ???? ???? ????? ???? QDL? LoadGen ??? ?? ???(SUT) API? ????? ???? ???? ???? ? ?? ??? MLPerf ?? LoadGen? ?????.
- ??? ???? QDL? ?? ?? ? ??? ?? LoadGen? ?? ?? ???? ??? ??? ???. NVIDIA? ??? QDL ??? InfiniBand IBV ??? ??? TCP ??? ???? ??? ??? ?? ? ???? ?????.
?? 2? InfiniBand ??? ??? QDL? ??? ??? ?? ????? ?????.
?? 3? ? ??? ?? ?? ??? ???? ? ?? ?? ??? ???? ??? ?????.
????? ?(Queue) ?(QP)? ?? ?? ?? ?? ?????. NVIDIA ??? TCP? ??? ??? ??? ??(RC)? ?? ??? ????, ?? ?? 200Gbits? ???? ???? ?? InfiniBand HDR ??? ??? ???? ?????.
????? ???? QDL ???? ????? ?? ??? InfiniBand NIC? ?????. IBCfgs? ??? ??? ?? ????? ??? NIC? IBDevice ????? ?????. ? ????? ?? RDMA ??? ?? ??? ??? ??, ?? ? RDMA ??? ???? ??? ??? ?? IBResources? ?????.
??? ??? RDMA ??? GPU ???? ???? GPUDirect RDMA? ?????. ?? ?? RDMA ?? ??? ??? ?? ?? ???? ?? TCP ??? ?? ?? ??? ?????. ??? ?? QDL? ?? IBConnection ????? ?????.
QDL ??? NUMA? ???? ?? ??? NUMA ??? ???, CPU, GPU? ? NIC? ?????. ? NIC? IBConnection? ???? ??? NIC? ?????.
???? ?? ?? ??
?? 4? ????? ???? ?? ??? ???? ?????? ???? ???? ??? ?????:
- LoadGen? ?? ??(tensor)? ???? ??(?? ??)? ?????.
- QDL? ?? ??? ?? ? ??? ??? IBConnection?? ???????.
- ?? ?? ?????(QSL)? RDMA ?? ?? ?? ???? ?? ? ????. ??? ?? ?? QDL? ??? RDMA ??? ????(??)???.
- QDL? ??? QP? RDMA ??? ?????.
- ????? ???? ??? ???? ???? ?? ??????.
- ??? ??? QP? ?????.
- ?? ?? ??? ?? ??? ???? ?? ?? RDMA ??? ?????.
- RDMA ??? ??? ?? QDL?? ?????.
- QDL? ?????? ??? ? ??? ?? ??? ? ??? ???. QDL? ?? ?? ??? ?????? ??? ?????? ? ??? ????? ??? ?????.
- ??? ??? ???? CUDA ? TensorRT? ???? ??? ???? RDMA ??? ??? ?????.
10????? ?? ??? ????? ???? ?? ??? ???? RDMA ??(buffer)? ?????. ?? ?? ??? ??? ??? ???? ?? ??? ????? ??? ???? ????? ?? ???? ?????.
?? ???
NVIDIA ??? InfiniBand RDMA ??? ???? ?? ?? ?? ??? ?????. RDMA ??? ????? ????? ???? ?? ??? ??? ????? ???? ???.
????? ??? ?????? ?? ?? ??(buffer) ???? ???? ? ??? ??? ??? ??? ???? ????? ???. ?? ??, ResNet-50? ??? ???? ?? ??(QP) ? ?? 8K ????? ???? ???.
?? ?? ??? ? ??? NVIDIA ??? ??? ???? ????.
?? ?? ???? ? ?? ???? ?????:
- IBConnection(QP) ? ???? ???: ? IBConnection?? ??? ???? ???? ?? ??? ?? ?? ? ???? ???? ?????.
- NIC? ?? QP ??: ??? ?? IBConnections? ?? NIC? ?????? ? ???? ?? ?? ????? ????? ?? ??? ? ????.
??? ?? ?? ???? ?? InfiniBand ??? ???? ?????:
- ??? ???? ??? ?? ??: INLINE ??? ?? ?? ???(????? 64??? ??)? ???? PCIe ??? ?? ? ?? ??? ???? ?? ?????.
- ?????? ?? RDMA ?? ??: ?????? ?? ????? ????? ????? ??? ??? CQ?? ???? ??? ???? ???? ?? ?? ?? ????? ?? ??(?? ??)? ?????? CQ ?? ??? ?? ? ??????.
- ??? IB ?? ??: ???? ?? RDAM ????? ??? RDMA ????? ??? ??? ?? ??? ?? ???? ?? ???? ?? ??? ???? ? ????.
- ??? ?? CQ ??: CQ ??? ?? ?? ??? ??? CPU ??? ??? ? ????.
??? ?? ?? ???? ?? ??? ??? ???? ?????:
- ????? ???? ???? ?? RDMA ??: ?? ??? ??? ? RDMA? ??? ???? ?? ??? ?? ??? ??? ???? ????.
- ??? ???? ???(memcpys)? ??(CUDA): ??? ???? ??? ??? ?? ??? GPU ??? ?? ? PCIe ??? ???? ?????.
? ????? QP ???? ???? ?? ?? ??? ??(CQE) ?? ???? ?? QP ?? ??? ??? ?? ????. ?? ???? ??? ? ?? ??? ????? ????? ????? ?? ??? ??? ? ??? NIC? QP? ?? ???? ?? ?????.
?? ??(polling)? ?? CQ?? ???? ?? ?? ?? ????? ???? ?? ??? CPU? ??? ????? ? ? ????. ? ?? ?? ?? ??? ?? ??? ?? CQ ??? ? ??? ???. ??? ? ??? ???, ??? ???? RDMA? ??? ??? ??? ???? ???? ??? ??? ???? ??????. ?? ?? ??? ???? ? ?? ?????.
??
NVIDIA ???? MLPerf ?? ????? ???? ?? ???? ???? ? ?? ???? ?? ????? ??? ??? ??????: ????? ?? ??. ??? ??? ??? NVIDIA ??? ??? ???? ???????:
NVIDIA A100 ?? ?? GPU
NVIDIA DGX A100
NVIDIA ConnectX-6 InfiniBand ????
NVIDIA TensorRT
GPUDirect RDMA
? ??? ?? ??? ?? ?? ????? ?? ?? ????? ???? NVIDIA AI ???? ??? ???? ?? ?????.
