NVIDIA TensorRT

??? ? ?? ??? ?? SDK? NVIDIA^? TensorRT^??? ?? ??????? ?? ?? ??? ?? ???? ???? ? ?? ?? ?????? ???? ???? ????.

?? ???? ?? ????

NVIDIA TensorRT? ?? ???????

?? ??? 36? ??

NVIDIA TensorRT ?? ??????? CPU ?? ????? ?? ??? ?? 36? ? ??? ??? ?? ?? ??????? ??? ??? ??? ?????, ??? ??? ?? ???? ????, ?????? ??? ??, ???? ??? ?? ??? ?? ???? ??? ??? ? ????.

TensorRT helps to optimize inference performance

?? ?? ???

NVIDIA CUDA? ?? ????? ??? ???? ?? TensorRT? ???? NVIDIA AI, ????? ??, ??? ??? ? ????? ?????? ?? ? ? ??? ??? ??? ???? ? ????. ?? NVIDIA Hopper? ? NVIDIA Ampere Architecture GPU?? ?? Tensor Core? ??? ??? ??? ?????.

TensorRT helps to accelerate every workload

?? ???? ???

TensorRT? ??? ????, ??, ?? ??, ??? ?? ?? ? ?? ?? ??????? ??? ? ??? ??? ?? ??? ?? ? ??? ? FP16 ???? ???? INT8? ?????. ??? ???? ???? ?? ??? ?? ?????, ?? ??? ???? ????? ? ???? ??????? ??? ?????. .

Triton? ?? ??, ?? ? ??

??? ? ??? TensorRT? ???? ?? ?? ?? ?? ?? ?????? NVIDIA Triton?? ??? TensorRT? ???? ??? ??, ?? ? ??? ? ????. Triton? ???? ?? ??? ?? ?? ??? ??? ?? ???, ???? ???/??? ?? ?? ??? ???? ???? ?? ? ??? ??? ????.

?? ??? ?? ??

MLPerf Inference? ?? ?? ?? ?????? NVIDIA? ?? ?? ???? ??? ?? ?? TensorRT ?????. ?? ??? ??, ?? ?? ??, ??? ??(BERT), ??? ?? ?? ? ?? ????? ??? ??? ?? ??? ?? ?? ????? ?????.

??? AI

??? ??

?? ???

???? ?? ?? ??

?? ?? ????? ??

TensorRT? PyTorch ? TensorFlow? ???? ??? ? ? ?? ????? ?? ??? 6? ?? ? ????. ?? ?? ??? ??????? ? ?? ??? ?? ?? ???? TensorRT C++ API? ??? ??? ???? ??? ? ????. TensorRT ???? ??? ??? ?????.

?? ??? ?? ??? ?? ? ?? ?? ??? ??? ?? ????.

PyTorch

?? ? ?? ??? Torch-TensorRT ?? ??? ??? PyTorch ??? ??? ? ????. ??? PyTorch ???? TensorRT ???? ??? ?? ??? 6? ?? ? ????.

??? ????

TensorFlow

TensorRT? TensorFlow? ???? ???? ?? ??? ?? ? ?? ?? ??? 6? ??? ? TensorRT? ??? ???? TensorFlow? ???? ??? ?? ? ????.

??? ????

ONNX

TensorRT? ONNX ??? ???? ??? ?? ?? ??????? TensorRT? ONNX ??? ??? ??? ? ????. ONNX Runtime?? ???? ??? ONNX ???? ??? ??? ??? ??? ? ????.

??? ????

Matlab

MATLAB? GPU Coder? ?? TensorRT? ???? ??? NVIDIA Jetson?, NVIDIA DRIVE? ? ??? ?? ???? ?? ??? ?? ??? ???? ??? ? ????.

??? ????

?? ?? ??? ???

TensorRT? ??????? ????? ?? ??? ??? ???? ??? ? ??? ???? ??? ? ???, NVIDIA TAO, NVIDIA DRIVE?, NVIDIA Clara?, NVIDIA Jetpack?? ?? ?? NVIDIA ???? ?????.

?? NVIDIA DeepStream, NVIDIA Riva, NVIDIA Merlin?, NVIDIA Maxine?, NVIDIA Modulus, NVIDIA Morpheus, Broadcast Engine? ?? ??????? SDK?? ?? ?? ???? ???? ??? ??? ??? ??? ?? AI ??, ?? ???, ?? ??, AI ?? ??? ?? ? ???? ?? ???? ? ??? ?? ??? ?????.