‘NVIDIA AI ??? ?? – TensorRT/Triton Inference Server’? 4? 21? ?? 2??? 4??? ????? ?????. ?? ????? ?? ?? ? ?? ?? ??? ??? ?? ???? ?????.
NVIDIA GPU? ??? ? ?? ??? ?? ??? ?? ??? ???? ???? ?? ??? ????? ???? .predict(), .forward() ??? ???? ???? ???? ???? ???? ?? ??? ?? ??? ???? ?? ??, ???? ????? ???? NVIDIA? ??? ?? ??? ?????.
?? ????? NVIDIA ?? ?????? ???? ?????. ? ?? ?? ???? ?? TensorRT? ?? ???? ??? ?? ??? ?? NVIDIA Triton Inference Server? ?? ?? ????, ??? ?? ??? ?? ?? ?? ? ?? ?????? ???? ?? ??? ?? ? ????.
??? NVIDIA ??? ???? ??? ??? Developer Relations ??? ??? ??? ????.
??? NVIDIA ?????? ??? ?? ???? ??? ?? ? ?? ???? ??? ????? ?? ???? ?????. ????? ???? ? ??? ??? ???? ??? ? ????. ??? ???? ??? ??? ?? ??? ???? ??? ??????.
?? ??
??? ??
NVIDIA? ??? ??? ?? ????, ?? ????? ????, ?? ?? ?? ? ?? ?? ?? ?? ??? ???? Developer Relations ??? ??????. ?? ??(Samsung Electronics)/??? ??????(Lucent Technologies)?? ??? ?????, ????(Xilinx)?? FAE(field application engineer)? ??????. ??????? ???? ?? ? ?? ??? ??????.
??? ??
NVIDIA? ??? ?????, ???????? ???? ??? ??? ?? ??? ??????. ?? NVIDIA ???? GPU ??? ???? ??? ??? ???? ????
Platform& SDK
TensorRT
AI ??? ?? ?????? ???? ???? ??? ??? ?? ?? ??? ?? ??? ? ?? ??? ??????. ??? ??? ???, ???? ?? ??, ?? ????? ???? ??? ?????. ?? ??????? ? ?? ???? ???? ???? NVIDIA TensorRT? ?????. ????? ????? ?? ??? ??? ??????? ???(throughput)? ????? CNN, RNN? ?????? ??? ?? ????? ??????. ?? TensorRT? ???? ?? ??? ?? SDK? 25,000? ??? ??? ?????? ??? ????? ??? ??? ?? ???? ????.
Triton Inference Server
NVIDIA Triton Inference Server(Triton)? ??? ????? ??? ?? ?? ??? ????? ?? ?? ?? ??? ????????. ?? ??(inference serving)? ???? ??? ???? ?? ???? ?????? ?? ??? ??? ? ????. Triton? ????, ?????, ??? GPU/CPU ?? ????? ??? ?? CUDA? ??? ???? ???? ?? ?????(TensorRT, TensorFlow, ONNX, PyTorch ?)? ?????. Triton? ??? ??, ??? ??, ?? ??? ?? ?? ?????? ??? ?????? ????? ???? ?? ??? ? ?? ???? ?????.
