NVIDIA AI ?? ?????? ???? ?? ??? ?????? NVIDIA Triton ?? ??? ? ?? ?? ?????? ???? ???? ??? ? ?? ??? SDK? NVIDIA TensorRT? ????, ?? AI ? ?? ?? ??? ?? ???? ??? ?????. NVIDIA Triton? ?? ?? ??(ML) ??? CPU? ?? ??? ??????. ? ?????? ? ?????? ?? ??? ??? ?? ???? ?????.
NVIDIA Triton
NVIDIA Triton? ??? ???? PyTriton? ?? ???(Python) ?? ??, ?? ??? ????, NVIDIA Triton ?? ??? ?? ????.
PyTriton? ?? ??? ?? ??
PyTriton ??? ??? ???? NVIDIA Triton ?? ??? ??? ? ?? ??? ?????? ?????. ??? ???? PyTriton? ?? AI ???? ??? ?? ???? ?? ?? ?????? ??? ?? ?? NVIDIA Triton? ??? ? ????.
????? NVIDIA Triton? ?? ?? ??? ???? ??, ??, ???, ?? ???? ???? ?? ML ??? ??? ??????? ???? ?????. ?? ?? ???? NVIDIA Triton? ???? ?? ??, ?? ?? ??, ??? ?? ??? GPU, CPU ??? ?? ??? ??? ? ????. ? ??? ???? ?? ?????? ???? ?? ??? ??? ??? ????. ?? ?? ?? ?? ????? ??? ??? ? ??. ???(GitHub)? triton-inference-server/pytriton ? ???? ??????.
?? ???
?? ???? ???? ??? ???? ?? ??(batch) ??, ?? ???, ???? ?? ??? NVIDIA Triton ?? ??? ?? ? ??? ?? ?????. ??? ?? ?? ?? ???, ??? ??? ?? ???? ?? ?? ?? ? ? ?? ??? ??? ?? ? ????.
?? ???? ???? ??? ?? ?? ????? ???? ??? ?? ???, ?? ???? ?? ???(?? ????????? ?)? ?? ?? ??? ?????. ?? ML ?????? ?? ?? ???? ??? ? ????. ??? ??? ?? ??? ?? ??? ?????.
NVIDIA Triton ?? ???
NVIDIA Triton ?? ???? ???? ?? ?? ??? ?? ?? ??????? ??? ?????. ???? ???? ???? ? ??? ????? ??? ???? ???? ?? ?? ??? ??????.
?? ?? GPU ??? ??? ?? ??? ???? GPU ???? ????? ????, ???? ??? ??? ?? ?? ?? ?????? ??? ???? ????? ? ??? ???. ?? ???????? ??? ????(AES-256) ??? ?? ???? ???? NVIDIA Triton ????? ??????? ?????. NVIDIA Triton ?? ???? ?? ?? ???? ?????.
NVIDIA TensorRT
TensorRT? ??? ???? ?? GPU ?? ?? ??? ??, ???? ??? ?? ?????.
?? GPU ?? ?? ??
TensorRT? ??? ?? ??(LLM)? ?? ?? GPU ?? ?? ??? ???? ? ??? ? ???, GPT-3 175B, 530B, 6.7B ??? ?????. ??? ???? ONNX ??? ???? ????. ??? ??? ??? API? ???? ?? GPU ??? ???? ? ??. ?? ??? ?? ???? ??? ? ????. ??? ??? NVIDIA ?? ?? ?????.
TensorRT 8.6
TensorRT 8.6? ?? ?? ???? ??? ? ???, ??? ?? ?? ??? ?????.
- ??? AI ??(diffusion)? ?????(transformer) ??? ?? ?? ???
- ??? GPU ????(NVIDIA Ampere ???? ??)?? ??, ??? ? ?? ???? ???
- ?? TensorRT ??(TensorRT 8.6 ??)?? ??, ??? ? ?? ?? ???
- ?? ??? ?? ?? ? ??? ?? ??? ??
?? ?? ? ??? ??
??? ?? ?? ??? ???? AI ??? ?? NVIDIA Triton? TensorRT? ???? ????.
??? AI(Oracle AI)? NVIDIA Triton? ???? OCI ??(OCI Vision)?? ? ?? ?? ??? ?? ????? ?????. ?? ???? ?? ?? ???? ??? ???? ?? ??? ????? ??? ?? ???? ?????. ???? NVIDIA Triton?? 50% ?? ?? ??? 2? ?? ???? ??????.
??(Uber)? NVIDIA Triton? ???? ??? ??? ? ?? ?? ETA(??????) ??? DeepETA? ?? ??? ?? ??? ?????.
??? ?? ???? ????(Roblox)? NVIDIA Triton? ?? ?? ??????? ?? AI ??? ???? ?? ??, ??? ??, ??? ??, ?????? ??, ?? ??? ?? ?? ??? ?????. NVIDIA Triton? ??? ??????? ML ????? ?????(?????(TensorFlow), ????(PyTorch), ONNX ?? ?? ??? ??)? ???? ??? ? ??? ???.
????(DocuSign)? NVIDIA Triton? ???? ?? ??? ?? AI ?? ??, ??? ?? NLP? ??? ?? ??? ?????. ?? ?? ?? CPU ?? ???? ?? 10?? ?? ??? ??????.
?????(Descript)? TensorRT? ???? ??? ????? AI ??? ??????. ?? ?? ???? ??? ??? ???? ??? ???? ???? ??? ???? ??? ???? ??? ? ????.
?? GPU ???? ????? ????(CoreWeave)? NVIDIA Triton? ???? ?? ?? ??? ?? ????? LLM? ?????.
NVIDIA ?? ?????? ????, ?????, ???? ??, ???? ?????? ??? AI ??? ???? ???? ? ???? ??, ???, ???? ?????. ?? ?? NVIDIA Triton? TensorRT? ?????.
