AI ????? ??? ???? ??? ???? ???? ?? ??? ??? ??? ???? ???? ????. ? ?????? ????? ??? ????, ?? ??? ????, ?? ???? ??? ??? ??? ?? ?? ???? ??? ???? ? ?? ??? ??? ????. ??? AI ???????? ?? ??? ???, ? ??? ??? ?? ??????? ??????? ???? ????.
NVIDIA AI Enterprise? ?? ????? AI ????? ?? ???? ????? ?? ??? ? ??? ???? ? ?? ??? ??? ???? ????.
AI ???? ?????? ???? ??
?? ??? NVIDIA NIM Operator? Kubernetes?? AI ????? ??? ?? NIM ???????? ?? ? ??? ??????. ? ?????? AI ????? ??? ?????, ??? ?? ?? ??? ?? ???? ?? ?? ?? ??? ??? ?? ??? ???? ??? ??????.
?? CPU, GPU, NIM ?? ???, KVcache ? NIM ?? ???? ???? ?? ?? ??? ??? ? ????.
??? ?? ????? ??? ???? ????? ??? ?? ??????. NIM ???????? ?? ??? ????, NIM Operator? ???? ??? ???? ???????.
NVIDIA? ?? ???? AI ?????? ?? NIM ???????? ???? ?? ??? ?? ?? ??? ?????:
AI ??? ?? ?? ? API ???
NVIDIA AI Enterprise? AI ? ??? ???? ?????? ?? ?? ?? ??? ???? ???? ??, ?? ????? ????? ??? ?? AI ????? ?????.
? ???? ?? ??? ????, ? ??? ?? ?? ?? ??? ?????. ??, ? ???? NVIDIA?? ? ? ?? ?? ???? API? ?? ??? ???? ??, ???? ? ?????? ??? ??? ? ????. ?? ??? ??? ?? ???? ??? ??? ???? ?????? ??? ??? ???? ? ? ????.
??? ??? ???? ?? NVIDIA AI Enterprise? ???? ???? ?????. ???? ???? API ???? ???? ?? ????? ????, ???? ??? ???? AI? ????? ???? ? ?????. ? ???? 6???? ?????, ?? 9??? ?? ??? ????.
???? ???? 9?? ?? ?? ?? NVIDIA? ??? ?? ???(CVE)? ????? ??????, ?? ?? ??? ?????. ?? ?? NVIDIA AI Enterprise? ??? AI ?????, ?????, ?? ? ??? ?? ?? ??? ?????? API? ??? ?? ?? ???? ???? ? ????.
? ?????? ??? NIM ???????? ???? ???? ??? ?????:
- Meta? Llama 3.1 ?? ???:
- Llama-3.1-Instruct-8B
- Llama-3.1-Instruct-70B
- Llama-3.1-Instruct-405B
- Mistral AI? Mistral 7B ? ??? ??(MoE) 8x7B ? 8x22B ??:
- Mixtral-8x7B
- Mixtral-8x22B
- Mistral-7B
- ?? ??? ??? ?? NVIDIA Nemotron-4-340B ?? ???:
- Nemotron-4-340B-Instruct
- Nemotron-4-340B-Reward
- NVIDIA NeMo Retriever QA E5 ??? v5 ??? ??? ??:
- NV-EmbedQA-E5-v5
??? ???????? ???? AI ????? ???? ?? ???? ???? ?? ?? ?? ?????? ???? ???? ?? NVIDIA? ??? ?? ? ??? ???? ??? ??? AI ????? ??? ? ????.
??? NIM ???????? ?? ???? ???? ?? ??? ?? AI ????? ? ?????? ?????:
- PyTorch
- TensorFlow
- RAPIDS
- NVIDIA TensorRT
- NVIDIA Triton ?? ??
- NVIDIA Morpheus
- NVIDIA Holoscan
?? ????? ???? ???? ??? ??? ?? AI ?????? ??? ????:
- AI ?? ??? ? ??? ??? ???? ??? ?? Deepstream
- ??? ??? ????? ?? DGL ? PyG
??? AI
??? ??? ?? ??? ??? ?? ? ?? ?? ?? ????? ??? ??? ???. ??? ??? ?? NVIDIA AI Enterprise?? 3? ?? ???? API? ???? ?? ?? ???(LTSB)? ???? ????.
LTSB 1? 2021? NVIDIA AI Enterprise? ? ?? ???? ??? ?????? ?? AI ?? ??? ?????:
- PyTorch
- TensorFlow
- RAPIDS
- TensorRT
- Triton ?? ??
- vGPU ????? ?? ??? ?????
?? NVIDIA AI Enterprise ?? ???? ??? LTSB 2?? Holoscan SDK ? Holoscan ?? ??? ??? Holoscan? ???????.
Holoscan? ??? ?? ? ???? ??? ?? ???? ???, ??? ?? ? AI? ???? ?????, ??? ????, ??? ? ?? ??????? ???? ?? ?? ??? ??? NVIDIA AI ?? ?? ??????. Holoscan SDK?? ?? I/O, ???, AI ?? ? ???? ????? ???? ?? ?? ?????? ???? ?? C++ ? Python API? ???? ??? NVIDIA GPU ??? ?????.
Holoscan? ?? ?? ???? ?? ? ??? ??? ??? ? ?? ??? ?? ?? ?????. ?? ??? ???? ?? ???? ?? ??? ?? ??? ?? ???, ?? ????? ??? ? ????? ??? ???? ??? Holoscan? ???? ?? ?? ??? ???? ???? ??? ????? ??? ??? AI ?? ?? ??? ??? ? ????.
LTSB? ??? Holoscan ???? ?? ?? ??? AI ?? ?? ?? ??? ???? ?? ?? ??? ?? ?? ???? ??? ?? ?? ???? ???? ??????.
NIM ???????? ???? ??? ??
NVIDIA AI Enterprise? ????? ? ??? ???? ??? ???? ?????. ???? ?????? ???? ?? ??? Kubernetes? NIM ??????? ? ?? ????? ????? ??? ? ???, ?? ???? ???? ?????? ???? Kubernetes? ?????.
?? Google Cloud? ?? ???? Google Cloud Marketplace?? ?? ???? ??? ??? ? ?? ???? ??? ???? ?? NVIDIA NIM? Google Kubernetes Engine? ??????.
???
NVIDIA AI Enterprise? ?? ??? ?? ??? ? ????. ???? ???? ???? AI ????? ????? ???? ??? ??? ?? ????? ? ???, NIM ???????? 11? ?? ???? ???? ??? ?????. ?? ????, ?? ?? ??, ??? ??? ???? ?? NVIDIA ????? ??? ? ?????? ??? ??? ?? ? ????.
??? ??? NVIDIA AI ?????? ???? ? ?????.
?? ???
- GTC ??: ??????? ??? AI? ?? ????? ??? ????
- GTC ??: ??? ?? ????? AI ??
- NGC ????: ACE ???? ?? ??
- NGC ???? ACE ???? ?? ??
- NGC ???? ACE ???? UI ?????
- SDK: NVIDIA ?? ???
