?? ?? Meta Llama ?? ???? ??? Llama 3.2 ????? ?? ?? ??(VLM), ??? ?? ??(SLM), ??? ???? ????? Llama Guard ??? ???? ????. NVIDIA ?? ??? ???? ??? Llama 3.2? ???, ??? ? ???? ??? AI ?? ??? ??? ? ?? ??? ??? ???? ?????.
NVIDIA H100 ?? ?? GPU?? ??? 1B ? 3B ??? SLM? ?? ???? ??? ?? Llama ?? AI ?????? ???? ? ??????. 11B ? 90B ??? VLM? ???? ??? ?? ? ?? ???? ?????. ???? ??? ?? ???? ??? ??, ??, ??? ??? ??? ??????? ??? ? ????. ?? ?? ??? ??, ???-??? ??, ??? Q&A, ?? Q&A ?? ?? AI ????? ??? ? ????. ?? ?? ?? ??? ??? ?? ?? ??? ?? ????? ?????.
Llama 3.2 ?? ????? ???? ????? ????? ???? ?? ?? ?? ?????. ????? ?? ??? ??? ?? ??(SFT)? ?? ???? ?? ?? ??(RLHF)? ???? ???? ???? ?? ??? ???? ?? ?????. ?? ??? 128K ??? ? ???? ??? ???? ???? ?? ??(GQA)? ???? ??? ????? ????.
NVIDIA? ??????? NVIDIA RTX? ???? ?? ??????, NVIDIA Jetson? ???? ???? ? ?? ??? ?? GPU?? ?? ???? ?? ?? ??? ???? ?? Llama 3.2 ?? ???? ????? ????. ? ?????? ???? ? ????? ???, ??????, ?? ??? ??? ?? ?????.
NVIDIA TensorRT? Llama 3.2 ?? ?????
NVIDIA? ??? ?? ??? ??? ??? ??? ???? ???? ??? ?? ??? ??? ???? ?? Llama 3.2 ?? ???? ????? ????. ??? ? ?? ??? ?? NVIDIA TensorRT?? TensorRT ? TensorRT-LLM ?????? ???? ????.
Llama 3.2 1B ? Llama 3.2 3B ??? ??? ?? ?? ???(RoPE) ??? KV ?? ? ?? ? ??? ??? ?? ?? ???? ???? TensorRT-LLM?? ? ???? ??? ?? ????? ????.
Llama 3.2 11B ? Llama 3.2 90B ??? ?????? ??? ???? ??? ?? ???? ?????. ?? ???? ??? ONNX ???? ???? TensorRT ??? ?????? ????? ????. ONNX ????? ??? ??? ? ?? ???? ?? ??? ???? ?? ?? ??? ?????. TensorRT? ONNX ???? ???? TensorRT ??? ?????? ?? GPU? ?? ??? ??????. ? ??? ?? ?? ??? ?? ??? ? ?? ??? ?? ??? ???? ?? ???? ???? NVIDIA GPU ???? ??????.
?? ???? ?? ??? TensorRT-LLM?? ???? ?? ?? ????? ?? Llama ??? ???? ?????. ?? ?? VLM? ??? ??? ???? ??? ??? ??? ???? ???? ????? ??? ? ????.
NVIDIA NIM? ??? ??? ??? AI ??? ??
TensorRT ???? NVIDIA NIM ???????? ???? ???? ?? ??? ?? ??? ? ????. NIM ???????? ????, ?????, ?????? ? ???? NVIDIA ?? ??? ??? ?? ??? AI ??? ??? ??????.
Llama 3.2 90B Vision Instruct, Llama 3.2 11B Vision Instruct, Llama 3.2 3B Instruct ? Llama 3.2 1B Instruct? ???? ??? ?? NIM ???????? ?? ?????. NIM? ??? AI ????? ???? ?? ? ???????, ?? ?????? ????? ?????(API), ???? ?? ????? ?? ?????? ??? ?????. ? ?? ???, ??? ? ??? 175? ??? ???? ??? ???? NVIDIA NIM ???????? ???? ???? ???? ????? ??? ?? ??? AI ??????? ?? ?? ??? ???? ? ????.
NVIDIA AI Foundry ? NVIDIA NeMo? ?? Llama 3.2 ?? ?????? ? ??
NVIDIA AI Foundry? ?? AI ??, ??? ??? ? AI ?? ??? ?? ???? ?? Llama 3.2 ?? ??????? ?? ????? ???? ?????. ?? ???? ???? ?? ??? ??? ??? ?? ??? ???? ???? ? ?? ??? ???? ???? ?? ??? ??? ? ????.
???? NVIDIA NeMo? ?? ?? ???? ??????, LoRA, SFT, DPO, RLHF ? ?? ?? ??? ???? Llama 3.2 ??? ????????, ???? ????, ??? ??? ??? ???? ?? ????? ??? ? ????. AI Foundry? NVIDIA DGX ?????? ?? ??? ????, NVIDIA AI ???? ??? ????. ???? ????? ??? ? ?? NVIDIA NIM ?? ???????? ???? ??? Llama 3.2 ?????.
NVIDIA RTX ? NVIDIA Jetson?? ?? ?? ??
?? Llama 3.2 ??? ? ?? 1? ? ??? NVIDIA RTX PC ? ??????? ????? ????. Windows ??? ??, NVIDIA? ? ?? ???? DirectML ???? ?? ONNX-GenAI ???? ???? ????? ????? ???????. NVIDIA RTX?? Llama 3.2 3B ??? ?????.
??? VLM ? SLM ??? NVIDIA RTX ????? ??? ??? ?????. ??? ?? ??? ?? ?? ? ??? ?? ???? ??? ??? ??(?: ???, ??, ?? ?)? ???? ???? ?? ?? ??(RAG) ?????? ?? ??????.
Llama 3.2 SLM ? VLM? ???? NVIDIA RTX Linux ????? ? ?????? ???? ??? ?????. 30GB ??? ???? ?? NVIDIA RTX ???? GPU? ??? Linux ??????? ?????.
SLM? ?????? ?? ???? ?? ???? ????? ???, ?? ?? ? ?? ?? ??? ??? ?? ??, ??? ? ??? ?? ??? ???? ?? ????? ?? ????? ????????. ???? GPU ?? ? INT4/FP8 ???? ?? Jetson? ??? Llama 3.2 1B ? 3B SLM? ?????? ????? NVIDIA Jetson AI Lab? SLM ????? ?????.
???? ??? ??? ?? ? ?? ???? ??? ?? ???? ?? ?? ???????? ?? ? ????? ????. Llama 3.2 11B VLM? ???? Jetson AGX Orin 64GB?? ?????.
AI ?? ??
?? ??? ????? ???? NVIDIA? ????? ??? ?? ???? ?????? ???? ?? ??? ??? ????. ?? ?? ?? AI ??? ???? ???? ???? AI ?? ? ?? ??? ?? ??? ????? ??? ? ??? ????.
???? Hugging Face? ???? ?? ??? ?? NVIDIA DGX Cloud?? ???? NVIDIA NIM ???????? ???? ?? Llama 3 ???? ?? ???? ?? ?? ??(LLM)? ??? ??? ? ????.
NVIDIA ??? ????? ?? ??, ?? ? ???? ?? NIM? ??? ???? ? ????.
NVIDIA AI ?? ???? ?? ??? ???? NVIDIA NIM, NVIDIA TensorRT-LLM, NVIDIA TensorRT ? NVIDIA Triton? LoRA? ?? ??? ??? ???? ?? LLM? ????? ??? ?????.
?? ???
GTC ??: ?????? LLM ?? ?? ?????
GTC ??: NeMo, TensorRT-LLM, Triton ?? ???? ???? LLM ?? ?? ? ??
GTC ??: LLM ???? ????? ?? ???: ?? ?? ??? ??? ????(Supermicro ??)
NGC ????: Llama-3-Swallow-70B-Instruct-v0.1
NGC ????: Llama-3.1-405b-instruct
???: ???? ?? AI ?? ???? ??? ???? ?????? LLM ?? ??? ??? ?? ????
