?? ??? ??? Llama AI ??? ?? ??, Llama 4 Scout? Llama 4 Maverick? ??? ??????. NVIDIA? ???? ?????? ???? Blackwell B200 GPU??? ?? 4? ?? ??? ??? ? ??? ?? NVIDIA NIM ????????? ?? ???? ? ????.
Llama 4 ??? ?? ????? ????? ??? ??? ????, ??? ??(MoE) ??? ?????. ??? ???? ??? ?? Llama 4? ??? ??, ??, ???? ?? ???? ?? ? ???? ???? ??? ??? ??? ? ??? ?????.
Llama 4 Scout? 1090? ?? ????? ?? ???, ???? 170? ?? ??????. ? 16?? ???? ??? ???, ?? 1000? ???? ??? ? ?? ? ???? ???? ?????. int4 ???? ????? ?? NVIDIA H100 GPU??? ????? ?????. ? ??? ?? ??? ?????, ??? ??? ??? ??? ???? ??? ?????, ??? ?????? ???? ???? ? ??? ??? ?????.
Llama 4 Maverick? 4000? ?? ????? ?? ???, Scout? ????? ??? 170? ?? ?????, 128?? ???? ??? ????. ?? 100? ???? ??? ? ?? ???? ??? ????, ???? ???? ?? ?? ??? ???? ?????.
NVIDIA TensorRT-LLM ???
NVIDIA? Llama 4 Scout? Llama 4 Maverick ?? ??? NVIDIA TensorRT-LLM? ?? ???????. TensorRT-LLM? ?? ????? ??? ?? ??? NVIDIA GPU?? ???? ?? ??? ???? ????????.
bfloat16 ??? ?? ???? ??? ? ??? ???? ????? ??? ????? TensorRT Model Optimizer? ????, ?? ???? ????? ????? Blackwell FP4 ????? ??? ??? ?? ??? ?? ? ????.
Blackwell B200 GPU?? TensorRT-LLM? ????, NVIDIA? ???? FP8 ??? Llama 4 Scout? ?? 4? ?? ??, Llama 4 Maverick? ?? 3? ?? ??? ?? ??? ?????.
Blackwell ????? 2?? ????? ??, 5?? NVLink, ??? FP8, FP6, FP4 ??? ?? ? ??? ?? ??? ?? ??? ?? ???? ??? ?? ???????. Llama 4 ??? ??, ??? ?? ??? NVIDIA H200 ?? ?? ??? 3.4? ????, ??? ?? ??? 2.6? ?????.
?? Llama 4 ???? ????? ??? NVIDIA/TensorRT-LLM GitHub ??????? ??? ? ????.
NVIDIA? Meta? ?? ?? ???? ?? ??? ?? ?? ?????. NVIDIA? ???? ???? ????? ????, ????? ? ????? ??? ??? ??? ??? ? ??? ?????. ? ???? ??? ??? ??? ??? ??? ???? ????.
???? ??? AI? ???? ???, AI? ???? ???? ?? ?? ??? ??? ??? ? ?? ??? ?????. ??? ?? ??? NVIDIA? ?? ???? ????, ???, ???, ??? ??? ???? ??? ?? ??? ??? ? ????.
??? ??? ?? Llama ?? ?? ??
Llama ??? fine-tuning? NVIDIA NeMo? ?? ??? ??? ? ????. NeMo? ?? ???? ??? ?? ?? ??? ???? ? ??? ??? ?? ? ?? ????????.
?? NeMo Curator? ??? ???? ?????? ?? fine-tuning ????? ??? ? ????. ? ??? ?? ? ??? ???? ???? ????, ?????, ??? ???? ? ??? ???. ?? NeMo??? LoRA, PEFT, ?? ???? ?? ?? ??? ??? ??? Llama ??? ????? fine-tuning? ? ????.
fine-tuning? ?? ??? NeMo Evaluator? ?? ??? ??? ? ????. ?? ?? ????? ??, ?? ??? ?? ??? ????? ?????.
NeMo? ????, ??? ???? ??? ?????? ???? Llama ??? ?? ??? ??? AI ??????? ?? ??? ??? ? ????.
NVIDIA NIM? ?? ???
??? Llama 4 ??? ??? ??? ? ???, ? ???? NVIDIA NIM ??????? ??? ?????. ?? ?? GPU ?? ??? ????? ???? ??? ? ??, ??? ?????? ?? ??? ??? ??? ? ????.
?? NIM? ?? ?? API? ??? ?? ??? ?????, ??? ???? ??? ? ??? ?????. LLM, ?? ??, ???? AI ? ?? ??? ????, NIM? ??? ??? ??? ?? ?????, ????, ?????, ?? ?? ??? ?? ??? ??? ? ??? ?????.
?? ??? ???
Llama 4 NIM ???????? ?? ?????, ?? ???? ??? ???? ?? ??(POC)? ??????. NVIDIA?? ???? API ?????? ??????? ????, ??? ????? ?? ??? ???? ? ????.
- GTC ??: ??? ??: ????? ?? ??? AI ??????? ?? LLM ?? ?? ?? ????
- GTC ??: NVIDIA ?? ?? ??? ???? ??? ?????? ?? ???, Scout
- NGC ????: NVIDIA MLPerf ??
- NGC ????: NVIDIA MLPerf ??
- SDK: Llama3 70B Instruct NIM
- SDK: Llama3 8B Instruct NIM
