?? ??? ??? ?? ?? ?? ?? ????

?? ?? ??(LLM)? ??? ?? ????? ??? ??? ??? ??? ??? ??? ? ?? ???????. LLM? ??, ??, ????, ??? ???, ??? ???? ???? ?? ??? ???? ???? ???? ?? ??? ??? ??? ? ????.

LLM? ????? ????? ????? ??? ???? ??? ??? ?????. ??? ??? ??? ??? ?? ????? ????? ??? ?? ? ?? ??? ???? ? ??? ?? ??? ?? ??? ???? ?????. ????? ?????? ??? ??? ???? ??? ???? ??? ???? ? ??? ???. ?? ??? ?? ??? ?, ? ???? ???? ???? ?? ? ? ??? ??? ?? ??? ?????.

?????? ?????? ? ??????? LLM? ????? ????? ?? ??, ??? ??, ??? ? ??? ?? ?? ??? ???? ???. ? ?????? ??? ?? ?????? LLM ??? ?????:

1. ???? LLM? ???? ??
2. LLM? ??, ??? ?? ?? ???? ??
3. ????? ???? ????
4. ??? ?? ?? ????
5. LLM? ?? ???? ????
6. LLM? ?? ? ?? ??
7. ???? ???? LLM ?? ?????
8. LLM ?? ????

??? ?? ??? ????? ??? ????, ??? ?? LLM? ???? ???? ?? ??? ????, ??? ????? ??? ?????.

???? LLM? ???? ??

LLM? ??? ??? ???? ?? ??? ???? ??? ? ?? ??? ???? ????? ??, ??, ??, ??, ???? ?? ?? ??? ?? ??? ???????? ?????. ?? ??, ???? ?? ??? ????, ???? ??? ????, ?? ?? ??? ???? ??? ?? ?????? ???? ?? LLM? ???? ????.

?? LLM? ??? ?? ??? ?? AI? ??? ??? ??, ??? ? ???? ??? ??? ??? ? ?? ???? ??? ????. ?? ? ?? ?? ???? ???? ??? ?? ??? ???? ???? ? ??? ? ? ????. LLM? ??? ?? ??, ??? ??, ?? ??, ??? ?? ?? ??? ?? ?????.

ServiceNow? NVIDIA? ??? ??? ??? ???? ???? ???? ??? ???? ???? ????? ? ??? ? ????. ?? ?? ?? ??? AI ?? ???? ??? ??? ???? ?? ??? ???? ??? ?? ?? ? ???? ??, ?? ?? ??, ?? ?? ?? ??, ?? ??? ??? AI? ???? ? ?? ????.

???? ? ????? NVIDIA NeMo Megatron? ?? ??? ?? ??? ?? ???, ?? ??? ??? ?? ???? ??? ? ??? ??? ?????. ? ?? ????, ????, ?????, ????? ?????? ? ??? ??? ?? ??? ?? ??? ??? ? ?? ?? 1750? ?? ????? LLM? ???? ?? ??? ?? ????.

? ????? ?? 200???? ?? ?? ??? ???? ???? ??? ??? ??? ??? ???? ?????. ??? ??? The King’s Swedish? ?????: ??????? ??? ?? ?? ????.

??? ???? ??? ???? KT? NVIDIA DGX SuperPOD ???? NVIDIA NeMo ?????? ???? 10? ?? ????? ?? LLM? ??????. NeMo? ????? ???? ???? ?????? ??????, ??? LLM? ??, ???? ? ???? ?? ?? ??? ?? ??? ?????.

KT? LLM? ?? ??? ???? TV? ????, ??? ?? ??? ????, ?? ? ????? ??? ??? ? ?? ???? ??? ????(GiGA Genie)? ???? ??? ? ???????. ??? ??? ??? ?? ??: KT, ??? ???? ?? ???? NVIDIA AI ??? ????? ?????.

?? ???

• ?? ?? ???? ??? ??????
• NYU? NVIDIA, ?? ??? ??? ?? ??? ?? ?? ?? ??
• ???? “Writer”, NVIDIA NeMo? ??? AI ?? ?? ??

LLM? ??, ?????? ?? ???????

??? ?? LLM? ?????, ?? ??? LLM? ?????????, ???? ??? LLM? ??? ? ????. ?? LLM? ???? ??? ?? ???? ???? ?? ? ???, ?? ??? LLM? ??? ???? ?? ??? ?? ??? ???? ???? ??? ??? ? ????. ???? LLM? ???? ???? ?? ????? ??? ?? ??? ???? ?????.

NeMo? ?? ?? ??? ?? ??? ??? ? ???, ?? GPU ? ?? ?? ??? ?? ?? ? ??? ??????? ??? ???? ???? ? ????? ????. ??? ??? NVIDIA NeMo? ??????? LLM? ?? ????? ?????.

NeMo? ???? ??? AI ??? ?? ?? ????? ??? ??? ? ??? ?????. ? ???? ?? ?? ?????? ??? ? ???, ?? ????? A3 ????? ??? NVIDIA H100 Tensor ?? GPU? ?? ???? LLM? ??, ?????? ? ??? ? ????. ??? ??? GPU ?? Google Cloud?? NVIDIA NeMo? ??? AI ?? ???? ?????.

???? ?? ?????? ?? ?????? ?? ?? 2? ?? ??? AI ??? ??? ??? ??? NVIDIA AI Playground? ?????.

?? ???

• ?? ?? ?? ??
• NVIDIA NeMo? ??????? LLM? ?? ????
• NVIDIA AI ???????

????? ??? ????

????? ??? ?? ?? ??? ?? ??? ?? ???? ???? ?? ???? ??? ??? AI ?????. ?? ?? Llama 2, GPT-3, Stable Diffusion ?? ????.

? ???? ??? ??, ??? ??, ?? ?? ? ??? ??? ??? ???? ??? ? ????.

??? ????? ??? ?? ????? ??? ?? ??? ???? ?? ??????. ??? ???? ???? ??? ???? ???? ????? ??? ????? ?? ?? ??? ?? ?? ???? ????? ???? ??? ?? ? ????.

????? ??? ??? ?? ? ?? ?? ??? ?? ?? ??? ??? ?? ?? ???? ?? ??? ???? ?????? ?? ?????? ??? ?? ??? ??? ?????. ????? ??? ???? ??? ?? ?????. ??? ?? ??? ??? ??? ????? ??? ??? ????? ? ??? ? ?? ??? ??? ????.

NeMo? NVIDIA?? ??? ????? ???? ??? Llama 2, Falcon LLM, MPT? ?? ???? ??? ?????. NVIDIA AI Playground?? ?????? ?? ???? ??? ???? ? NVIDIA? ??? ????? ??? ??? ??? ? ????. ?? ?? ???? ?????? ???? ???? ????? ??? ??? ??? ? ????. ? ?? ???? ? ???? ?? ???? ?? ??? ?? ? ????.

?? ???

• ????? ?????
• ?? ???: ?????? ???? ? ????? ??? ?? ??
• NVIDIA AI Playground

??? ?? ?? ??

??? ?? ?? ??? ??? ??? ?? ?? ?? ??? ???? ?? ??? ??? ??? ??? ????. ??? LLM? ???? ?? ?? ?? ?? ???? ??? ???? ?? ????? ???? ???? ??? ? ????. ?? ?? ??? ??? ???? ???? ???? ???? ???, ????? ?????, ?? ??? ????? ????, ??? ??? ??? ???? ????? ???? ?? ??? ??? ? ????.

NVIDIA NeMo? ?????, ?? ?? ???? ??? ???? ?? NVIDIA DGX ?????? ??? LLM? ???? ???? ?? ?? ??? ???? ??? ????????. ???? ???? ???? ????? ???? ?? ??, ?? ???? ?? ?? ??(RLHF)? ??? ??? ?????? ??? ???? ????. ??, NVIDIA? ?? ?? ??? ? ?? ??? ??? ?????? ??? SteerLM? ??????.

LLM? ??? ?? ?? “??? ??, ??? ??(garbage in, garbage out.)”? ? ??? ????. ???? ??? LLM? ????? ??? ???? ? ??? ???? ???? ?????? ? ?????.

NeMo ??? ????? ?? ??? ??? ???? ???, LLM? ?? ??? ?? ? ??? ??? ??? ??? ????? ? ????. ? ??? ???? ??? ??? ????? ??? ?? ?? ?? ??? ?? ??? ??? ? ???? ??? ??? ?? ??? ???? ? ?? ?? ??? ?? ??? ? ????.

?? ???

• NVIDIA NeMo
• NVIDIA DGX ????
• ?? ?? ?? ?????? ?? ????
• ?? ?? ??? ??? ??????? ? ??? ?? NVIDIA NeMo SteerLM
• ? ?? ??? ?? ????: NVIDIA NeMo ??? ???? ??

LLM? ?? ???? ??

LLM? ?? ?????? ??? ??? ???? ??? ?????. ?? ?? LLM? ? ??? ??? ???? ????? ??? ?? ??? ???? ??? ? ????

?? ?? ??(RAG)? ??, ??, ????? ??? ??? ????? ???? ??? ??? ??? ? ?? ??? LLM? ???? ???????. RAG? ???? ?? ??? ??? ??? ??? ???? ??? ???? ?? ??????? ???? ?? ??? ??? ??? ? ????.

RAG? ?? ? ??? ??? ??? ?? ??? ???? ??? ?? ????? ??? ? ?? AI ?? ??????? ??? ? ?? ????. ?? ?? ???? LLM? ?????? AI? ???? ??? AI ???? ?? ??? ?? ? ?????.

?? ???

?? ?? ???: RAPIDS RAFT? ?? GPU ?? ??? ????

LLM? ?? ? ?? ??

LLM? ??? ??? ??? ????? ??? ?????? ????, ??? ??????, ??? ?? ??? ???? ?? ?????. ???? ??? ??? ????, ?? ???? ??? ????, ?? ??? ???? ?? ??? ??? ????? ???? ?? ????, ?? ???? ??? ?? ?????. ??? ??? ??? ? ?? ???? ??? ??? ??? ?? ?? ?? ???? ???? NVIDIA? ?????.

??? ?? ??? ???? ?? NVIDIA? ???? ??? AI ??????? ???, ??? ? ???? ???? ? ??? ?? ?? ?? ??? NeMo Guardrails? ??????. ? ??? ???? ?? ??? ???? ???? ??? ? ?? LLM ?? ???? ?? ?? ??? ? ??? OpenAI? ChatGPT? ??? ?? LLM? ?? ???? ?????? ?????.

LLM? ???? ???? ?? ??? AI ?? ???????? ?? ?????. ??, NVIDIA? AI ????? ?? ???? H100 Tensor ?? GPU? ?? ?? ???? ?? ???? ????? ??? ???? ???? ?? ??? ???? ???? ???(Confidential Computing)? ??????. ? ??? ???? ?? ??? ??? ???? ???? ??? ? ????.

?? ???

• ??? ? ?? ???? ??? ??? ??? ?? ?? ?? ???? ???? NVIDIA
• ?? ???? – ???? AI ??? ????? ??? ? ??? ???? NVIDIA ?? ?? ?????
• NVIDIA Hopper H100? ???? ???

???? ???? LLM ?? ???

LLM ?? ????? ?? ???, ???? ???, ???? ?? ??? ?? ??? ?????. ?? ???? ??? ??? ????? ???, ???? ???? GPU? ?? ?? ????? ???? ?? ??? ????. ???? ?? ??? ???? ???? ???? ???? ?????.

NVIDIA TensorRT-LLM? NVIDIA ?? ????? ??? LLM ??? ???? ?? ?? ????? ????????. ?? ?? ???? ?? ???? ??? FP8 ???? ???? ??? ????? NVIDIA H100 GPU? ???? FP8 ??? ??? ? ????. TensorRT-LLM? ?? ??? NVIDIA A100 GPU? ?? 4.6? ???? ? ????. ?? LLM? ? ??? ????? ??? ? ?? ??? ???? ???? ?? ???? ????.

??? ??? ??? AI ?????? ??, ?????, ?? ?? ???? ??? ?????. ??? ?? ? ???? ?? ????? ?? ????? ???? ? ?? ??? ???? ?????. ?? ?? ??? ????? ???? ????? ?? ????? ?? ???? ??? ?? ??? ? ????.

NVIDIA AI Workbench? ???, ??, ??? ? ??? ?? ??? ???? ?? ?? ???? ???? ? ????? ????? ? ??? ???. ?? ?? ???? ??? ??? ??? ?? ?? ????? ?? ??? ??? AI ??? ??? ??? ? ????.

NVIDIA? VMware? VMware Cloud Foundation? ??? ?? ?????? ???? ?? ??????? AI? ???? ?? ???? ????. VMware ??? NVIDIA AI ?????? ???? NVIDIA? ??? GPU ? ??? ?? ??(DPU)? ???? NVIDIA ?? ????? ?? ?????? ??????? ?? ????? ???? ????? ???? ??? ? ????.

?? ???

• ?? ?? ???? ???? NVIDIA TensorRT-LLM? ?? ??? ?? ?? ?? ???
• NVIDIA AI Workbench? ?? ?? ??? ??? AI ??? ??? ?? ? ??
• VMware ? NVIDIA? ?? ????? ???

LLM ????

LLM? ????? ??, ??, ???? ??? ??? ? ???? ??? ?? ??? ???? ???. ??? ???? ???? ?? ??? ???? ???? ???? ??? ???? ?? ???? ??? ?? ??? ???? ? ??? ???? ???? ???. ?? ??? ?? ???? ?? ?? ?? ? ?? ?? ??? ?? ??? ?????? ???? ?? ?????.

??? AI ?? ?? ?? ????? ?? AI ?? ??? ???? ?? ?? ??? ?? ??? ???? ???? ??? ?????. ? ?? ????? ???? ??? ???? ??? ????????, ?? ??????? ???? ????, ?? ?? ??? ???? ??? ??? ?? ??? ?????.

?? ?? ???? ? ????? ????? ??? ? ?? NVIDIA AI ??????? NeMo ?????, ?? ??? ??, ???? GPU ???? ???? ?? ?? ? 50? ??? ?????? ???? ???? ???? AI ? ??? ?? ????? ??????. ? ????? ??????? ????? ???? 90? ?? ????? ??? ? ? ????.

NeMo? ???? ??? ?? ????? ???? ??? AI ??? ??, ??? ?? ? ??? ? ?? ????? ???? ???? ?????? ????????. ? ?????? ?? GPU ? ?? ?? ???? ??? ???? ???? ? ????? ????. ? ?????? ???? ???? ??? AI ??? ?? ?? ????? ??? ??? ? ????. ????? NeMo ????? ?????.

NVIDIA ??? ???? ?? ?? ???? ??? ???? ??? ?? ??? ?? ??? ???? ?? ??? ??? ? ??? ?????. NVIDIA ??? ???? ??? LLM ?? ??? ????? ????? ? IT ?? ?? ??? ???? ?? ??? ????? ?????. NVIDIA ?? ?????? ??? ?? ??? ???? ?? ?? ???? ??? ?????.

?? ???

• ??? AI ?? ?? ??
• ?? ?? ?? ??? ?? AI ??
• NVIDIA AI ?????? ?? ???
• NVIDIA NeMo ????
• NVIDIA ??

??

??? AI ??? ???? ?? ???? ?? LLM? ???? ? ?? ??? ?? ??? ???? ?? ??????. ????? ??? ?? ????? ??? ???? ? ??? ???. ?? ??? ??? ???? ???? ????? ?? ? ???? ??? ???????? ???? ?? ??? ???? ??? ??? ? ????.

?? ???

• GTC ??: ??? ??? ?? ??? ?? ?? ????
• GTC ??: ?????? ?? ??? ?? ??? AI ?? ??
• GTC ??: ??? ?? ??? ?: ?? ??? ?? ???
• SDK: NeMo Megatron
• ???: ??? ?? ?? ????
• ???: AI ?? ??? AI? ?? ??? ? ??