2022? 11? ChatGPT? ??? ??, ?? ?? ??(LLM)? ??? ??? ?????, ?? ??? ?? ?? ??????? ??????. ? ??? ??, LLM? ?? ??, ??, ??? ???? ?? ???????. ?? ??, ??? ??? ?? ??? ??? ?? ?? ???? ????? ??? ? ???, ?? ??? ?? ??? ??? ?? ?? ??? ??? ?? ???? ??? ? ?? ?? ??? ? ?????.
AI ???? MLOps ?? ??? ? ????? ??? ??? ??? ???, ??, ?? ?? ??? ??? ????. ?? ??? ??? ??? ???? ??? ??????, ???? ??? ??? ??? ??? ?? ? ????.
? ??? ???? ??, NVIDIA AI Blueprint for an LLM Router? ?? -LLM? ????? ???? ? ?? ????? ?? ???? ?????? ?????. ? ?????? NVIDIA ?? ? ?????? ???? ???? ????? ?? ??? LLM?? ???? ?????, ?????? ?? LLM ??? ??? ??? ?????.
LLM ???? ?? ??
- ?? ??: NVIDIA NIM ? ?? LLM? ??? ??? ?? ??? ??? ?? ??
- ???: Rust? ?????? NVIDIA Triton ?? ?? ????, ??? ?? ???? ??? ?? ??? ?? ??
- OpenAI API ??: ?? OpenAI API ?? ???????? ?? ?? ??
- ???: ?? ??? ??? ???? ???, ???? ??? ?? fine-tuning ??
LLM ???(Router)? ?? AI Blueprint? ???? ???? ???? ??? ??? ?? ??? ?? ????, ??? ?? ??? ??, ????? ???????? ??? ?? ??? ?????. ?? ?? ??? ??? ?? ?? ???? ?? ???? ??? AI ?????? ??? ? ????. ? ?????? LLM ???? ???? ???? ??? ??? ??? ???? ?? LLM ???? ???? ??? ?????.
?? ??
LLM ???? ????? ???? ?? ?? ??? ????? ?????:
- ?? ??: Linux(Ubuntu 22.04 ??)
- ????: 4GB ???? ?? NVIDIA V100 GPU(?? ?? ??)
- ?????
- CUDA ? NVIDIA ???? ??
- Docker ? Docker Compose
- Python
- API ?(LLM? NIM ???? ??? – ?? 1 ? 2 ??):
- NVIDIA NGC API ?
- NVIDIA API ???? ?
LLM ??? ?? ? ?? ??
LLM ??? ??
Blueprint notebook? ?? ??? ???? ???? Docker Compose? ???? LLM ??? ???? ?????.
??? ?? ???
?? Python ?? ?? ?? ? ??????? ???? LLM ???? ?????. LLM ???? ??? ??? ??? ???? ??? ?????:
- LLM ???? ??? ???? ????? ?????.
- LLM ???? ??? ????? ?? ??? ?????.
- ??? ??? ?????.
- LLM ???? ??? ?? LLM? ????(payload)? ?????.
- LLM ???? LLM? ??? ????? ?? ??????.
? 1? ???? ???? ??? ??? ????? ????? ??? ?????.
| ?? ???? | ?? | ??? ?? |
| “Help me write a python function to load salesforce data into my warehouse.” | Code Generation | Llama Nemotron Super 49B |
| “Tell me about your return policy.” | Open QA | Llama 3 70B |
| “Rewrite this user prompt to be better for an LLM agent. User prompt: What is the best coffee recipe?” | Rewrite | Llama 3 8B |
? 1. ???? ???? ??? ??? ????? ???? ??
?? ?? ??? ????? ???? ?? ???, ??? ??? ??? ??? ??? LLM?? ??????. ? LLM? ??? ?? ???, ?? ???? ????? ??? ? ??? ??????. ??, “??? ????? ?? ?????”? ?? ??? ??? ???? ??, ?? ?? ???? LLM??? ??? ??? ??? ?????.
??? ??? ??
Blueprint?? ???? ??? ?? ??? ??? ??? LLM? ???? ??? ? ????. ?? Blueprint?? ?? ???? ??? ??? ??? ??? ???? ???, ??? ?? ?? ??? fine-tuning?? ??? customization template notebooks? ??? ???? ????.
?? ????
Blueprint? ?? ??? ??? ???? ?? ???? ??? ? ????. ???? ?? ???? ????, ? ???? Grafana ????? ?? ????? ??? ? ????.
??? ??? ??
LLM ???? ?? ?? ? ??? ??? ?? ?? ?? ???? ??, ? ??? ?? ??? LLM? ???? ???? ?????. ?? ?? ??? ??? ??? ?? ??? ??????, ? ??? ???? ??? ? ????. ??? ?? ?? ???? ?????.
?? ???? 1:
“? ??? ??, ??, ???? ?? ?? ???? ?. ?? ? ?? ? ?? ??? ??? ? ??. ??? ??? ?? ??? ??? ??? ???? ??? ???? ???? ? ??. ??? ??? ? ?? ??? ?? ?? ?? ???? ??? ? ????”
??? ??? → ??? ???: ??
- ? ? ?? ????? ???? ??? ???? ??? ??? ???? ?? ??? ??? ?????.
- ? ??? ?? ??? ??? ????? ??? ?????.
?? ???? 2:
“??? ??? ???? ? ??? ?????? ??? ??? ??(?: FWGC-??)? ???? ????? ???? ??? ????? ???? ???? ?? ?? ?????? ?????.”
??? ??? → ??? ???: ??? ??
- ? ????? ??? ??? ??? ??? ??? ??? ??? ???? ?? ?? ??? ?????.
- ? ??? ?? ??? ???? ??? ???? ??? ?????? ?????.
- ? ??? ??? ???? ?? ?? ???? ????? ? ?? ??? ?????.
?? ???? 3:
“???? 2??? 4???? ???? ??-??? ??? ????? ??? ????? ????. ??? ?? ??? ??? ??? ?? ?? ???? ????.”
??? ??? → ??? ???: ?? ??
- ?? ???? ?? ?? ??? ??? ?? ???? ?? ??? ?????? ????.
- ? ??? ?? ??? ?? ????? ?? ?? ????? ???? ???? ??? ? ????.
- ? ??? ??? ?? ???? ?? ???? ??? ???? ?????.
?? ???? 4:
“?? ??? ???? ?? ?? ??? ??.”
??? ??? → ??? ???: ???
- ???? ???? ???? ??????? ??? ??? ?????.
- ??? ?? ?? ??? ??? ???? ?? ??? ??? ????? ?? ??? ??? ???? ??? ?? ???? ????? ???.
- ?? AI? ???? ????? ?? ??? ??? ??? ??? ? ?? ??? ?????.
?? ???? 5:
“?? ?? ??? ?? ???? ????.”
?? ??? → ??? ???: ??
- ??? ????? ?? ???? ?? ????? ???? ??? ??, ??? ???, ??? ??, ?????? ???? ??? ???? ???? ??? ??? ?? ?? ???? ?????.
- ?? ?? ??? ?????? ?? ??? ????? ?? ????? ???? LLM ???? ??? ?????.
?? ?? LLM? ?????? LLM ???? ??? ? ?? ?? ??? ??? ??? ? ??? ???.
????
NVIDIA AI Blueprint? ??? LLM ???? ????, ??? ? ??? ??? ??? ?? ???? ?????? ?? ??? ??? ?? ???? ?? ??? ???? ??? ? ????.
??, ?? ??? ?? ???? ??? ???? ?? ??? ??? ?? ??? ????? ??? ? ????.
LLM ???? ???? AI ?? ??? ?? ?? ??? ??? ? ????:
- ?? ??: ??? ??? ?? ??? ??? ???? ?? ??? ?????? ???? ?? ??? ?? ?? ? ????.
- ?? ???: ??? ??? ?? ??? ??? ?? ?????, ???? ?? ??? ?? ???? ? ????.
- ??? ???: ?? ??, ??? ??, ?? ? ?? ??? ??? ???? Blueprint? ??? ??? ??? ?? ???? ?? ? ??? ?????.
?? NVIDIA LaunchPad? ?? ? Blueprint? ?? ??????.
?? ?? ??? NVIDIA-AI-Blueprints/llm-router GitHub ??????? ???? ? ????.
??? ?? ??? ?? ??? ??? NVIDIA NeMo? ???? ???? ?? ? ??? ???? ?? ??? ?????? ????.
AI ????? ?? ? ??? ?? ?????? NVIDIA GTC 2025 ???? AI ??? ??? ???.
?? ??
- GTC ??: ??? ?? – ??? AI ??????? ???? ??? ?? LLM ?? ?????? ???
- GTC ??: LLM ????? ??? ??? ?? ?? ?? ??
- GTC ??: ??-GPU AI? ?? GPU ? ?? ?????, NCCL
- NGC ????: Mistral-Nemo-12B-Instruct
- SDK: Llama3 8B Instruct NIM
- ???: NVIDIA? ??? ?? ?? ?? ?? ???
