?? ?? ??(LLM)? ??? ???? ?????? ??? ????? ??? ????. ??? ??? ??? ???? ?? ??? ??? ????? ??? ??????? ???? ????. ??? ??? ??, ??? ??, ?? ??? ??, ???? ?? ??? ????? ????.
??? LLM ?? ??????? ?? ?????? ???? ????. ??? ??, ???, ???, ??? ?? ? Windows PC?? ??? LLM? ???? ??? ?? ? ?? ?? ??? ????.
CES 2024?? NVIDIA? Windows PC? NVIDIA RTX ????? LLM ?? ? ??? ???? ? ?? ? ?? ??? ??? ??????. ?? NVIDIA ????? ??? ??? ???? NVIDIA RTX AI ?? PC?? LLM ??????? ?? ? ??? ? ????.
???? ?? ? ???? ??? ??
NVIDIA? NVIDIA RTX ????? ??? ???? Llama2, Mistral-7B ? Code Llama? ?? Phi-2? ??? ?? ???? ??? ?? ???? ??? ??????. ??? ??? ????? ??? ???? ????, NVIDIA TensorRT-LLM ?? ???? ???? ?? ??? ??? ?????.
NVIDIA? ?? ?? ????? ???? LlamaIndex? ?? ?? ?????? ?????? ?? TensorRT-LLM? ???? ???? ??????. ? ???? Windows PC?? ????? ???? ?????? ?? ??? ?? ??? ??? ?????. ???? ???? LlamaIndex ?? ??? ?????.
?? ?? ? ?? ???? ???? ?? ?? Windows PC?? ?? ?? LLM ?????? ?? ?? ??? ? ??? TensorRT-LLM? OpenAI Chat API ??? ??????. ?? ?????? ??????? ?????, NVIDIA RTX? ??? ?? PC?? ??????? ?????, ?????? ?? ???? ??? ?????? ??? ?????? ??? ? ????.
??? ?? ??? ?? ??? ??? ? ?? ?? ?? ??? ?? ??????? ?? ?? ???? ? ????:
- ?? ?? ??(RAG) ????? NVIDIA RTX GPU? ??? Windows PC?? ???? ???? TensorRT-LLM ? LlamaIndex? ?????.
- ?? ?? continue.dev ????? ?? Windows PC?? ???? ???? ?????, OpenAI ?? API ??? ?? ? ??? ???? ????.
TensorRT-LLM ? LlamaIndex? ??? Windows? RAG
RAG ?????? Llama-2 13B ??, TensorRT-LLM, LlamaIndex, FAISS ?? ?? ?????? ???? ????. ?? ? ?? ???????? ???? ?? ??? ? ????. ?? 1? NVIDIA GeForce News? ??? ??? ??? ?????.

CodeLlama-13B? ??? PC? Continue.dev Visual Studio ?? ???
?? continue.dev ????? ?????? ChatGPT? ???? LLM ?? ?? ??? ????? ???????. ? ????? ????? Visual Studio Code ?? ?? ??? ?? ?????. ? ????? ? ? ?? ?? ????? TensorRT-LLM? OpenAI Chat API ??? ???? ?? NVIDIA RTX ?? PC?? ??? ???? Code Llama-13B ??? ?????. ?? ?? ?? ?? LLM ??? ?? ?? ??? ?????.
?? GitHub?? ? ???? ????? ??? ???.
???? LLM? ??? ?? ??
PC?? ??? LLM? ???? ? ?? ??? ????:
- ??: LLM ??? ?? ???? ??? API? ??? ??? ?? ????. ??? ???? ?? ???? ? ????.
- ?? ??: ???? ???? ??? ???? ??? ???? LLM ??? ??? ? ????.
- ??: ?? ??? ???? ??? ????, ?? ??? ???? ????? ?? ??? ????. ?? ???? ?? ??? ?? ??? ?? ??? ??? ? ????. NVIDIA RTX? ?? 1300 TOPS? ?? ?? PC ???? ?????.
- ??????: ?? ? ?? ???? ?? ??? ??? ? ????.
1? ? ??? ???? ??? NVIDIA RTX? ??? LLM ?? ??????? ?? ??? ??? ?? ??? ?????.
NVIDIA RTX? LLM? ?? ??? ?????
?? ?? ??? ???? NVIDIA RTX AI ?? PC?? LLM? ???? ??? ? ????:
- HuggingFace, NGC ? NVIDIA AI ??????? ?? ???? ??? ??????.
- NVIDIA NeMo ?????? ??? NVIDIA DGX Cloud? ??? ???? ??? ????? ?????????.
- TensorRT-LLM? ???? ??? ??? ? ????? NVIDIA RTX?? ??? ??? ?????.
? ?????? ????? PC ?? ???? ??????? ? ?? NVIDIA AI Workbench? ?? ?? ?? ?? ??? ?? NVIDIA AI ???? ?? ?????.
AI Workbench? ? ? ?? ????? GPU ?? ?? ?? ??? AI ????? ???? ???? ??????? ? ?? ??? ?????. ????? PC ?? ???????? ??? ??? ?? ?????, ??? ???? ?? NVIDIA DGX ???? ? ????? ?? ???? ??? ? ????. ?? ?? ??? ?? NVIDIA RTX ????? ?? ???? ?? ? ?? ??????? ?? TensorRT-LLM? ??? ? ????.
AI Workbench? ?? ? ?? ?? ???? ??? ?????.
????
?? ????? ?? ?? ??? ??????? ?? ?? ???? ??? ?????? ???? ?????? ???? ??????? ????? NVIDIA RTX? ??? Windows PC?? ??? ??? ? ????. ?? 1? ?? ??? NVIDIA RTX PC ?? ???? ???? ??????? LLM ??? ???? ??? ? ????.
?? LLM ?? ?????? ? ????? ???? ??? ?? ??? ??? NVIDIA RTX ????? Windows PC?? ??? AI ?? ????? ?????.
??? AI ?? Windows ? ?? ????? ?? ????? ?????? NVIDIA RTX ?? ??? AI ??? ????? ???? GeForce RTX 4090 GPU, GTC ???? ???? ??? ?? ?? ? ????.
?? ???
- GTC ??: ?? ?? ???????? ??? ?? ???????? NVIDIA GPU ????
- GTC ??: ??? ?? ? ?????? ??? ?? ? ??, LLM ? ??? ??
- GTC ??: NVIDIA GPU ?? ??????? ?? ??? ?? ???
- SDK: RTXMU
- SDK: TensorRT-ONNX ???
- ???: ?? ?? ?? ????