??? AI? ?? ??? ??? ? ?? ???? ??? ????. ?? ????? ?? ?? ?? ?? (LLM)? ???? ??? ?? ??? ????, ????, ???? ????. ?? ?? ?? (RAG)? LLM? ???? ???? ??? ??? ??? ???? ? ?? ???? LLM? ???? ?????.
?? ?? ???? RAG? ?? ???? ????? ????? ???? ???? ????? ?? ??? ???? ??????. ???? ??? ??? AI ?? ??? ?? ?? ???? ?????, ? ? 90%? ??? ?? ?? ?? ??? ???? ?? ??? ?????. ??? RAG ???? ?? ???? ??? ???? ???? ???? ???? ?? ??? ??? ?????.
? ?????? NVIDIA AI? RAG ??????? ????? ?????? ???? 4?? ??? ??? ????? ?????.
??????? RAG ????? ??
???? ?? ?????? RAG ?????? ?? ? ???? ?? ?? ???? ????.
IT ???? LLM ??, ???, ??? ? ??? ????? ??? ??? ?????. ?????? ???? LLM ???? LLM ????? ?????? ???? ???? ???? ?? ? ????. ?? ?? ?? ??? ??? ??? ?? ??? LLM ??? RAG ??? ????? ?? ??? ???? ????.
???? RAG ?? ? ??? ????? ?? ??
NVIDIA? ???? ???? ????? RAG ??????? ?? ???? ????? ???? ??? ???? ??? ? ??? ?????. ? ???? ????? ?? ?? ?? ?? ?????? NVIDIA ???? ??? ??? ???????. ???? ??? ?? ?? ???? ???? ? ?? ??? ????.
- ??, ??? ??? ?? ??? ?? ???? ????? ??? ? ????.
- ??, ?????? ? ???? ?? ? ?? ?? ?? ?? ??? ??? ? ????. ??? ??? ?? ??? ??? ?? ??? ???? ????? ??? ???? ???? ?? ? ????.
- ?????, ??? ????? ?????? ? ???? ??, ??, ?? ?? ??? ??????.
?? 1? RAG ?????? ???? ?? ?? ?? ??? ?????.
NVIDIA? RAG ?????? ??? ??? ?? ?? ?? ??, GPU ?? ???? ?? ?????.
?? ?? ????? ? ???? ?? ?? ??
NVIDIA? RAG ?????? ??? ???? ? ??? ?? ?? ?????? ?????. NVIDIA RAG ????? ??? ????? LangChain, LlamaIndex, Haystack ? ?? ?? ?? ?? LLM ????? ?????? NVIDIA ???? ?????? ???? ??? ?????. ??? ??? ????? ?? ?????? ???? ?? ?? ??? ???? ?? ? ?????? ? ?? ??? ?? ?? ? ????.
?? ? ????? ??, ????? ??? ? ??? ??? ?? ?? ?? ?? ?? ???? ??? ?????? 2?? ????? ??? ?? ?? ?? ????? ??? ? ????.
??? ??? ??? ?? GPU ?? ????
LLM ?? ?????? RAG ??????? ?? ??? ??? ???? ???. CPU ?? ???? ?????? ???? ??? ?? ??? ??? ? ????. NVIDIA API ?????? GPU ???? ??? ?? ? ?? RAG ?????? ?? ??? ???? ????? ???? ????.
- NVIDIA NIM? LLM ??? ?? ?? ??? ??? ??? ?????.
- NVIDIA NeMo Retriever? RAG ?????? ??? ?? ???, ?? ? ?? ??? ????? ??????.
- NVIDIA RAPIDS? ?????? ???? ?? ??? ???? ??????? ?? ? ???? ??????.
???? ??, ?? ? ??? ?? ??
RAG ??????? ??? ?? ???? ???, ???, ??? ? ??? ????? ???? ??? ??? ?? ?????? ??? ???? ????. NVIDIA AI ?????? ??? ??? ?? ??? ???? ?? RAG ?????? ???? ??? ??????.
- NVIDIA Riva? ?? ??? ???? RAG ?????? ?? ??? ? ??? GPU ?? ??? ?? ??, ?? ??? ?? ? ?? ?????? ?????.
- NVIDIA RAPIDS? LLM ????? ?? ???? ??? GPU ??? ? ????. ?? ??, LLM ????? ???? ???? ?? ?? ??? ???? ?? RAPIDS cuDF? ??? ? ????.
- NVIDIA Morpheus? ??? ?? ?????? ???? ????? ????? ???? ? ??? ? ????.
- NVIDIA Metropolis? NVIDIA Holoscan? RAG ?????? ??? ? ?? ?? ??? ?????.
?????? ???? ??? AI ????? ?? ??? ????? ???? ?? NVIDIA AI Enterprise? ??? ? ????. NVIDIA AI Enterprise? ??????? ??? AI ??????? ?? ?? ??? ???? ???? ?????.
RAG ?? ????? ?????? ???? 4??
???? RAG ??????? ????? ?? ????? ?? ??? ?????.
- ??? ??????? LLM? ??? ???? ?????.
- ?????? AI ???? RAG ??????? ??, ??? ? ?????.
- ??? ????? ??? ? ??? ?? ?????? ???? ???? ?????.
- MLOps, DevOps ? SRE(??? ??? ????)? ???? ???? ???? ?? ?????.
NVIDIA AI? ?????? ????? ???? RAG ?????? ??, ?? ? ??? ?? ??? ?????. ?? 2? RAG ??????? ?? ???? ???? ??? ???? 4??? ?????.
1??. NVIDIA API ?????? LLM ????
NVIDIA GPU?? ???? ?? ?? ?? ? ?? ??? ????? ?? NVIDIA API ????? ?????. ???? ??? ?????? ?? ??? ?? ???? ??? ??? ??? API ??? ? ? ????. API ??? Python, Go ?? TypeScript ?? ??? ?? ? ????? ??? ? ????.
2??. ??? ???????? ????
???? ??? NVIDIA NIM?? ?????. NIM? ??? AI? ??? ?????? ??? ???? ?? ?? ??? ??????????. ???????? ?? ?? ????? ??? ???? ????? ????? Helm? ?? Kubernetes ????? ??? ? ????. ??? ????? ?? ??? ?? ??? ?? ?? ?? ??? ?? ?? ??? ???? ?????? ??? ??? ? ????.
3??. ?? RAG ?????? ??
?? ??? ??? ??? ?, NVIDIA ??? AI ??? ???? ?? RAG ??????? ?????. ? ????? NVIDIA ???????? ?? ?? ?? ?? LLM ????? ?????? ???? ????? RAG ?????? ???? ??? ?????. ??? ??????? ??? ??? ???? ??????? ??? ???? ???? ??? ? ????. ?? NVIDIA AI ?????? ??? ??? AI ??? ??? ?? ??? ??? ??? ? ??? ???? NVIDIA AI ?????? ???? ? ????.
4??. RAG ?????? ????? ??
??????? ??? ?, MLOps ???? NVIDIA RAG LLM ?????? ???? ??? ?? ???? ??????? ??????? ??? ? ????. ?? ?? ???? ???? RAG LLM ?????? ???? ?????? ??? ?? ???? ??? RAG ??????? Kubernetes ????? ??? ?? ??? ? ????.
RAG LLM ???? Kubernetes?? NVIDIA GPU? ??? ??? ????? ?? ?? ??? ?????? NVIDIA GPU Operator ??? ?????. ?? ?? ??? ???? ??? RAG ?????? ??? ??, ?? ? ??? ???? ???.
???? ????? ???? RAG ?????
???? RAG ???? ??? ???, ?? ???? ? ?? ??, ???? ????? ???? ???? ?? ? ????.
NVIDIA? RAG ?????? ???? ??? ?????? ????? ??? ?????. NVIDIA CVE ?? ??? NVIDIA NIM, NeMo Retriever, Morpheus ??? ?? AI ?????? ???? NGC ?????? ???? ??? ? ??(CVE)? ???? ?????. NGC ???? ?????? ??? ?? ????? ???? ???? ? ??? ???? ????? ?? ??? ?? ? ?? ?? ?????.
Deepset, Sandia ?? ???, Infosys, Quantiphi, Slalom, Wipro ? ??? ???? ?????? ???? ??? ??? ???? NVIDIA ??? AI? ?? ??? ????? ???? ????.
Haystack? ??? Haystack2.0? NVIDIA NIM ? NeMo Retriever? ??? ??? GPU ?? LLM? ????? ???? RAG ??????? ??? ??????? ????? ????.
Sandia ?? ???? NVIDIA? ???? ??? ?????? ??? ????? ????? ?? ??? ??? AI ?? ???? ?? ???? ????.
Infosys? ??? ?? ???? ??????? RAG ??????? ???? ?? Infosys Topaz? ??? Infosys ??? AI? NVIDIA NeMo? ???? ??? ??? ??????. ??? ??????? ????? ???? ??? ????? 100,000? ??? ?? ?? ???? ????? ?? ??? ??? ?? ??? ?? ??? ???? ??? ?????.
Quantiphi? NVIDIA ???? ??? AI? ???? ??? ?? ?? ?? ????? ????? ???? ?? ?? ? ??? ??? ?? ?? ???? ????? ???? ??? ??? ? ?? RAG ?? ???? ?????.
Slalom? ??? ???? ??? ?? AI ??? ???? ??? ?????? ?? ??, ??, ???? ? ??? AI? RAG? ???? ???? ??? ???? ????.
Wipro? ??? AI ??? ???? ?? ??? ?? ??? ??? ?? ???? ??? ??? ??? ?? ?? ??? ??? ? ??? ???? ????.
????
??? ???? ??? ???? ?? ???? ???? ?? ??? AI? ???? ??? ?? ? ???? ????. ?? ?? ??? ??? AI? ?? ??? ???? ????. ??? NVIDIA AI Enterprise? ???? ??, ?? ? ???? ???? RAG ??????? ????? ?????? ??? ? ????. ?? NVIDIA AI? ??????? ??? ??? ???? LLM ?????? ??? ? ?? ???? ???? ??? ? ????.
?? ??? ???? ???? ??? ???? ???? ??? ? ?? ?? ??? ????? NVIDIA ??? AI ??? ?????.
RAG ?????? ??? ?? ?? ??? ?? ??? ?? ????? 3? 18??? 21??? ??? NVIDIA GTC 2024? ?? ?? ?? ???? ??? ???. RAG ??? ??? ???? ?? ?? ?????? ?? RAG ?? ??????? ???? ??? ?????.
?? ???
- GTC ??: RAG ?????? ??? ???? ??
- GTC ??: ??? AI ??: RAG? ????? ?? ?? ??
- GTC ??: Snowflake Cortex? RAG?? Rich ???(Snowflake ??)
- NGC ????: ?? ??
- SDK: MONAI ?? ????? ???
- ???: RAG? ???? ??? AI ?? ????
