NVIDIA AI Blueprint? ??? ?? ? ?? ???? ????

Reading Time: 6 minutes

? ???? 2024? 7? 29?? ?? ??????, ?? NVIDIA AI Blueprint ??? ???? ???????.

?? ??? ?? ??????? ?? ?????? ?? ??? ???? ????? ??? ??? ??? ??? ??? ?? ??????.

?? ??? AI, NVIDIA NIM ???????, ????? ??? ???? ? ?? ??? ??? ??? ???? ??? ????? ???? ??????? ??? ? ????.

?? ??? ??? AI ??? ?? ?? ??(VLM)? ??? ????? ???? ??? ??? ?? ? ?? ?? AI ????? ?????. VLM, LLM, ?? ???-RAG ??? ???? ? ??? ???? ??? ? ?? ??? ?? AI ????? ?? ? ????.

??? ??? AI ????? ??, ??, ???, ??, ??? ?? ??? ????, ???? ????? ?? ??? ?? ??? ??? ????? ? ?? ?? ??? ?? ? ????.

? ?????? NVIDIA AI Blueprint? ??? ??? ?? ? ?? ??? ????, ? ??? ???? ???? AI ????? ??? ???? ??? ?????. ? ??? AI Blueprint? ?? ?? ??? ??? ?????.

??? ?? ? ??? NVIDIA AI Blueprint ??

??? 1. ?? ?? ??? ???? ?? AI ???? ????

NVIDIA AI Blueprint? NVIDIA NIM? ???? ??, ??? AI? ??? ?? ??? ?? ?? ????????. NVIDIA NIM? ?? ?? API, ???? ??, ???? ?? ??, ??????? ???? ??? ??????? ???, ??? ? ????? ???? ????? ???? ??? ????? ??? ? ?? ??? AI ????? ???? ? ??? ??? VLM? ?????.

??? ??? ?? ? ??? AI Blueprint? VLM, LLM, ?? RAG ??? ??? ? ??? ???? ????? ???? ??? ????, ??? AI ???? ??? ??? ????.

????? ????? ? ??? ??? ??, ??? ?? ??? Q&A, ?? ??? ??? ?? ??? ??? ?? ?? ?? ??? ???? REST API ??? ???? ????. ? REST API? ????? ?? ??????? ??? ? ??? ? ???, ?? ???? ?? ?? UI??? ??? ? ????.

Blueprint? ??? ??? ?? ??? API? ???? ??? NIM ???????? NVIDIA API ?????? ??? ? ????. ?? ??, NVIDIA?? ???? llama-3_1-70b-instruct NIM ???????? NVIDIA NeMo ????, CA-RAG, Graph-RAG ??? ?? AI Blueprint? LLM?? ?????. ? API ??????? NVIDIA ??? ? ?? ?? ??? ??? ??? LLM? VLM? ??? ? ????.

??? ?? ? ??? ??? AI ????

? ??? ???? ??? ? ?? ??? AI ????? ????? ??????? ?? VLM? LLM? ???? ???. ? Blueprint? ??? ?? ?? ??? ???? ??? ???? ????? ??, Q&A, ??? ?? ? ?? ??? ??? ? ?? ?? ???? GPU ???? ??? ?? ????? ???? ??? ?????.

Blueprint? ?? ?? ??? ??? ????:

??? ???(Stream handler): NeMo ????, CA-RAG, VLM ?????, ??, Milvus ?? DB ? ??? ?? ???? ??? ? ????? ?????.
NeMo ????(NeMo Guardrails): ???? ?? ??? ????? ??????. REST API? ?? LLM NIM ???????? ?????.
VLM ?????: ??? ????? ??? ??? ??? ???? NVIDIA TensorRT ?? ??? ??? ??? ???? ????, VLM? ??? ??? ??? ?? ??? ??? ?????. NVIDIA DeepStream SDK? ???? ???.
VectorDB: ??? ?? VLM ??? ?????.
CA-RAG ??: ??? VLM ???? ??? ??? ??? ??? ??? ?????. CA-RAG? LLM NIM ???????? REST API? ?????.
???-RAG ??(Graph-RAG module): ???? ??? ??? ??? ??? ??????? ??? ??? ???? ??? Q&A? ?? LLM ??? ?????.

? Blueprint? ??? ??? ?? ?????, ? ??? ???? ??? ????? ??, Q&A, ??? ???? ???? ??? ?????.

??? ??

???? ????? Q&A? ????? ?? ??? ??? ???? ???? ??? ??? ???? ???. ?? ?? VLM? LLM? ???? ??? ?? ??? ?????? ???? ???? ?? ???? ?????. ? ??? ?? ?????? GPU ??? ?? ?? ??? ???? ?? ? ?? GPU? ??? ? ????.

VLM ?????? CA-RAG

??? ???? VLM? 8/10/100? ?? ??? ?? ???? ?????. ?? ? ???? ?? ??? ???? ??? ? ????. 1?? ??? ???? ?? ? ???? ?? ???? ??? ??? 10? ?? ? ??? ? ????. ?? ?? ?? ?? ??? ???? ??? ???? ?? ? ????.

? ??? ?? ???? ? ????? ?? ??? ???, VLM? ???? ??? ????? ???? ???? ?? ??? ??? ??, ??? ?? ? ???? ?? ??? ?? ?? ??? ???? ????. ?? ????? ? ??? ?? VLM ?????? CA-RAG ?????.

??? ?? ? ??(??) ??? ????? ??? ? ????. Blueprint?? RTSP ???? ???? ???? ???? ???? ?????? ???? ????. NVIDIA AI Blueprint? ???? ??? ?? ??? ?? ??? ?? ????? ????? ?????. ?? ?? VLM ?????? ??? ??? ?? ??? ?????.
NVIDIA AI Blueprint? VLM ??????? ??? ?? ?????. ???? ??? ?? ??? ?? ??? ??? ???? ??? ??? ?? ? ??? ?? CA-RAG? ?????.Blueprint? ?? ??? ?? ?????. ??? HTTP ???? ??? ???? ???? ?????? ???????.

?? ??? ? Graph-RAG ??

VLM?? ??? ??? ??? ???? ?? ??? ?? ?? ?? ???? ???? ?????. LLM? ???? ??, ?? ? ?? ?? ???? ???? ?? ??? ?????. ? ?? ???? ??? ??????? ?????. LLM? ???-RAG ??? ???? ? ??? ????? ??, Q&A ? ??? ?? ?? ????? ???? VLM? ????? ??? ? ?? ??? ???? ? ????.

??? ??

???? ?????? CA-RAG ? Graph-RAG ??? ???????? ????? ??? ??, ??? ? ??? ?? ??? ?? ??? ?????. ? ??? ??, Q&A, ?? ? ?? ??? ?? LLM?? ???? ??? ? ????.

??? ? ??? ?? Blueprint? ??????? ???? ?? ??? ? ?? ??? REST API? ?????. ?? UI? ????? Blueprint? ??? ??? ???? ?? ?? ???? ????? ??? ? ????.

??

API? ?? ??? ??? ????? ????? summarize ?????? ???? ???? ??? ?????. Blueprint? ?? ??? ?? ?? ??? ????? ?? ??? ??? ?????.

summarize ??? ??? ? ??? ???? ? ???? ????? ????. ? ????? ?? ??? ???? ?? VLM ??? ?? ??? LLM ?? ?? ??? ?????.

????(VLM): ??? ?? ??? ???? ?? VLM? ???? ???????. ? ????? VLM? ?? ??? ??, ??? ? ??? ??? ???? ??? ??? ????? ??? ? ????.
?? ??(LLM): VLM ??? ???? ? ???? LLM ???????. ? ????? ??? ??? ?????, ??? ?? ?? ??? ???? ? ??? ? ????.
?? ??(LLM): ??? ??? ???? ?? ?? ??? ?????. ? ????? ?? ??, ??? ??, ??? ???? ?? ?? ?? ??? ????? ???? ???.

???? ?? ??? ???? ???? ??? ?? ??? ?? ???? ?? ?????. ??? ??? ?? ?? ???? ?? ????? ??? ?? ? ?? ?? ??? ????.

??? ??

chunk_duration: ?? ???? chunk_duration ?? ????? ???, ? ???? N(VLM? ?? ??) ???? ????? ??? ?? VLM?? ?????. ?? ?? ??? N ???? ???? ??? ? ?? ?? ??? ??? ???.
chunk_overlap: ?? ????? ???? ???? ???? ???? ?? ???? ???? ??? ??? ?? ???? ?? ? ????. NVIDIA AI Blueprint? ?? ? ?? ??? chunk_overlap? ???? ??? ???? ???? ? ??? ?????. (???: 0). ??? ??????: ??? ??? ????? ??? ???? ??? ?? chunk_duration? ????? ??? VLM?? ?????. chunk_overlap? N ???? ???? ??? ? ?? ??? ??? ???.

???

chunk_duration: ??? ??? ????? ??? ???? ??? ?? chunk_duration ????? ??? VLM?? ?????. ?? ?? ??? N ???? ???? ??? ? ?? ?? ??? ??? ???.

summary_duration: ???? ??? ??? ?????. ?? ?? ???? ??? ????? ?? ???? ??? ??? ? ????. ?? ??, chunk_duration? 1??? ?? ??? 30?? ??, ???? VLM ??? ?? 1? ??? ??? ????. 30?? ??? ??? 30? ??? ??? ??? ????? ?????.

?? ?????? ??? ?? ????? ?? ?? ??? ?? ???? ???.?? ???? ?? ??? ??????. ?? ??? ???? ??? ? ????? ???? ? ??? ? ?? ????.

Q&A

??? ?? ?? ??? ?? ???? LLM? ???? ???? ??? ?????? ??? ? ????. ?? ?? ???? ??? ???? ?? ??? ??? ?? ??? ??? ? ????. ?? UI?? ? ??? ???? ??? ?? ??? ? ????.

Q&A? ???? ? ???? LLM? ??? ???? ?? ? Blueprint ??? ?? ??? ? ????. ?? ??? ?? ??? ??? ????? ????? ??? LLM? ????? ??? ? ????.

???? ??? ??? ???? ?? LLM? ???? ????? ?? ???? ??? ???? ????? ?? ??? ? ????.

??

??? ?? ??? ??? ??? ???? ???? ?? ? ????. ??? ???? ?? ??? ??, ?? ???? ?? ????? ???? ??? ???? ?? ??? ??? ????. ?? ?? Blueprint??? ??? ???? ???? ?? ??? ???? ???? ????? ? ????. ??? ?? ??? ???? ?? ??? ??? ?? ???? ??? ? ??? ????? ? ?????.

?? ??, ?? ??? ???? ??? ??? ????? ??? ???? ?? ????? ?? ??? ??? ? ????. ???? ???? ?? ??? ???? ????? ???? ???????. ?? ?? ? ???? ???? ?? ???? API? ?? ??? ? ?? ??? ?????.

??? 2. ??? ?? ? ??? ??? AI ???? ????

????

??? ?? ? ??? NVIDIA AI Blueprint? ???? ??? VLM ?? AI ????? ?????. REST API? ???? ?? ?? ???????? ? ?????? VLM? ?? ??? ? ????. ?? AI Blueprint? ?? ?? ???? ???? ???? ??? ??? Visual AI ???? ??? ?????.