?? ???? ????? ????? ?? ??? ???? ???? ??? ????? ?? ???? ??? ?? ??? AI? ???? ????.
?? ? ??? ????? ???? ????? ? ???? ???? ???? ??? Amdocs? ????? ?? ???? ??? AI ???? amAIz? ????? ???? ?? ??????? ?? ?? ??(LLM)? ???? ?? ?????? ??????. Amdocs? NVIDIA DGX ???? ? NVIDIA AI Enterprise ?????? ???? ?? LLM? ??? ?? ??? ???? ? ???? ????, ??? ????? ??????? ??? AI ??????? ???? ??? ? ??? ?????.
?? Amdocs? ?? ??? ? ?? ??? ?? ???????? NVIDIA NIM? ???? ???, ? ???? ?????? ??? ?? ??? AI? ??? ?????? ??? ?? ?????. ? ??? ???????? ??? ???? ??? NVIDIA API ????? NVIDIA AI ????? ??? ??, ??? AI ??? ?????. NIM? ??? ???? ????? ?? ???? ?? ?? ???? ??? AI ??? ?? ??? ? ??? ???????.
?? ?? ?? ??
???? ????? ?? ??? ?? ?? ?? ? ???? ?????. ???? ??? ??? ??? ???, ???? ?? ?? ?? ??? ?? ??? ? ???? ??? ??? ?? ? ?? ??? ??? ??? ??? ?????.
Amdocs? ?? ??? ?? ????? ??? ??? ???? ??? ????? ?? ??? LLM ?? ???? ???? ????. ? ???? ?? ??? ???? ????? ?? ? ??? ??? ??? ? ??? ???? ? ? ??? ????.
?? 1? ??? ?? ? ??? ??? LLM ?? ??, ???? ??? ??? ??? ????? ???? ?? ????? ?????.
??? ?? ? ???
? ??? ???? ?? ?? ??? ?? ?? ? ????? ?? ?? ?? ??? ???? ???? ??? ? ??? ??? ??????. ??? ??? ??? ?? ?? ?? ??? ??? ???? ??? ?? ??? ??? ?? ????? ???? ????. ???? ???? ?? ??? ?????? ??? ?? ??? ??(?? ?? ??)?? ?????.
? 1? ??? ???? ?? ?????. ??? ?? ??? ??? ??? ??? ?? ??? ?? ?? ?? ??? ?????.
| ID | ?? ??? | ?? ID | ??? ?? ?? | ?? ??(‘???’) | ??? ?? ???? |
| id_1 | [‘id_12345.2310’, ‘id_12345.2311’] | id_12345 | ?? ??? ??? ??? ?? ??????. ? ?? ?? ????? ??? ??????? | ?? ??? 10?? $100.02??? ??? ???? ???? ??? ??? ?? 11?? $115.02? ??????. ????? ??? ???? 10?? -$75.00??? 11??? -$60.00? ??????. | ???? ??? |
? ???? Amdocs? ????? ????? ????? ???? ?? ??? OpenAI GPT-4 LLM? ??????. ?? ??, LLM? ???? ???? ??-?? ?? ?????, ?? ?? ??? ???? ?? ???? ???? ??????.
??? ?? ? ???? ?????
Amdocs? Llama2-7b-chat, Llama2-13b-chat, Mixtral-8x7b LLM? ???? ???? ?? ?? ? ??? Q&A ??? ?? ?? ??? ??? ??????. Amdocs? ?? ???(?? XML ??? 1~2?? ?? ??)? ??? ??? ?? ??? ???? ????? ???????.
?? LLM? ??? ?? ?? ??? ??? ?? ??? ?? ?? ????? ?? ??? ???? ??? ??? ??? ??? ??????. ?? ?? XML ???? LLM? ?? ??? ???? ??? ??? ??????. ? ??, Amdocs? ?? LLM(?: Llama2? 4K ??)? ?? ???? ?? ???? ?? ??? ? ??? ????? ???? ? ???? ?????.
???? ?? ??? ?? Amdocs? ????? ????? ?? ?? ??? ??? ? ??? ??????. ?? 2? Llama2 ?????? ???? ??? ??? ???? ?? ?? 3,909??? 1,153?? ??? ?? ?? ?? ?????.?
NVIDIA DGX ??????? LLM ?? ??
??? ?? ???? ??? ???? ?? ??? Amdocs? LoRA(Low-Rank Adaptation)? ?? ???? ??? ?? ??(PEFT) ??? ??????. Amdocs? ? ?? ?? LLM ????(Llama2 ? Mixtral)? ???? 1~2???? ?? ?? LoRA ??? ????? ???? ? ?? ?? ?? ??? ??????.
Amdocs? ??? ???? ?? ?? ? ?? AI ???? NVIDIA DGX Cloud?? ??????, ?? NVIDIA ????? ???? ???? ?? ??? ???? ??? ????? ?? ?????? ?? ??? ??? ?????. Amdocs? ??? ?? ?? ??? ?? NVIDIA DGX ???? ????? ??????.
- 8x NVIDIA A100 80GB Tensor ?? GPU
- 88?? CPU ??
- 1TB ??? ???
?? ?? ??? ?? GPU ???? ?????? ??? 1?? ??? ??? ???????.
NVIDIA NIM? ??? LLM ??
NVIDIA NIM? NVIDIA Triton ?? ?? ? ???? ?????? NVIDIA GPU?? ??? LLM ??? ???? ?? TensorRT-LLM ? ?????. NIM? ??? ???? ????? ???? ????? ??? ? ??? ?? ??? ????? ?? ???? ?? ???? ?? ????? ?? ??? AI ??? ?????. NIM? ????? ?? ???? ?? ??? ???? ??? ?? ??? ?????.
- AI ?????? ?? ??? ???
- ?? ??? AI ??? ?? ?? ??? ????
- ??? ?? ??(SLA)? ?? ?????? ?? ? CVE? ?? ?? ?? ????
- ?? ????? ??? LLM? ??
- ?? ??? ? ??
? ??????? ?? Amdocs? ?? ???? NVIDIA NIM ????? ???? ?? ??? LLM? ??????. Amdocs? LangChain ChatOpenAI ?????? ???? ????? ??????? ?? ??? ???? ???? OpenAI? ??? API ?????? ??????.
Amdocs? ?? ?? ??? ???? ???? NIM? ?? LoRA ?? ??? ?? ?????? ??? ???? ???? ????? ??????. ?? ??? Mixtral-8x7B ????? ? ????? ???? ? ? 20?? ??? ?????.
??
Amdocs? ? ?????? ???? ? ?? ??? ?? ??????.
??? ??: NVIDIA?? ??? ?? AI ?? ??? ???? ??? ????? ??? ???? ?? 30%?? ???????. ??? ??? ??? ??? ?????? ??? ? ????? ??? ???? ???? ?? ???? ?? ??? AI ???? ??? ???? ? ?? ?? ?????.
Amdocs? NVIDIA NIM? ???? ?? ? ?? ???? ?? ??? ??????.
?? ?? ??: NVIDIA ????? Amdocs? ?? ?? ?? ??(RAG) ??? ??? ?? ??? ???? ??? ??? ????? 60%?? ??? ???? 40%?? ???? ??? ??? ???? ???? ??? ??? ??? ??? ?? ??? ???? ??? ??? ?? ??????.
?? ?? ??: ??? ?? ?? ?? ??? ? 80%?? ??? ? ????? ?? ???? ???? ??? ??? ??? ? ?? ?????. ??? ???? ?? ???, ??, ?? ? ??? ???? ??? ??? ???? ? ????.
LLM ??? ??
Amdocs? ?? ?? ???? ??? ??? ??? ?? ??? ???? ??? ?? ??? ???? ?? ?? 3?? ?? ??? ?? ??? ????? ??????.
? ???? Amdocs? ??? ??? ???? LLM ?? ???? ?? ??????.?
?? ??, ?? LLM-as-a-Judge? ??? ???? ? ?????? ??? ? ???? ?? ??? ??????. ?? ??? ??? ???? ??? ?? ?? ??? ???? ???? ?? ???? ?? ???? ?????. ?? ??? ??? ??? ?? ??? ??? ????.
- F1 ??
- ?? ?? ??
- ??? ?? ??
- ??? ??
- ?? ???
- ?? ??? ??
- ???
- ??
????? ?? ???? ???? ?? ?? ?? ??? ???? ??????. ? ????? ?? ?? ??? LLM? ????? ??? ? ?? ?????.
?? 4? ??? LLM? ?? ?? ??? ??? ?????. Amdocs? ?? ??? ?? LoRA ?? ??? ?? Mixtral-8x7B ? Llama2-13b-chat ??? ???? ?? 20~30% ?? ??? ?? ??????. ??? LLM ???? ??? ??? ???? 6% ??? ??? ??????.?
?? ??
?? ???? ?? ??? ??, ?? ??? 60% ??????. ?? ??? LLM? ????? ? ?? ??? ????? ??? ?? ??? ? 40% ?? ???? ??? ??????. ?? ???? ??? ???? ??? ??? ???? ??? ?????.
?? 5? Mixtral-8x7B, Llama2-13b ? ??? LLM ???? ?? ?? ? ??? ?????. ?? ?? ?? ??? ?? ??? LLM ???? ??? ? ???? ? ??? ?? ?? ??? ?????.???? ??? Llama2 ? Mixtral-8x7B ??? ??, ?? ?? ??? ???? ???? ?? ??? ?? ?????.
LLM ?? ???
Amdocs? NVIDIA NIM? ???? A100 80GB GPU? ??? ??? ???? ?? ?? ??? ?? 4~6? ?? ??? ??? ?????, ?? ???? ??? ??? LLM ????? ? 80% ? ?? ?????.
?? 6? ?? LLM ??? ???? ??? ?? ?? ??? ???? ??? ?? ?? ??? ?? ?? ??? ??? ????. ?? NIM? DGX Cloud A100 ?? ????? ???? ???????. Llama2-13b ??? ?? GPU? ??? ??, Mixtral-8x7B ??? 2?? GPU? ???????. ?? 6? ??? 0.95? ?? ?? ??? ? ? ??? ?? ?? ??? ?? ???? ?????? ??? ? ???? ? ????.
?? ? ?? ??
NVIDIA NIM ?? ???????? ?? ??? ???? Amdocs? ?????? ??? ? ?? ??? ??? ? ?????. Amdocs? ??? ??? ????? LLM? ?? ???? ?? Q&A ???? ???? ??? ??? ??? ?? ??????. ? ???? Amdocs? ?????? ??? ?? ???, ??? ?????, ??? ??? ?? ? ??? ??? ??????. ?? ??? ??? ???? ?? ??? ??? ??? ?? ??? ??????.
Amdocs? ?? ?? ?? ?? ??? ???? ??? ? ?? ??? Multi-LoRA? ???? ??? ??????? ?? ?? ??? ??? ???? ?? ?? ??? ???? ????. ??? ?? ??? ?? ??? ???? ???? ??, ?? ??? ??? ??? ?? ???? ????? ??? ??? ??????.
Amdocs? NVIDIA?? ??? ?? ?????? ??? ????, UX ???? ?? ??? AI ??? ?? ??? ???? ???? ???? ?? ?????? ????? ? ??? AI? ?? ?????? ???? ??? ??????. Amdocs? NVIDIA DGX Cloud ? NVIDIA AI Enterprise ?????? ?? ???? ???? ??? ?? LLM? ??? ???? ???? ?? ??? ??? AI ???? ? ??? ?? ??? ???? ????.
Amdocs? ??? ??? ???? ??? AI? amAIz ???? ?? ??? ?????.
- AI ??? ?? ? ?? ??? ???? ?? ?? ???? ?????.
- AI ???? ?? ??? ???? ??? ?? ?? ??? ?? ??? ?????.
- ???? ?? ? ???? ?? ???? ?? ??, ?? ?? ? ??? ???? ??? ??? ????? ?????.
??? ??? ?? ?? ??????? ???? ??? ??? ?????.
??? ??? ?? ??? ‘?? ????(What If?)’? ?: ??? AI? ?? ???? ?? ?? GTC ?? ??? ?????.
NVIDIA NIM? ???? NVIDIA? ?? ??? ? ???? API? ?? ?????? ??? ?? ??? AI ??? ?? ? ??? ? ????.
?? ???
- GTC ??: ‘?? ????(What If?)’? ?: ??? AI? ?? ???? ?? ??
- GTC ??: ?????? ???: ??? AI ??? ?? ?? ? ??
- NGC ????: DiffDock? NVIDIA NIM
- NGC ????: GenAI SD NIM
- NGC ????: RIVA ASR NIM
- SDK: NeMo
