?? ??? ????? ?? ?? ??(LLM)?? ??? ?? ?? ??? ??? ?? ?? ?? ??? ??? ?? ?? ???????. ?? ???? ?? ?? ??? ?? ???? ??? ??? ?????. ???? ???? ??? ??? LLM? ???? ???? ?????? ???? ????? ???? ??? ???? ??? ? ??? ???.
?? ?? ? ?? ??? ??? ? ? ?? LLM? ????? ??? ? ?? ??? ???? ??? ?? ??? ?? ?? ? ????. ??? ?? ????? ??? ?? ??? ????? ?? ? ?? ???? ??? ??? ??? ? ????.
?? ? LLM? ?? ??? ?? ??(?, ??? ?? ?? ?? ????)? ?? ???? ???? ? ??? ?? ???? ??? ?? ??? ? ????. ?? ? ??? ??? ????, ???? ???? ?? ?? ?? ??? ?????? ?? ??? ????? ?? ??? ???? ?? ???? ???. ?? ?? ??(LoRA)? ??? ??? ?? ???? ?? ?????.
? ?????? LoRA? ?? ??? ??? ???? LoRA ?? ??? ??? ???? ? ?? ??? ?????. ?? ?? LoRA ???? ?? LoRA ??? ???? ?? ?? ?? ??? ???? ?? ??? ???? ?????.
?? ?? ??
?? ? ? ?? LoRA? ?? ?? ??? ?? ?? ?? ?? ?? ?? ??? ???? ???? ??? ??????. LoRA ????? ?? ??? ?? ?? ??? ????? ?? ???? ?? ??? ?? ?? ??? ?????. LoRA? LLM? ???? ?? ????? ?? ?? ?? ?? ??? ??? ‘??? ??’? ??? ??? ???? ?????. ?, ?? ?? ??? ???? ??? ?? ?? ??? ?? ?? ?? ??? ??? ?? ???? ?????. LoRA? ???? ???? ??? ?? ??? ?? 10,000? ?? ? ????.
?? 1? LoRA? ??? ?? ?? ????? ?? ???.
- ?? ????? ??? ???(W)? ??? ?? ?????.
- W? ?????? ?? 2?? ? ?? ???? ?? ?? A? B? ???? ??? ??? ?????. ?? ?? B*A? W? ??? ??? ??? ????? W(= W + BA)? ?? ? ????.?
A ? B ??? ??? 8, 16 ?? ?? ?? ????. ???? ? ? W?? ???? ??? ?? ??? ?? ???? ??? ? ??? ????? ???? ? ????. ? ??(r) ?? ??? ????? ???? ? ???? ? ????.
?? ??? ?? ??? ???? ??? ?????. ?? ?? ??? ???? ????? ??? ????? ??? ??? ? ?? ??? ??? ? ????. ?? ?? ?? ?(?: 64)? ?? ?? ?? ??? ??? ?? ?? ??? ?????. ?, ??? ?? ?? ??? ???????. ??? ??? ??? ??? ? ??? ?? ?? ???? ???? ? ?? ??? ? ??? ????. ??? LoRA ?? ??? 8?? ?? ?? ??? ?? ?? ????? ??? ????? ??? ?? ?? ???? ???.
LoRA ?? ?? ??
LoRA ?? ??? ??? ?? ???? ??? ? ????.
?? 1: LoRA ??? ??
?? LoRA ???? ?? ????? ??? ???? ?? ??? ????? ??? ??? ?? ??? ??? ?? ? ????. ??? ?? ???? ??? ???? ? ?? ???? ?? ?? ??? ??? ? ????. ??? ??? ? ??? ?? ????? ???? ?????. ? ?? ??? ??? ?? ??? ‘???’? ?? ? ?? ??? ??, ? ?? ??? ??? ??? ? ??? ????. ?? ?? ?? ???? ?? ?? ?? ??? ?? ??? ?? ????? ?????. ?? ??? ??? ??? ????? ???? ?????.
?? 2: LoRA ???? ???? ??
LoRA ???(?? 1? A? B)? ?? ??(W)? ??? ?????. ???? ???? ??? ?? ?? ??? ???? ??? ???? ???? ?????. ??? ??? ??? ??? ???? ?? ???? ???? ???? ??? ??? ??? ?? ??? ?? ?? ?? ???? ??? ??? ? ????.
?? ?? ???? ??? ?? ??? ?? ?? ?, ??? ?? ?? ?? ?? LoRA? ?????. ??? ???? ??? LoRA ???? ???? ?? ? ?? ?????. ??? ?? ? ? ???.
- ??? ?? ??? ??? ?????, ??? ?????, ??? ?? ???? ?? ?? ??? ?? ???? ??????.
- ??? ?? ??? ??? LoRA ?? ??? ???? ?? A/B ???.
- ??? ?? ????? ??? ???? ?? ????? ?? ??? ???? ??????. ?? ?? IT ??? ?? ?? ??, ?? ??? ? ??? ?? ?? LoRA ??? ????, ?? ?? ???? ?? ?? ? ?? ??, ?? ?? ?? ?? ?????.
NVIDIA NIM? LoRA ???? ??? ?? ??? ???? ?? ?? ?? ??? ???? ???? ?? ???????? ?????. ?? ????? NVIDIA? ?? ??? ??? ?????.
NVIDIA NIM? ?? ?? ?? LoRA ??
NIM? ???? ? ?? ???????? ?? ????? ??? ?????. ? ??? ??? ?? ?? ???? ??? ??? ?? ‘???’? ?? ? ????.
- NVIDIA NeMo ????? ?? Hugging Face PEFT ?????? ???? ????? ???? ??? ???? ???? ??? ??? ?????.
- NIM? ??? ? ?????? LoRA ?? ??? ???? ?? ???? ???? ??? ? ????.?
- NIM? ?? ??? ??? ?? ??? ??? ??? ????? ?? ???? ?? ?? ??? ?????. ??? ??? ???? ?? ?? ???? GPU ???? ???? ??? ??? ???? ?????.?
- ?? ?? NIM? ????? ??? ?? ?? ?? ?? ?? ??? ???? ?? ??? ???? ???? ?? ?? GPU ??? ?????. ?? ?? ?? ??? ??? ?? ??? ??? ??? ? ????.
??? ?? ?? ??
? ??? ??? ?? ?? ??? ???? ?? ?? ?? LoRA ???? ??? ? ????. ??? ??? ?? ?? ?? ??(GEMM)? ???? ?? ??? ?? ??? ?? ????. ??? ????? ????? ??? ?? ????? ?????. ? ??? ???? ?? NVIDIA CUTLASS? ???? ??? ?? ?? ??? ?? ??? ???? ?? GEMM? ??????. ?? ?GPU ???? ??? ?????.
?? ??? GEMM? GPU ???? ? ???? ? ?? ?? ?? ??? ?? ??? ?? ??? ?? ??????. ? ? ?? ??? ?? ??? ?? ?? ?? ??? ?? ?????. ? ????? ?? 1?? ? ? ??? A(dxr ??) ? B(rxd ??)?? ? ?? ?? ?? ??? ????. d? ????? LoRA ?? r?? ?? ??? splitK ???? ??????. GEMM? ? ?? ???? ??????(SM)?? ?? ??? ???? GPU ???? ????, splitK ?? GEMM ? ?? ?? ??? ???? ?? ??? ?????.
?? ???? ?? ??
??? ?? LoRA ??? ?? ?? ? ??? ??? ???? ?? ?? ?? ????. ? ????? LLM LoRA ?? ?????? ??? ????? ? ????? ??? ??? ?? ? ?? ?? ?? ??? ?????.
- ?? ??: Llama 3 8B ? Llama 3 70B? ?? ?? ? ?? ?? ?? LoRA ?? ?? ? ??? ?? ?? ??? ??? ? ????. ? ?? ??? ?? ??, ?? ??? ??? ?? ??? ???? NLP ???? ??? ?? ? ? ??? ??? ?? ???? ?????. LoRA? ?? ? ??? ?? 70B ??? FP16? ???? ?? NVIDIA DGX H100 ?? A100 ?? ?? 4?? ???? ???? ?? NVIDIA H100 ?? NVIDIA A100 GPU??? ??? ? ??? ????.
- ???:? ??? ?? ???? ????? ???? ???? ??? ???? ???? ??? ???? ?? ??????. ?? ??? ???? ??? ??? ???? ????? ? ? ????. ??? LoRA? ? ?? ??? ???? ??? ???? ?????. LoRA ??? ?? ?? ?? ??? 8/16/32/64???.
- ??? ?? ??: ????? ?? ???? ? ? ?? ?? ??? ?? ??? ??? ????.
- ?? ?? ??: ignore_eos ?? ??? max_token_length ??? ??? ??? ???? ?? ????? ?? ?????? ?????. ?? ?? ?? ?? OSL(?? ??? ??) ??? ?????. ? ?? ??? LLM ?? ??????? ?? ? ?? ??? ?? ??? ???? ??? ?? ??????. ??, ignore_eos? ???? ?? ????? ???? “??” ??? ?? ????? ??? ????.
- ??? ??: ???(?? ??? ?)? ????? ???? ??? ??? ? ?????. ?? ?? ?? ??? ???? ??? ???? ????? ??? ??? ? ?? ?? ‘?? ??’? ???? ???. ??? GPU?? ???? 8B ??? ?? ???? ?? ??? ?? ?? 250?? ?? ???? ?????.
- ?? ??: ?? ? ??? ??? ?? ???? ???. ISL(?? ??? ??)? OSL? ????. [200, 2000] ?? ??? ISL? [1, 2000] ?? ??? OSL? ??? ?? ? ???? ?? ? ?? ??? ??? ???? LLM ??????? ?????.
- ??: ???? ??? LoRA ?? ??? ???? ???. GenAI-Perf? LoRA ???? ??? LLM ???? ?????. ???? ???? ???? ?? ??? ?? ???? ????? ?? ?? ??? ???? ??? ?? ?????. ?? ?? 20%? ???? ??? 80%? ?????.
- ???: LLM ????? ?? ???? ?? ?????. TTFT(? ????? ??), ITL(?? ? ?? ??) ? ???, TPS(?? ? ??? ??).
?? ?? ?????? ?? ? ?? ? ? ?? ? ?? ?? ?? ??? ????.
?? ??(?? ??? LoRA ??)? ???? ?? ?? ?? LoRA(?? LoRA, ??? ??? ?? LoRA ?? ?? ??? ?? LoRA)? ???? ?? ??? ??? ???? ??? ?????. ?????? ?? LoRA? ???? ??? ???? ???? ?? ??? ? ??? ?????? ???.
??? ? ?, ? ? ?? LoRA? ??? ? NIM? ?? ??? ?? ? ?? ??? ?????.
?? ??
?? ??? ??? ??? ?? ???? ???? ?? ???? LoRA? ?? ??? ???? ?? ??? ????. NVIDIA? ?? ??? ?? NIM? ???? ????.
Tied-LoRA
Tied-LoRA? LoRA? ?? ?? ???? ??? NVIDIA ???? ??? ?????. LoRA??? LLM? ? ??? ?? ??? ????? ????? ??? ?? ?? ??? ?????. Tied-LoRA??? ??? ?? ??? ??? ??? ?? ?? ??(‘??’)?? ???? ??? ?? ??? ?? ?? ?????. ?? ? ??? ???? LoRA? ??? ?? ??(?? ?? ?? ? ?? ??)? ????? ??????? ??? ? ???? ???? ?? ? ?? ?? ???? ???? ??? ? ????.
NVIDIA NIM? ?? ? ??? ?? ????? ??? ?????.
DoRA
NVIDIA ????? ??? ? ?? ??? DoRA? ??? ?? ??? ??? LoRA ?? ?? ?? ??? ?????. ?? ?? ????? ???? ??? ????? ? ?? ?? ??? ???? ?????. ?? ??? ?? DoRA? ?? ?? ????? ?? LoRA? ????? ???? ??? ?? ??? ?? ????? ??????. ? ?? ??? ?? ?? ????? ????? ?? LoRA? ?? ??? ???? ???? ?????. DoRA? LLaMA, LLaVA, VL-BART? ?? ??? ?? ???? ? ?? ???? ??, ??? ?? ??, ??? ? ??? ??? ??? ??? ??? ????? ???? LoRA? ????? ?????.
??
NVIDIA NIM? ???? ?? LoRA ???? ???? ???? ??? ? ????. NIM? ?? Meta Llama 3 8B ? Llama 3 70B, ??? NVIDIA NeMo? Hugging Face ?? ?? ??? LoRA ???? ?? ??? ???? ?? ?????. NVIDIA? ?? ????? ??? ???? ??? ?? ??? ???? ?? ??? ??? ????.
NIM?? ?? LoRA? ????? NVIDIA NeMo? ???? Llama 3 ??? ????, NIM?? ?? ??? ???? ????, ?? ?? ??? ???? LoRA? ?? Jupyter ??? ????? ?????. NIM? ?? ??? ??? ??? ?????.
?? ???
- GTC ??: ?? ???? ?? ?????? ???? ??? – NVIDIA Omniverse ???? ??? ???? ??
- GTC ??: NVIDIA Jetson Orin, Edge Impulse ? Lumeo? ?? ???? AI ??
- GTC ??: Holoscan SDK? ???? GPU ?? ???? AI ????? ??
- NGC ????: RIVA ASR NIM
- NGC ????: ESMFold? NVIDIA NIM
- NGC ????: GenAI SD NIM
