?? ?? ??(FT)? ????? ?? ????? ??? ?? ?? ??? ?? ??? ???? ? ?????. ?? ??? ??? ?? ???? ????? ?? ??? ??? ?? ???? ???? ??? ?? ??(PEFT) ??? ???????. ? ? ?? ?? ??(LoRA)? ? ??? ?? ?? ??? ?? ? ?? ??? ??? ?? ????. ??? ??? ??? ??? ?? ?? ???? ??? ??? ??? ???? ??? ????.
NVIDIA Research Taiwan? NVIDIA ?? ? ?? ?? ??? LoRA? ???? ??? ? ?? ??? ?? ??? ??(DoRA)? ??????. DoRA? ???? ?? ???? ?? LoRA? ?? ??? ???? ?? ?????.
DoRA? ?? ??? ?? ??? ?? ?? ??(LLM) ? ?? ?? ??(VLM) ???? LoRA?? ???? ??? ??? ?????(?? ??(+3.7/+1.0 on Llama 7B/13B, +2. 9, Llama 2 7B?? +4.4), ???(MT) ????(Llama/Llama 2 7B? ?? +0.4/+0.3), ???/???-??? ??(VL-BART?? +0.9/+1.9), ??? ?? ??(LLaVA 7B?? +0.6)? ?? ??? ?? ??? ??????. DoRA? ?? ?? LLM ? ???-??? ?? ? ?? ????? ???????. ? ??? ICML 2024? ?? ???? ???????(??? 1.5%).
DoRA? ??? ??????
DoRA? ?? ??? ???? ??? ?? ???? ??? ?? ? ??? ?? ?? ???? ??? ?????. ???? ???? ?? ??? ??? ???? ??? ?? 2?? ? ? ??? DoRA? ?? ??? ?? LoRA? ???? ???? ?? ??? ???? ???. ?????, DoRA? ?? ?? ?? ??? ???? ??? ? ???? ???? ?? ??? ?? ? ????.
DoRA? ?? ??? ?? ??? ?????
DoRA? ?? ??? ?? ??? ???? ???? ?? DoRA ??? W’? ?? ??? ??? W0 ??? ?? ? ?? ??(?D, ?M)? ?? 3? ???????(FT ? LoRA? ?????). DoRA? FT? (?D, ?M)? ?? ???? ??, LoRA?? ??? ??? ?? ???? ?? ??? ?? ???? DoRA? FT? ?????? ?? ? ? ????. ?? ?? ??? ?? ?? ?? ??? ??? ????, ?? ?? ??? ? ???? ??? ?????.
DoRA? FT? ? ??? ?? ??? ????? ????? ???? ?? ?? ?? ? ??? ??? ?? ??? ? ? ?? ??? ?????. ?? LoRA?? ??? ?? ??? ?????. ?? ????? ??? ??? ?? ??? ??? DoRA: ??? ?? ??? ??? ?????.
??
DoRA? LLM, VLM, ?? LLM, ?? ?? ? ??? ???? LoRA?? ??? ?????.
?? ?? ??
? 1?? ? ? ??? ???? ??? ?? ?? ???? DoRA? LoRA?? ?? ??? ??? ????. ?? ? 2? MT ?????? ? ? ??? DoRA? LoRA?? ?? ? ??? ?? ??? ? ?????.
| Model | # Params (%) | BoolQ | PIQA | SIQA | HellaSwag | WinoGrande | ARC-e | ARC-c | OBQA | Avg. |
| ChatGPT-3.5 | – | 73.1 | 85.4 | 68.5 | 78.5 | 66.1 | 89.8 | 79.9 | 74.8 | 77.0 |
| Llama-LoRA | 0.83 | 68.9 | 80.7 | 77.4 | 78.1 | 78.8 | 77.8 | 61.3 | 74.8 | 74.7 |
| Llama-DoRA (Ours) | 0.84 | 69.7 | 83.4 | 78.6 | 87.2 | 81.0 | 81.9 | 66.2 | 79.2 | 78.4 |
| Llama 2-LoRA | 0.83 | 69.8 | 79.9 | 79.5 | 83.6 | 82.6 | 79.8 | 64.7 | 81.0 | 77.6 |
| Llama 2-DoRA (Ours) | 0.84 | 72.0 | 83.1 | 79.9 | 89.1 | 83.0 | 84.5 | 71.0 | 81.2 | 80.5 |
| Llama 3-LoRA | 0.83 | 70.8 | 85.2 | 79.9 | 91.7 | 84.3 | 84.2 | 71.2 | 79.0 | 80.8 |
| Llama 3-DoRA (Ours) | 0.84 | 74.6 | 89.3 | 79.9 | 95.5 | 85.6 | 90.5 | 80.4 | 85.8 | 85.2 |
| Model | # Params (%) | Score |
| Llama-LoRA | 2.31 | 5.1 |
| Llama-DoRA (Ours) | 2.33 | 5.5 |
| Llama-VeRA | 0.02 | 4.3 |
| Llama-DVoRA (Ours) | 0.04 | 5.0 |
| Llama 2-LoRA | 2.31 | 5.7 |
| Llama 2-DoRA (Ours) | 2.33 | 6.0 |
| Llama 2-VeRA | 0.02 | 5.5 |
| Llama 2-DVoRA (Ours) | 0.04 | 6.0 |
?? ?? ??
DoRA? ?? ??? ??(NLP) ??? ??? ??? ??(? 3), ??? ??? ??(? 4), ??? ??? ??(? 5) ?? ??? LoRA?? ??? ??? ?????.
| Model | # Params (%) | VQAv2 | GQA | NVLR2 | COCO Cap. | Avg. |
| VLBART-LoRA | 5.93 | 65.2 | 53.6 | 71.9 | 115.3 | 76.5 |
| VLBART-DoRA (Ours) | 5.96 | 65.8 | 54.7 | 73.1 | 115.9 | 77.4 |
| Model | # Params (%) | TVQA | How2QA | TVC | YC2C | Avg. |
| VLBART-LoRA | 5.17 | 75.5 | 72.9 | 44.6 | 140.9 | 83.5 |
| VLBART-DoRA (Ours) | 5.19 | 76.3 | 74.1 | 45.8 | 145.4 | 85.4 |
| Model | # Params (%) | VQAv2 | GQA | Vis-Wiz | SQA | VQAT | POPE | MMBench | Avg. |
| LLaVA-LoRA | 4.61 | 79.1 | 62.9 | 47.8 | 68.4 | 58.2 | 86.4 | 66.1 | 66.9 |
| LLaVA-DoRA (Ours) | 4.63 | 78.6 | 62.9 | 52.2 | 69.9 | 57.0 | 87.2 | 66.1 | 67.6 |
?? ?? LLM
PEFT ?? ??? ??? ???? ?? ??? ?? QLoRA? ?? ??? ??? 4??? ????? ??? ???? ?? ?? LoRA? ?? ??? ?? ?????. LoRA? FT ??? ??? ??? DoRA? ?? QLoRA ????? ??? LoRA? ???? ???? ? ???? ??? ???? ???.
?? ?? ?? Answer.AI? ?? ????? ???? QLoRA? LoRA ?? ??? DoRA? ???? QDoRA ????? ??????. ? ?? QDoRA? ?? Llama 2? Llama 3 ???? FT, QLoRA?? ??? ??? ??? ??????(?? 4).
???-??? ??
DoRA? Hugging Face?? ??? ?? ?? ????? ???? ???-??? ???? ?? DreamBooth? ??? ?? ????. ???? 3d_icon ? lego_set ??? ??? ?? ??? ??? ??? ??? ?? ???? DoRA? LoRA?? ?? ??? ??? ??? ?? ? ?? ??? ??????(?? 5).
??
??
DoRA? ????? ????? ???? ???? ???? ??? NVIDIA ???, ??? ? ??????? ? ??? ?????. DoRA? LoRA ? ? ??? ???? ?? ?? ???? FT ?? ??? ? ??? ??? ????. DoRA? ??? ?? ?? ??? ?? ?????? LoRA?? ????? ??? ??? ?????. ??, DoRA? ?? ? ??? ?? ? ?? ?? ??? ?? ??? ???? ?? ??? ? ?? ???? ?? ????? ???? ???? ?? ??? ?? LoRA? ???? ??? ? ????. NVIDIA? DoRA? ?? ??? ????? ??? NVIDIA Metropolis, NVIDIA NeMo, NVIDIA NIM, NVIDIA TensorRT, ???, ?? ??, ??? AI ?? ??? ??????? ????? ???? ? ??? ??? ????.
??? ??? ?? ???? ?????:
- DoRA: Weight-Decomposed Low-Rank Adaptation
- NVlabs/DoRA GitHub repo?
- DoRA project page?
- DoRA ICML 2024 oral paper
