?? ?? ??? ?? ?? ??????. ??? ?? ??? ??? ??? ???? ?????. ?? ??? ?? ??? ??? ??? ??? ?? ??? ????? ??? ??? ? ????. ?? ?? ??? ?? ?????? ????.
NVIDIA? ??? ??? ?? ?? ???? ???? ? ??? ?? ???? ?? ????, ?? ?? ? ?? ?????? ?? VILA? ??????. VILA? ??? ?? ??? ?? ??? ?? ? ?? ??? ?? ??? QA ????? ?? QA ???? ???? SOTA ??? ?????. ?? VILA? ??? ?? ????? ????.
?? VLM? ?? 1/4? ??? ???? ???? ????? 4?? AWQ? ??????. VILA? ??? ??? ??? ? ?? 40B?? NVIDIA Jetson Orin? ?? ?? ????? ??? ? ?? 3.5B?? ??? ??? ?????.
NVIDIA? 128?? NVIDIA A100 GPU?? VILA-13B? ? ?? ?? ?????? ???? ???? ?????? ??????. ? ?? ????? ?? ??? VILA? ? ?? ???? GPU ???? ?? ????? ?? ??????.
???? ??? ?? VILA? TRT-LLM? ?????. NVIDIA? ?? NVIDIA RTX 4090 GPU?? VILA-14B? ?? ??? 10ms? ???? 4?? AWQ? ???? VILA? ???????.
VILA ???? ???
Llava? ?? ?? ??? ??? ?? ??? ???? ??? ???? LLM? ????? ??? ? ?? ???? ?? ?? ???? ???? ??? ???? ??? ?? ?? ???? ????? ?? ???? ??? ?????.?
?? ????
?? ?? LLM? ?? ??? ?? ??? ?? ?? ?? ???? ??? ? ????.
??? ?????? ???? ??? ???? ???? ??? ??? ???? LLM? ???? ?????(?, ??? ??? ???? ??). ?? RAG? ??? ??? ????? ??? ???? ??? ?? LLM? ????? ??? ???, ????? ??? ??? ??? ??? ??? ??? ? ????.
??? ???? ???/??? ????? ?? ?? ?? ????? ??? ?????.
?? 1? ?? ?? VLM? ? ?? ?? ?? ?, ??? ???, LLM, ? ?? ??? ???? ???? ????? ???? ?????. ? ??? ??? ??? ??? ??? ?? ??? ??? ?????.
LLM ?? ??? ??
??? ???? ?? ????? ??? ?? LLM? ???? ?? ?? ? ?? ??? ?? ???? ???, ??? ??? ?? ???? LLM? ?? ???? ??? ?? ??? LLM? ???? ??? ?? ????? ???? ???? ?????? ????.
??? ??? LLM? ???? ?? ????? ??? ?? LLM? ?? ??? ????? ??? ??????. ???? ???? ?? LLM? ?????? ?? ?? ? ??? ?? ???? LLM ??? ???? ? ? ?????.
??? ??? ?? ?? ??????.
- SFT ?? ?? ????? ?????? ??? ???? ?????? ??? ?????. SFT ??? LLM? ?? ???? ?? ? ?????.
- ???? ?? ???, ?? ???? ??? LLM? ???? ??? ???? ??? ??? ??? ?? ? ?? ??? ????? ????.
- ??? ????(????? ?? ?? ?? ???)? ???? ?? ???? ?? ? ?????(c? d ??). ??? ????? ? ????? LLM? ??? ??? ??? ? ? ?? ?? ????? ?? ? ?? ??? ??? ????? ??? ????.
??? ??? ??? NVIDIA? ?? ???? ?? ???? ? ?? ?? ?? LLM? ?? ??? ? ??? ??? ?? ?? ???? ??????.
???? ???-??? ???? ??
?? NVIDIA? ??? ?? ????? ? ???? ??? ?????? ??, ??? ??? ????? LLM? ???? ? ??? ?? ????. LLM? ??? ?? ??? ???? ?? ?????.
??? ???? ? ??? ?? ???? ? ?? ??? ?? ??? ????. ??? ??? ?? ??? ? ??? ????.
- ???-??? ?(?, ??? ? ??): <im1><txt1> ,<im2><txt2>
- ???? ??? ???-??? ???: <txt1><im1><txt2><txt3><im2><txt4>
???-??? ?
?? ????? ?? COYO ???????? ?? ???-??? ?? ???? ??? ??? ??? ? ????. ??? ?? ???(MMLU)? 17.2%?? ?????.
?? 4? ???? ????? ?? ?????. ?? ?? ??? ??? ?? ??? ?? ?? ? ??? ???? ??? ? ??? ?????(???? ?? ???? ??? ???? ? ? ?? ???? ?? ??? ? ??).
?? NVIDIA? ??? ??? ?? ??? ??? ?? ??? ??? ?? ??? ?? ??? ????? ?????.
???? ??? ???
??, MMC4? ?? ????? ???-??? ?????? ???? ????? ??? ???(corpus)? ?? ?? ? ??? ??? ?????. ????? ???? ?? ????? ??? ??, MMLU? ?? ??? ?? 5% ??? ?????.
??? ??? ??? ?? ??? ?? ??? ??? ??? ? ????. ?? ??? ?? ? ??? ???? VILA? ?????? ??? ???? ?? ? ?? 4? ???? ?????.
??? ??
??? ??? ? ??? ??? ??? ? ??? ?? ????? ?????. ???? ??? ?? ??? ???-??? ?? ???? ??? ?? ??? ????? ????? ? ?? ???? ??? ? ????.
MMC4+COYO? ?? ????? ??? ?? ????? ???? ?? ?????.
?? SFT? ?? LLM ?? ?? ??
???? ???? ??? ?? ??? ???? ? ??? ??? ???? ??? 5% ??? ??? ??? ?????.
??? ?? ??? ???? ?? ????? ?? ??? ??? ?? ???(LLM ?? ????? ??? ?)? ???? ????. ??? ??? ??? ???? ??? ?? ?? ????? ??????. ?? ?? ?? ???? ??? ?? ???? ??????? ??? ??????.
???? NVIDIA? ??? ?? ??? ?????? ??? ??? ???? ???? ??? ??????. SFT ?? ?? ??? ?? ???? ???? ??? ?? ???? ???(?? 1? ??)?? ?? ?? ??? ????? ???? ?? ??? ???? ? ??? ? ? ????.
??? ??? ?? SFT ???? ?? ? ??? ?? ??? ?? ??? ???? ??? ?? ??? ???? ?? ??????. ??? ?? ?? ???? ?? ??? ?? ?? ??? ????, ?? ??? ?? ???? ??? ??? ?????.
???? ?? ???, COYO ??? ?? ? ??? ?? SFT?? ? ????? ????. ?? SFT? ???? ?? ???? ?? ????? ? ?? ???? ? ?? ??? ?? ?? ?? ??? ???? ???? ? ?? ??? ???? ??? ??? ??? ? ????.
??? ? ??? ?? ??? ??? ???
???? 224?? 336?? ??? TextVQA ???? 41.6%?? 49.8%? ??? ? ????.
??? ???? ???? ???? ?? ?(336×336? ???? 576?? ??? ??)? ?? ??? ???? ???, ??? ??? ??? ???? ??? ??? ? ??? ???? ? ?? ? ? ??? ???. ???? ??? ???? LongLoRA ??? ???, ?? ??? ?????. ?? ???? ? ??? ?? ??? ?? ?????.
???? ?? ???? ???? ??? ??? ??? ? ?????. ??? ???? ???? ???? ??? ??? ??? ? ????. NVIDIA? 2×2 ???? ??? ???? ???? ?? ???? ???? ??? ???? ???? ????? ??????. ? ??, 336 ????? ?? ?? 144? ????, ?? 224+?? ???? ?? ????.
???? ????, 336+?? ??? ?? ??? 3% ?? ? ???? ???? TextVQA ???? ? ???(46% ? 41.6%) ?? ??? ??? ?? ? ???? ?????. OKVQA ? COCO ? ?? ?????? ??? ? ?? ??? ?? ??? ??? ?? ??? ??? ? ?????.
NVIDIA? ?? ?????? ?? ??? ?? ??? ???? ?????. ??? ? ????? ?? ??? ??? ?? ??? ?? ?? ??? ???? ????.
??? ??? ??? ??? ? ??
NVIDIA? ??? ??? ?? ???? ???? 2,500? ??? 5,000? ??? ???? ? ??? ?? ??? ??????. ??? ?? 1?? ?? ??? ???? ???? ???? ??? ?????. ??? ??? ??? ??? ??? ?? ? ?????.
??? ??? ??? ???? ??? VILA? ?????? ?? NVIDIA? ??? ??? ??? ??? ? ??? ?????. ?? ?? CLIP ??? ?? ???-??? ?? ?? COYO-700M ?????? ?? 5%? ??????. ?? ?? ?? ?????? ?? ?? ??? ???? ????? ?? ????? ??? ??????.
VILA ??
VILA? GPU?? ????? ????? ?????. VILA? ??? ???? LLM? ????? ?? ???? ????? ???? LLM ????? ???? ????.
NVIDIA? 4?? AWQ? ???? VILA? ????? NVIDIA RTX 4090 ? Jetson Orin? ??????. ??? ??? ??? ?? ????? ? ?? AI 2.0? ?????.
AWQ ??? ????? ???? ??????? ???? ? ??? AWQ? ?? ???? ???? ???? ?? GPTQ??? ???? ?????. ??? ? ????? ??? ??? ?? ??? ??? ? ???? ?? ?? ??? ????? ????. ?? ????? ?? ??? ?? ?? ??? ???? ?? ??? ???????. ??? ??? ?? ???? ???? ??? 4% ??? ?????.
AWQ? ??? ? ??? ?? ???? ?? ??(RTN, GPTQ)? ???? ??? ??? ?? ? ?? ????? ???? ?????.
??
| ?? | VQA-V2 | GQA | VQA – T | ScienceQA – I | MME | SEED- I | MMMU ? | MMMU ??? |
| LLaVA-NeXT-34B | 83.7 | 67.1 | 69.5 | 81.8 | 1631 | 75.9 | 51.1 | 44.7 |
| VILA1.5-40B | 84.3 | 64.6 | 73.5 | 87.4 | 1727 | 75.7 | 51.9 | 46.9 |
| ?? | ??? | VQA-V2 | GQA | VQA – T | ScienceQA – I | MME | SEED- I | MMMU ? | MMMU ??? |
| VILA1.5-13B | fp16 | 82.8 | 64.3 | 65 | 80.1 | 1570 | 72.6 | 37.9 | 33.6 |
| VILA1.5-13B | int4 | 82.7 | 64.5 | 64.7 | 79.7 | 1531 | 72.6 | 37.8 | 34.0 |
| Llama-3-VILA1.5-8B | fp16 | 80.9 | 61.9 | 66.3 | 79.9 | 1577 | 71.4 | 36.9 | 36 |
| Llama-3-VILA1.5-8B | int4 | 80.3 | 61.7 | 65.4 | 79.0 | 1594 | 71.1 | 36.0 | 36.1 |
| ?? | ??? | NVIDIA A100 GPU | NVIDIA RTX 4090 | NVIDIA Jetson Orin |
| VILA1.5-13B | fp16 | 51 | OOM | 6 |
| VILA1.5-13B | int4 | 116 | 106 | 21 |
| Llama-3-VILA1.5-8B | fp16 | 75 | 57 | 10 |
| Llama-3-VILA1.5-8B | int4 | 169 | 150 | 29 |
?? ?? ??
VILA?? ?? ? ?? ??? ????. VILA? ??? ????? ??(??, ??, ??, ?? ??? ?? ??)?? ?? ?? ??? ?? ??? ???? ???? ??? ??? ? ? ????.
VILA? ??? ??? ? ?? ??? ??? ????. VILA? ?? ???? ?? ??? ?? ?? ???? ???? ???? ????? ?? ???? ??? ? ????.
NVIDIA GTC 2024? VILA
NVIDIA GTC 2024?? NVIDIA? ???? ????? ????? ???? ?? ?? NVIDIA AI ???? ???? VILA? ??????.
???? VILA? AWQ? ???? 4??? ????? ????? ?? ????? ? ?? NVIDIA Jetson Orin Nano ? Jetson AGX Orin ????? ??? ??? ?????. ?? ?? ??? ???? ? ???? ??? ???????? ???? ??? ??? ? ?? ?? ??? ?? ?? ?????. ???? ??? ????? ???? ??? ?? ????? ? ?? AI 2.0? ?????.
VILA ? NVIDIA VIA(Visual Insight Agent)
VILA? ?????? NVIDIA VIA(Visual Insight Agent) ?????? ???? AI ????? ?? ? ??? ?????. ??? AI ????? ‘??? 3? ???? ?? ?? ??? ???’? ?? ??? ???? ???? ?????. ?? ??, ??? AI ?? ????? ‘?? 3? 30?? ???? ??? ??? ??? ?????’?? ??? ?? ????? ?? ??? ? ????.
VIA ?????? ???? ?? ?? ??? ?? ???? ??? ?? ????? ??? ??? ???? ???? AI ????? ?? ? ????. ???? ???? ??? ?????? ???? ???? ? ?? ??? ??? AI ????? ?? ?? ??? ??? ????. ??? ????? ???? ??? ?? ???? ???? ???? ?? ??? ????? ??? ? ??? ?????.
??? ??? ??? ??? ??: ?? ???? ?? ??? ??? ??? AI? ??? NVIDIA? ?????.
??
VILA? ?????? ?? ????? ????? ?? ??? ?? LLM? ???? ???? ??? ???? ?????. VILA? LLM ?? ??, ???? ??? ??? ??? ???? ? ??? ??? ??? ???? ??? ??? ???? ??? ?? ??? ?????? ?? ??? ?? ?? ??? ???? ??? ??????.
VILA? ?? ??? ??, ?? ? ??, ??/?? ??? ?? ??? ?? ??? ??????. NVIDIA Metropolis, ???, ????, ??? AI ? ??? ??????? ?? NVIDIA?? ? ?? ?? ?? ?? ??? ???? ? ?? VILA? ??? ??? ????.
??? ??? VILA: ??? ?? ??? ?? ?? ???? ?? ? /Efficient-Large-Model/VILA GitHub ?????? ?????.
?? ???
- GTC ??: GPU?? ??? JAX: JAX ? OpenXLA? ?? ??? LLM
- GTC ??: NVIDIA DRIVE?? ?? ?? ?? ? ?? ?? ??? ?? ??? AI? ??
- GTC ??: ??? ??? ?? TensorRT-LLM?? LLM ??? ? ????
- NGC ????: LLM? NVIDIA NIM
- ???: NVIDIA Jetson?? ??? AI ??
- ???: ?? ?? ?? ??
