??? ?? ????? ?? ?????? ??? ??, ?? ??, ?-?(KV) ??? ??? ?? ?? ?? ??? ?? ??(LM)?? ?? ?? ?????. ??? ?? ??? ????? ???? ??? ???? ?? ???? ???? ??? ????. ??, Mamba ? Mamba-2? ?? ?? ?? ??(SSM)? ???? ???? ??? ???? ???? ?????, ????(memory recall) ???? ??? ??? ???? ???? ??? ??? ????.
NVIDIA ????? ?? ???? ?? ??? ?? ???? ?? ????? ??? ????? SSM? ???? ????? ?? ?? ????? ???? ?? ?? ?? ??(SLM) ???? Hymba ? ??????. Hymba?? ??? ??? ???? ??? ????, SSM ??? ???? ?? ??? ?????.
Hymba? ??? ????? ? ?? ????? ?????:
- ???? ????: ??? ??? 50% ??? ??? ?? ?? SSM ???? ??? ? ????.
- ?? ??? ??: SSM ??? ??? ??? ?? ??? ?? ? ?? ???? ??? ?? ?? ?? ???? ??? ???? ?? ????? ??? ? ????.
- KV ?? ???: ?-? ??? ??? ??? ?? ????? ?? ??? ??(?? ?? ???)? ???(??? ??? KV ?? ??) ?? ??? ? ????.
- ????? ??? ??: ??? ????? ??? ????? ???? ???? ???? ?????. ??? ????? ???? ?? ??? ????? ???? ??? ??? ???? ??? ????? ??? ‘?? ??’ ??? ?????.
? ???? Hymba 1.5B? ??? ??? ?? ?? ?? ??? Llama 3.2 1B, OpenELM 1B, Phi 1.5, SmolLM2 1.7B, Danube2 1.8B, Qwen2.5 1.5B? ?? ???? ????? ?? ?????. ??? ??? Transformer ??? ???? ? Hymba? ? ?? ???? ???? ?? ??? ??? ???? 10? ? ????.
Hymba 1.5B? Hugging Face ???? GitHub?? ???????.
Hymba 1.5B ??
?? 1? ?? ?? ???, ??? ?? ?? ?? ??(MB), ???(?/?) ???? Hymba 1.5B? ?? 2B ??(Llama 3.2 1B, OpenELM 1B, Phi 1.5, SmolLM2 1.7B, Danube2 1.8B, Qwen2.5 1.5B)? ??? ?????.
? ????? MMLU, ARC-C, ARC-E, PIQA, Hellaswag, Winogrande, SQuAD-C? ???? ??? ??????. ???? PyTorch? ???? ??? ??? 8K, ?? ??? 128? NVIDIA A100 GPU?? ???????. ??? ?? ? ??? ??(OOM) ??? ??? ??? ??, OOM? ??? ??? ?? ??? ???? ?? OOM ?? ?? ??? ?? ???? ??????.
Hymba ?? ??
Mamba? ?? SSM? ???? ??? ???? ??? ?? ?? KV ?? ??? ???? ?? ???????. ??? ???? ???? ?? SSM? ?? ??? ??? ???? ????. ??? ??? ???? ?? ????? ???? ?? LM? ???? ?? ???? ? 1? ?????.
| ?? | ??? ?? (%) ↑ | ?? (%) ↑ | ???(??/?) ↑ | ?? ??(MB) ↓ | ?? ?? |
| 300M ?? ??? 100B ?? ??? ?? ?? | |||||
| ?????(Llama) | 44.08 | 39.98 | 721.1 | 414.7 | ??? ?? ??, ????? ?? |
| State-space ??(Mamba) | 42.98 | 19.23 | 4720.8 | 1.9 | ?????? ?? ??? ??? |
| A. + ??? ??(???) | 44.07 | 45.16 | 776.3 | 156.3 | ?? ?? ?? |
| B. + ?? ??(??) | 45.19 | 49.90 | 876.7 | 148.2 | ? ??? ?? ?? |
| C. + ??/??? ??? | 44.56 | 48.79 | 2399.7 | 41.2 | ?? ? ?? ?? ?? |
| D. + KV ?? ?? | 45.16 | 48.04 | 2756.5 | 39.4 | ?? ??? |
| E. + ?? ?? | 45.59 | 51.79 | 2695.8 | 40.0 | ??? ??? ??? |
| 1.5B ?? ??? 1.5T ?? ???? ?? | |||||
| F. + ??/??? | 60.56 | 64.15 | 664.1 | 78.6 | ?? ?? ?? ?? |
| G. + ???? ?? ??(2K→8K) | 60.64 | 68.79 | 664.1 | 78.6 | ??? ? ?? ?? ?? ?? |
??? ????? ??
????? ?? ?? ??? ???? SSM ??? ??? ???? ?? ??? ????? ??? ????? ?? ??? ???????. Hymba? ????? ?? ?? ??? ??? ??? SSM ??? ??? ???? ? ??? ??? ??? ??? ??? ? ??? ???. ? ????? ??? ?? ???? ??????.
??? ? KV ?? ???
??? ??? ?? ??? ??????, KV ?? ?? ??? ????? ???? ??????. ?? ???? ?? Hymba? ?? ???? ??? ???? ???? ??? ??? KV ?? ??? ???? ????? ?? ??? ??????. ?? ?? ?? ?? ?? ???? 3? ????? ??? ?? 4??? ????.
?? ??
??? ?? ??? 128?? ??? ??? ???? ?? ??? ?? ???? ??? ?? ??? ?? ??? ??? ?????. ? ??? ? ?? ??? ?????:
- ??? ???? ???? ???? ????? ??????? ??? ??? ?????.
- ??? ?? ?? ???
?? ??
? ????? ??? ?? ?? ??? ?? ?? ????? ?? ?? ????? ??? ?????. ?? ?? ?? ??? ??? ???? SSM? ???? ??? ?? ??????. ?????, ????? ?? Hymba? ?? ?? ??? ??? ?????. ? ??? ?? ??? Hymba? ??? ??? ???? ??? ??? ???? ? ??? ???.
??? ????? ?? (Apples-to-apples comparison)
??? Hymba, ?? Mamba2, FFN? ??? Mamba2, Llama3 ???, Samba ???(Mamba-FFN-Attn-FFN) ????? ??? ???? ??????. ?? ??? ??? ?? ???? ???? SmolLM-Corpus?? 100? ?? ???? ???? ??????, ?? ???? ?? 10? ?? ??????.
?? ??? Hugging Face ???? lm-evaluation-harness? ???? ??? ???? ???????. Hymba? ??? ??, ?? ??, ??? ?? ?? ???? ?? ??? ??? ???????.
? 2? ?? ??? ? ?? ?? ??? ??? ?? ???? ??? ?? ????? ????, Hymba? ?? ???? ??? ??? ?????. Hymba? ?? ???? ?? ?? ?????? ?????(Wiki? ?? 18.62, LMB? ?? 10.38), ?? ?? ????? ??? ??? ??????. ?? SWDE?? 54.29, SQuAD-C?? 44.71? ????, ? ???? ?? ?? ?? ??(49.50)? ??????.
| ?? | ?? (PPL) ↓ | ?? ?? ?? (%) ↑ | ??? ?? (%) ↑ |
| Mamba2 | 15.88 | 43.34 | 52.52 |
| Mamba2 w/ FFN | 17.43 | 28.92 | 51.14 |
| Llama3 | 16.19 | 47.33 | 52.82 |
| Samba | 16.28 | 36.17 | 52.83 |
| Hymba | 14.5 | 49.5 | 54.57 |
?? ??? ?????? Hymba? SIQA(31.76)? TruthfulQA(31.64) ?? ???? ???? ?? ???? ???? ?? ?? 54.57? ??????. ?? Llama3? Mamba2? ?? ???? ?????. ????? Hymba? ??? ???? ???? ?? ?? ???? ??? ?? ?? ??? ??? ?????.
??? ? ???
Hymba? ??? ? ??? ?? ? ??? ?????:
- Meta: ?? ?? ??? ?? ??? ???? ??? ???, ??? ?? ??? ??? ?????? ?????. ??? ?? ?? ?(?: Hymba? ? 128?)? ?????.
- BOS (Beginning-of-Sequence): ?? ?? ??? ??? ?? ??? ???? ??? ???, ?? ?? ?? ?? ?? ?????.
- Self: ?? ??? ?? ??? ???? ??? ???, ?? ??? ??? ?????.
- Cross: ?? ?? ??? ???? ??? ???, ?? ???? ??? ?????.
Hymba? ??? ??? ?? Transformer? ?? ????. ?? Transformer??? ??? ??? BOS? ? ???? ??? ???, ?? Attention Sink ?? ??? ?????. ?? ?? Transformer? Self ??? ?? ??? ? ????. ?? Hymba? ?? ??, ??? ??, SSM ??? ?? ????? ???? ??? ??? ??? ?? ??? ??? ? ?? ?? ?????.
??, ?? ??? BOS?? ??? ??? ???? ??? ?? ??? ? ??? ? ?? ???. SSM ??? ??? ????? ???? ?? ??(Self ??? ??)? ? ??? ????. ??, ??? ??? Self? BOS ???? ? ????, ?? ??(Cross ??? ??)? ? ?? ??? ???. ?? Hymba? ????? ?? ??? ??? ?? ?? ?? ??? ??? ????? ?????, ??? ???? ???? ??? ?????.
?? ??? ??
??? ? ????? ???? SSM(Stepwise Sequential Memory) ??? ??? ???? ???? ??, ?? ??? ??? ? ?? ???? ??????. ? ??? ?? ??? ?? ??? ??????:
- ?? ??? ? ???/SSM ??? ??? ???? ??? ?? ???, ??(task)? ?? ????. ?? ??? ??? ??? ? ? ??? ?? ?? ??? ??? ? ??? ?????.
- ? ?? ???? SSM ??? ?? ????? ?? ??? ??? ??. ?? ???? ???? ??? ??(random guess) ???? ?? ?????.
- ?????, ??? ???/SSM ??? ???? Hellaswag ?????? ?? ????? 0.24%/1.1%? ??? ??? ????. ?? SSM ??? ??? ???? ? ?? ???? ?? ??? ??? ?????.
?? ???? ? ?? ??? ??
? ????? Hymba 1.5B Base? Hymba 1.5B Instruct ??? ?? ???? ??? ?? ???? ????.
?? ????
- ????? ????: ????? ??????? Mamba? ?? ??? ???? ????? ?? ??? ? ??? ??? ??, ???? ? ???? ???? ??? ????? ?????. ? ? ??? ??? ???? ? ??? ??? ??? ? ???, ???? ??? ?? ??? ??? ??? ??? ???? ????. SSM(Structured State Space Models)? ??? ?? ?? ???? ??? 5:1? ???????.
- ???? ??? ???: ? ??, ???, ??? ?? ???? ??? 3?? ?????? ?? ??? ??? ????, ??? 90%? ?????? ???? ??? ??? ??? ?????.
- ??? ??? KV ?? ??: ??? ? ?? ??? ??? ???? KV ?? ??? ???????. ? ??? GQA(Generalized Query Attention) KV ??? ??? ?? ?? ???? ? ??? ????? ?????.
- ?? ??: ? 128?? ?? ??? ??? ???? ????, ?? ?? ??(LLM)?? ??? ? ?? ???? ??(entropy collapse) ??? ?????. ?? ??? ??(Attention sink) ??? ????, ? ?? ??? ???? ??? ???? ??? ???.
?? ??? ??
- ????: ? ??? ???? ?? ?? ?? ??? ???????. ? ?? ????? ? ???? ???? ????? ??? ????? ?? ??? ??? ???? ????, ?? ??? ???? ???? ???? 1e-5? ??? ??? ???? ??? ??? ???????. ? ???? ? ?? ??? ????? ????? ?? ? ??? ? ?? ???? ?????.
- ??? ?? ??: Instruct ?? ??? ? ??? ?????. ? ?? ??? SFT-1??? ??? ??? ?? ??? ????, ??, ??, ?? ??, ????, ??? ?? ?? ?? ???? ????. ? ?? ??? SFT-2? ??? ??? ??? ??? ??? ????? ????.
?? ? ??? ??
1.5T? ??? ?? ???? Hymba 1.5B ??? ?? ?? LM ??? ?? ??? ??? ???, ?? ????? ?? LM?? ? ?? ???? ?? ???? ?????.
?? ??, 13? ? ?? ???? ?? ??? ?? ??? ???? Qwen2.5? ?????? ? Hymba 1.5B? ?? ??? 1.55% ??, ??? 1.41?, ?? ??? 2.90?? ??????. 2T ??? ???? ??? ?? ??? ?? LM? h2o-danube2? ???? ?, ?? ??? ?? ??? 5.41% ??, ??? 2.45?, ?? ??? 6.23?? ?????.
| ?? | # ???? | ?? ?? | ??/s | ??(MB) | MMLU 5-shot | ARC-E 0-shot | ARC-C 0-shot | PIQA 0-shot | Wino. 0-shot | Hella. 0-shot | SQuAD-C 1-shot | ?? |
| Open ELM-1 | 1.1B | 1.5T | 246 | 346 | 27.06 | 62.37 | 19.54 | 74.76 | 61.8 | 48.37 | 45.38 | 48.57 |
| Rene v0.1 | 1.3B | 1.5T | 800 | 113 | 32.94 | 67.05 | 31.06 | 76.49 | 62.75 | 51.16 | 48.36 | 52.83 |
| Phi 1.5 | 1.3B | 0.15T | 241 | 1573 | 42.56 | 76.18 | 44.71 | 76.56 | 72.85 | 48 | 30.09 | 55.85 |
| Smol LM | 1.7B | 1T | 238 | 1573 | 27.06 | 76.47 | 43.43 | 75.79 | 60.93 | 49.58 | 45.81 | 54.15 |
| Cosmo | 1.8B | .2T | 244 | 1573 | 26.1 | 62.42 | 32.94 | 71.76 | 55.8 | 42.9 | 38.51 | 47.2 |
| h20 danube2 | 1.8B | 2T | 271 | 492 | 40.05 | 70.66 | 33.19 | 76.01 | 66.93 | 53.7 | 49.03 | 55.65 |
| Llama3.2 1B | 1.2B | 9T | 535 | 262 | 32.12 | 65.53 | 31.39 | 74.43 | 60.69 | 47.72 | 40.18 | 50.29 |
| Qwen 2.5 | 1.5B | 18T | 469 | 229 | 60.92 | 75.51 | 41.21 | 75.79 | 63.38 | 50.2 | 49.53 | 59.51 |
| AMD OLMo | 1.2B | 1.3T | 387 | 1049 | 26.93 | 65.91 | 31.57 | 74.92 | 61.64 | 47.3 | 33.71 | 48.85 |
| Smol LM2 | 1.7B | 11T | 238 | 1573 | 50.29 | 77.78 | 44.71 | 77.09 | 66.38 | 53.55 | 50.5 | 60.04 |
| Llama 3.2 3B | 3.0B | 9T | 191 | 918 | 56.03 | 74.54 | 42.32 | 76.66 | 69.85 | 55.29 | 43.46 | 59.74 |
| Hymba | 1.5B | 1.5T | 664 | 79 | 51.19 | 76.94 | 45.9 | 77.31 | 66.61 | 53.55 | 55.93 | 61.06 |
????? ??
Hymba 1.5B Instruct ??? ?? ??? ???? ?? ?? ??? ???? ?? ?? ??? Qwen 2.5 Instruct? ? 2% ?????. ?? Hymba 1.5B? GSM8K/GPQA/BFCLv2?? ?? 58.76/31.03/46.40? ??? ?? ?? ??? ?????. ??? ??? ?? ??? ?? ??? ??? ???? Hymba 1.5B? ???? ?????.
| ?? | # ???? | MMLU ↑ | IFEval ↑ | GSM8K ↑ | GPQA ↑ | BFCLv2 ↑ | ?? ↑ |
| SmolLM | 1.7B | 27.80 | 25.16 | 1.36 | 25.67 | -* | 20.00 |
| OpenELM | 1.1B | 25.65 | 6.25 | 56.03 | 21.62 | -* | 27.39 |
| Llama 3.2 | 1.2B | 44.41 | 58.92 | 42.99 | 24.11 | 20.27 | 38.14 |
| Qwen2.5 | 1.5B | 59.73 | 46.78 | 56.03 | 30.13 | 43.85 | 47.30 |
| SmolLM2 | 1.7B | 49.11 | 55.06 | 47.68 | 29.24 | 22.83 | 40.78 |
| Hymba 1.5B | 1.5B | 52.79 | 57.14 | 58.76 | 31.03 | 46.40 | 49.22 |
??
??? Hymba ?? LM ???? ??? ??? ???? ?? ??? SSM ??? ???? ???? ?? ??? ??? ????? ?? ????? ???? ???. Hymba? ??? ?? ????? ?? ?? ??? ?? ??? ???? ??? ??? SSM ?? ??? ?? ?? ?? ??? ???? ??? ???? ??? ?? ???? ??????. Hymba? ???, ???? ?? ? ?? ??? ?? Hymba? ???? ???? ??? ??? ??? ???? ???? ??? ???? ??? ??? ?????. ?? ? ??? ????? ?? ????? ??? ?? ??? ???? ???? ?? ???? LM ??? ?? ??? ??? ?????.
Hybma 1.5B Base ? Hymba 1.5B Instruct? ?? ??? ?????.
??? ?
? ??? Wonmin Byun, Zijia Chen, Ameya Sunil Mahabaleshwarkar, Shih-Yang Liu, Matthijs Van Keirsbilck, Min-Hung Chen, Yoshi Suhara, Nikolaus Binder, Hanah Zhang, Maksim Khadkevich, Yingyan Celine Lin, Jan Kautz, Pavlo Molchanov ? Nathan Horrocks? ??? ?? ???? ???? ???????.
