???? ?? ?? ??(LLM)? 2017?? ??? ????? ?? ????? ???? ???. 2017? ??? AI ??? ??? ??? ???? ? ? ????? ?? LLM? ??? ? ?? ??? ??? ?? ???????. ?? ????? ?? LLM? ??? ??, ??? ?? ??, ? ??? ?? ?? ???? ??????? ???? ????.
??? LLM? ??????? ????? ???? ????? ??? ?????. NVIDIA NeMo? LLM? ????, ?????, ??? ? ?? ?? ? ?? ???? ?????. NeMo ?????? ??? ??? Megatron-Core? PyTorch ?? ??????, ?? LLM? ?????? ? ??? ?? ?? ??? ???? ?????. ?? ???? ??? ?? ????? ????? NVIDIA ???? ?? ???? ??? ?????.
?? NVIDIA? NeMo? Megatron-Core? ?? ?? ?? ?? ??(SSM)? ?? ???? ? ????? ????? ??????. ?? NeMo? ?? Google DeepMind? ??? Griffin ???? ??? ???? ??? ?????.
?? ?? ????? ???? ?? ??? ??????
????? ??? ?? ??? ??? ????? ?? ??? ???? ???? ? ??? ??? ????? ??? ???? ??? ??? ??? ???? ?????.
??? ???? ?? ???? ??? ??? ?? 2???? ????? ??? ??? ???? ?? ???? ??? ???? ??? ?? ?????. ?? ?? ?? ???? ??? ??? ?? ????? ???? ?-? ?? ??(KV ???? ?)? ???? ???. ?? ?? ??? ??? ???? ?? ??? ??? ?????.
?? SSM? ???? ? ?? ??? ???? ??? ??? ??? ?? ??? ?? ????? ???? ????.
?? ???? ? ??? ??? ????? ???? SSM
SSM? ??? ??? ??? ?? ??? ?? ????? ??? ?? ???? ???? ? ?? ?????? ??? ?? ?? ??????.
SSM? ??? ??? ??? ????.
- ?? ???: SSM? ?? ? ??? ???? ?? ??? ??, ???? ? ?? ???? 2?????. ?, ????? ?? ? ????? ???? ??? ???? ???? ? ????.?
- ?? ?? ? ???: SSM? ???? ????? ?? ???? ??? ???? ??? ?? ???? ?? ??? ??? ? ??? ???. ? ?? ????? ?? ??? ???? ??? ???? ?? ? ????.?
- ???? ??: SSM? KV ??? ?? ??? ??? ??? ???? ???, ??? ?? ??? ??? ? ? ?? ??? ???? ?????.
SSM? ? ? ??? ??? ???? ??? ???? ?? ?? ??? ??? ??? ???? ?? ????? ???? ?????? ?? ???? Mamba-2(? ???? ????? ???? ?? ?? ?? ??) ??? ????? ???? ?? ??? ?????. ??? ??? 256K? ???? ?? Mamba-2 ???? ????? ????? 18? ? ????.?
?????: ?? ?? 4,096, 32? ??. Mamba-2: ?? ?? 4,096, ?? ?? 128, 8? ??.
AI ??????? Hyena, Mamba-1, ???? Mamba-2 ? ?? SSM ??? ??? ?? ????.
???? ?? ?? ??? ? Mamba-2
Mamba-2? ?? ?????? ?? ?? ???? ??? ?? ??????. Mamba-2? ???? ??? ???? ?? ?? ???(SSD) ???? ???, ?? ??? Mamba-1 ??? ??? SSM ??? ???? ????. ? ???? SSM ??? ?? ???? ????? NVIDIA Tensor ??? ??? ?? ?? ??? ??? ? ??? ???.
??? Mamba-2? Mamba-1? ?? ?? ? ??? ????? ? ????. ?? Mamba-2? ?? ??? ???? ?????? ???? ??? ???? ???? ????? ???? ? ?? ??? ???? SSD ???? ??? ? ?? ? ?? ??? ??? ? ????.
??? ?? SSM?? ??? ?? ?? ????. ?? ??, ?? ?? ? ????? ??? ???? ???? ?? ‘???? ?? ??’ ??? ?????? ???? ?? ??? ??????.
??? ???? ??? ??? ? ?? ????? ??
SSM, SSD, RNN, ?????? ???? ????? ??? ? ?? ????? ??? ????? ?? ??? ??? ? ????.
?? ???? NVIDIA ADLR(Applied Deep Learning Research) ??? ??? ????? ????? Mamba-????? ??? ??????. ??? ????? ???? ?? ????? ???? ??? SSM ???? ??? ???? ????? ? ????. ?? ??, ? ??? ??? 8B ????? ???? 56?? ???? ????. ??? ? 4?? ?? ??? ???, 24?? Mamba-2 ???, 28?? MLP(Multilayer Perceptron) ??????. ???? Mamba-2 ???? ?? ?? ??? ???? ?????? MLP ???? ?? ??? ??? ???? ???? ?????.
??? ??? ????? 8B Mamba-2-????? ??? ?? ??? “12?? ?? ?? ???? 8B ?????? ??”???. ?? 8B Mamba-2-?????? “?? ??? ??? ??? ? ?? 8? ? ?? ??? ??”???.?
Mamba-2-????? ??? ??? ???? ??? ??? ?? ? ??? ????? ?? ??? ? ?? ??? ???? ?????. ?? ??? ??? ??? ???? ?? 8B ????? ??? ?????? ? ??? ???? ???? 8B Mamba-2-????? ??? ?????? ? ??? ???? ?????.?
2,048? ??? ??? ???? ? ??? ??? ???? ?? ???? ????? ??? ??? ??? ????. ??? ??? ??? ?? 32,768?? ???? ???? ?? 8B ????? ??? ??? ???? ? ?? ?? ??, ????? ????? 13%? ?????. ?? ?? ??? 1?? ? ??? ?? ??? ??? ????? SSM-?????-????? ??? ??? ?? ?? ????.
??? ???? ?? ????? ???? ? ??
?? ???? ??? ??? ??? ?????? ???? ? ?? ?????. NeMo ? Megatron-Core? ????? ?? ?? ??? ?? ??? ??? ?? ??? ?? ????? SSM ? SSD? ?? ????? ??? ??? ??? ??? ????? ??? ????? ? ?? ??? ?????.
?? NeMo ?????? ????? ??? ??? ??? ? ??? ??? ?? ?? ??? ?????.
- Mamba-2? ??? SSD ?? ??.
- RG-LRU(Grifin ????) ??.?
- ?????/SSM ????? ?? ?? ??.
- Recurrent Gemma(Grifin), ?? Mamba-2 ??, 8B Mamba-2-????? ??? ?? ???? ??.
- ?? ? ?? ?? ?? ??.
??? ?????? ???? ?? 2? ?? ????, ?? ?? ???, FP8 ????? ?? ??? ???? ????.
?? ???
- GTC ??: LLM ?? ????? ?? ??(??: Quantiphi, Inc.)
- GTC ??: NeMo, TensorRT-LLM, Triton ?? ??? ???? LLM ?? ?? ? ??
- GTC ??: NVIDIA NeMo ? AWS? ?? LLM ???? ???
- SDK: NeMo
- SDK: NeMo LLM ???
- SDK: NeMo Megatron
