?? ?? ??? ??? ??? ???? ?? ???? ?? ????? ???? ????? ??? ??? AI ??? ??? ? ?? ?? ??? ?????. ???? ??? ??? ???? ???? ? ??? ??? ??? ?? ?? ???? ?????? ???? ????? ???? ??? ??? ??? ? ??? ???? AI? ?? ??? ?????.
Zyphra? ??? ????? ?? ??? ??? ???? ??? ??? ?? ??? ??? ????? AI ???? ? ?? ??? ? ??? ???.
??? ??? ???? ?? Zyphra ?? NVIDIA NeMo Curator ?? ??? ???? Zyda-1? 5? ??? 5T ???? ??? ??? ??? ?? ?? ??? ??? Zyda-2? ??????. ? ??? ??? ???? ??? ???? ???? ?? ??? ???? ??? ????, ?? Zamba? ?? ???? ??? ?? ??? ???? ? ?? ?????.
Zyda-2? ??? ?? LLM ????
Zyda-2? ???? ?? ??? ??? ??? ??? ??? ?? ?? ??? ?? ??? ? ???? ??? ?? ?? ?? ??? ??????. ?? Zyda-2? ?? ?? ??? ??? ??? ??? ????? ??? ???? ?????.
?? 1? ?? ?? ???? Zyda-2? ??? ?? ?? ?? ?? ??? ??? ???? ??? ??? ???? ?? ?????. Zyphra ?? Zamba2-2.7B ???? ??? ???? ? ??? ??? ?????, ? ??? MMLU, Hellaswag, Piqa, Winogrande, Arc-Easy ? Arc-Challenge? ?????.
Zyphra? ?? ???? ?????? ???? ?? ???? ??? ???? ?? ?? ???? ?? ??? ???? ????? ? ??? ??? ????. Zyphra ?? ?? Zyda-2 ??? ??? ?? ???? 7B ???? ????? ??? Zamba2-7B? ???? ?????? ?? ???? ???? ??? ??? ??? ? ??? ??? ??? ?? ??? ??? ? ????.
?? GPU ?? ??? ?? ?? ?? API? ?? ?? ??? ? ??? NVIDIA NIM ???????? ???? Zamba2-7B? ??????.
Zyda-2? ?? ??
Zyda-2? DCLM, FineWeb-edu, Dolma, Zyda-1? ?? ??? ??? ??? ?? ??? ?????. ??? ???? ?? ?? ??? ???? ? ??? ??? ??? ???? ??????. Zyda-2? ??? ??? ??? ?? ??? ??? ??? ?? ? ??? ??? ?? ?? ??? ?? ??? ??? ??, ?? Zyda-1 ?? ??? ? ???? ???? ?? ? ?? ??? ? ?????.
???, ? ?? ?? ??? ???? ??? ???? ???, Zyda-2 ??? ??? ???? ??? ??? ?? ? ????. ?? ??? ???? ???? ?? ??? ?? ??? ?? ?? ? ?? ??? ??? ??? ??? ??? ??? ?? ?????.
??? Zyphra? ??? ?? ?????? ???? ??? ??? ???? ?? NVIDIA NeMo Curator? ??? ?????.
??? ?? ???? NeMo Curator? ??
NeMo Curator? ?? ?? ? ??????? ?? ???? ??? ??? ??? ???? ??? AI ?? ??? ???? GPU ?? ??? ???? ????????.
Zyphra? ??? ?? ???? ?? ????(Yury Tokpanov)? “NeMo Curator? ??? ??? ?? ?? ??? ??? ? ???? ??? ????. GPU? ???? ??? ?? ?????? ??????? ?? ?? ?????(TCO)? 2? ???? ??? ?? ??? 10?(3??? 2?? ??) ?? ? ?????. ???? ??? ????? ??? ??? ???? NeMo Curator? ???? ??? ??? ???? ??? ??? ? ??? ??? ??? ??? ?????.”
GPU?? ?????? ????? ?? NeMo Curator? cuDF, cuML, cuGraph? ?? RAPIDS ?????? ???? 100TB ??? ???? ??? ? ????. ??? ???? ??? AI ??? ???? ????? ? ?? ?????. ??? ??? ????? ????? ?? NeMo Curator? ???, ??, ??? ?? ??, ??? ??, ?? ??? ?? ? ?? ?? ??? ?????.
Zyphra? NeMo Curator? ?? ??? ???, ?? ? ?? ????? ????? ????? ?? ?? ??? ???? ? ??? ??? ??? ??? ? ?????.
?? ?? ? ?? ??? ??? NeMo Curator? ??? Zyda-2? ?? ?? ?? ??? ??? ??? ??? ? ?? ?? ??? ?? ???? ???? ? ????????. NeMo Curator? ??? LSH ???(minhashing) ??? ?? ?? ?? ??? Zyphra? ?? DCLM ??? ???? ?? ??? ???? ???? ??? ???? 13%? ?? ???? ? ??? ?????.
?? ??? ??? Dolma-CC ? Zyda-1 ?? ?? ??? ?? ??? ???? ?? ???? ?? 25%? 17%? ???? ??????. Zyda? ?? ?? ??? ??? ??? ?? ??? ???? ??? ????? ??? ??????.
?? 2? ?? ??? ??? ??? ?? ???? ???? ? ???? ??? ?? ?????. ? ??? ?? Zyda ? Dolma ??? ??? 500? ? ??? ?? ??? NeMo Curator? ?? ????? ‘??’ ??? ?? ??? ??? ??? ??? ????.
????
Hugging Face?? ?? Zyda-2 ??? ??? ?????? ? ?? ???? ??? ?????. ?? ??? ??? ???? ?? ? ?? ??? ?? Zyda-2? ???? ????? ??? ? ?? ODC-By ????? ?? ?????.
??? ??? /NVIDIA/NeMo-Curator GitHub ?????? Zyda-2 ????? ?????. ?? NVIDIA API ?????? ?? ??? Zamba2-7B NIM ???????? ??? ? ?? ????.
?? ???
- GTC ??: NVIDIA NeMo ? AWS? ??? LLM ?? ???
- GTC ??: NeMo, TensorRT-LLM ? Triton ?? ???? ???? LLM ?? ?? ? ??
- GTC ??: ???? ?? ?? ??(LLM) ??? ??
- SDK: NeMo ?? ???????
- SDK: NeMo LLM ???
- SDK: NeMo Megatron
