??? AI? ??? ???? ???? ??? ??? ???, ???? ??? ???? ???? ??? ?? ???? ??? ?? ???? ???? ????. ??? ??? ????? ??? ??? ????? ??? ?? ????? ???? ?? ????? ????? ??? ? ????. ??? ??? ??? ?? ??, ?????, ?????? ? ??? ???? ??? ???? ????.
??? ????? ?? ???? ??? ?? ??? ???? ?????? ?? ??? ???? ???. ?? ????? ???? ???? ????, ???·??? ??? ????? ??? ? ??? ??? ????? ?? ??? ?????? ??????.
NVIDIA? ??? ????? ??? ?? ??? ?? ??? ???? ????? ???? ?????, NVIDIA NeMo ?????? ??? ??? ????? ?? ??? ??????. ? ?????? ???? ?? ????, ???? ???? ??? ??, ?? ??? ?? ????, ??? ???? ????? ? ?? ??? ?????.
???? ?????? ??? ?? ???? ??? ????
NeMo Curator? ???? ??? ??? ??? ??? ??? ???? ????? ???? ???? ??? AI ??? ???? ??? ??? ???.
NeMo Curator? ?? ??? ??? ?????? ???? 100PB ??? ???? ????? ?????, ??? ??, ???? ? ????. ?? ??? ???? ??? ????? ?? NeMo Curator? ??? ?? ?? ??? ?????:
NeMo Curator? ?? ??? ??? ??? ??? GPU? ??? ??? ????? ???? L40S GPU? NVENC? H100 ? GB200 GPU? ??? ????? ??????.
?? 1? NeMo Curator? 2,000? ?? ??? ??? ???? ?????, ?? ??? ???? ? ??? ??? ??? ?????. ??, ISO ?? ??? ???? ????? ?? CPU ?? ?????? ?? 1,000?? GPU? ??? ?? ??? 89? ???? ??? ??? ? ????.
NeMo Curator? ??? ????? ?? ??? ??? ?? ?? ??? ?? ??? ?? ?? ?????? ?????:
- ???(Clipping)
- ??(Sharding)
??? ?????? ??? ? ?? ??? ???? ?? ???? ????? ?? ???? ???? ???? ??? ?????. ??? ????? ??? ??? ???? ???? ??? ??? ???? ??? ???? ?????. ?? ?? ??? ??? ??? ???(H264)?? ???????, ?? ?? ??? ???? ?? ?? ?? ?? ????? ??? ??? ??? ? ???? ??? ?????.
??? ??? ?? ??? ???? ???? ??? ???? ?? ? ?????? ?????. ?? NeMo Curator? ?? ????? ???? ?? ??? ???? ???? ?????? ? ??? ??? ??? ?? ???? ?? ????? ?? ??? ???? ??? ???(?? 3).
???? ???? ??? ??
??? ??? ??? ?? ???? ??? ?? ???? ??? ? ???? ?? ?? ?? ?? ???? ???? ?? ???? ??? ?? ??? ?????.
?? NeMo ??????? Megatron-Energon ??? ??? ???? ??? ? ????:
- ??? ??? ??: WebDataset ??? ???? TB ??? ??? ??? ?? ??? ???? ?? ? I/O ????? ????.
- ???? ?? ? ??: ?? ??? ??? ? ?? ?? ? ?? ?????? ??? ? ??? ?? ??? ?? ???? ???? ???? ?????.
- ??? ??: ??? ?? ?? ???? ???? ???? ?? ??? ???? ?? ???? ???? ?? ??? ??? ????? ??? ??? ?? ??? ??????. NeMo? ????? ??? ?? THD ??? ??? ???? ??? ???? ???? ??? ?????.
- ???? ??? ?? ??: ? ?? ?? ??? ?? ??? ?? ?? ?? ?? ??? ?? ??? ????? ?? ?? ??? ?? ???? ?? ???? ??? ??? ??? ????.
??? ????? ?? ?? ????
??? ????? ??? ?? ?? ?? ?? ?? ??? ? ????.
?? ?? ??(LLM)?? ? ??? NeMo ?? ???? ?? ?? ??? ???? ? ???, DiT, MovieGen ? ?? NVIDIA Cosmos ?? ????? ??? ?? ?? ???? ?? ??? ?? ???????.
NeMo ?? ??? ??? ????? ?? ?????? 40% ??? ?? ??? ???(MFU)? ?????(? 1).
| ?? ?? | ???? ?? | ???? ?? | ??? GPU (TFLOPS/s) | ???(token/s/GPU) |
| DiT 7B | 8k | baseline, no optimization | OOM | |
| DiT 7B | 8k | CP=2 | 457 | 8,969 |
| DiT 7B | 74k | TP=4 SP CP=4 | 414 | 2,933 |
| DiT 28B | 8k | TP=2 SP PP=2 | 435 | 2,392 |
| DiT 28B | 74k | TP=8 SP CP=4 PP=4 | 411 | 994 |
? 1. ?? ???(DiT)??? NVIDIA NeMo ?????? ?? GPU ??? ? ??? ????
??: CP=???? ?? ??, TP=?? ?? ??, SP=??? ?? ??, PP=????? ?? ??
??? ?? ????? ??
??? ?? ?? ?????? ????? ??? ?? ?? ??? ?????:
- ??? ??? 3D ????? ?? ???? ???? ????? 3D ???? ??? ?????.
- ?? ??? ??? ???? t? ??? ??? ?? ??? ??? ????? ???? ?????.
- ???? ????? ??? ??? ???(AdaLN) ????? ?? ????, ?? ? ?? ?? ???(MFU)? ?? ????? AdaLN-LoRA? ??? ? ?? ??? ????.
- ??? ????? ? ????? ??? ??? ??? ???? ?? ?????.
- NeMo ?????? ???? ?? DiT ???? ?? ???? ?? ???(GQA)? ???? MovieGen Llama ????? ???? ????? ???? ???? ? ????.
- ??? ?????? ??? ??? ???? ???? EDM ??? ??????? ??? ??? ?????.
NeMo? ?? ?? ??? ????? ?? ??? ?? ?? ??? ?? ?? RMSNorm(Root Mean Square Layer Normalization)? ?????. ?? ?? ??? ???? ???? ?? ??? ???? RMSNorm? ?????.
??? ?? ??? ?? ?? ?? ???
NeMo? Megatron-Core? ??? ?? ?? ?? ??? ?????:
- ?? ??(TP)
- ??? ??(SP)
- ????? ??(PP)
- ???? ??(CP)
??? ??? ??? ??? ?? ???? ???? ??? ??? ??? ? ????. NeMo? ??? ??? ????, ???? ?? ??? ?? ??? ???? ???. ? ??? ??? ????:
- ????? ?? ???? ????? ?? ??
- ???? DiT(ST-DiT) ???? ??
- ??? ?? ?? ????
?? ?? ??? ????? ?? ?? ???? ??? ???? ?? ?? ??? ????, ????? ??? ?? ???? ?? ??? ????. NeMo? ? ????? ???? ??? ???? ?? ??? ? ??? ?????. ??? ??? ??? ??? ???? ????? ?? ??? ?? ???? ?? ?? ??? ????, ????? ?? ?? ??? ????.
???? DiT(ST-DiT) ????? ? ??? ???? ?? ??? ?? ??? ??? ???? ? ????? ??? ?? ?? ? ??? ?? ??? ???? ?????. ? ?? ??? ??? ???? ?? ?? ?? ???? ?? ???? ?? ??? ???? ?? ?? ?? ?? ????? ?????. NeMo? ??/??? ???? ?? A2A ??? ?? ?? ??? ??? ???? ??? ??? ?? ???? ?? P2P ? ????? ?????? ? ??? ?????. ? ????? ?? ??? ???/??? ???? ??? ???? ????? ????? ?? ?? ??? ???? ?? ???? ?? ??? ??? ?? ? ????(? 2).
Figure 8. Spatial-temporal DiT transformer block
| ??? | ?? ??? | ?? ????? | ?? ??? |
| ??? ?? ??? (Temporal self-attention) | ?? ??? | ?? ??? ? A2A | (bhw/cp, t, d) |
| ??? ?? ??? (Spatial self-attention) | ?? ??? | ?? ??? ? A2A | (bt/cp, hw, d) |
| ?? ??? (Full attention) | ? ??? | P2P ?? CP | (b, h*w*t/cp, d) |
??: b=?? ??, hw=?? ??, t=?? ??, cp=???? ?? ??, d=??? ??, ?? ??? (b, th*w, d)???.
??? ??? ??? ?? ????? ??? ?? ?? ???? ??? ??? ???? ?????? ?? ????:
- ?? ??(Time step)
- ???? ???(Gaussian noise)
- ?? ?? ???(The actual model weights)
? 3? NeMo? ??? ??? ?????.
| RNG ?? | ??? ?? | ???? ?? | ????? ?? | ?? ?? |
| ?? ?? (t) | ?? | ?? | ?? | ?? |
| ???? ??? | ?? | ?? | ?? | ?? |
| ??? ??? | ?? | ?? | ?? | ?? |
? 3. ???? ?? ?????? ?? ??? ?? ??
??: ??=?? ?? ??? ?? ?? ??, ??=?? ?? ??? ??? ?? ??.
???? ????? ? ??
NeMo ?????? ???? ???? ??? ??? ?? ??? ?? GPU? ?? ????, ?? ?? ?? ??? ?? ??????. ??? ??? ??? ?? ??? ???? ?? ??? ??? ??? ???? ?????, ?? Cosmos ??? ????? ??? ??????.
???? ??? ???, ?? 32?? H100 GPU? ??? ? 80~90%? ?? ???? ????, FP8 ?? ?? ???? GPU 1? ?? ? 28%, 32? ?? ? 48%? ?? ??? ??????.
??
? ?????? ??? ????? ??? ????? ????? ?? ????? ?? ???? ? ??? NVIDIA NeMo ?????? ?? ???? ??????.
NeMo Curator? ??? ? ?? ?????? ?? ??? ???? ??? ????? ????? ? ??? ????, Megatron Energon ?????? ???? ??? ??? ???????. ?? NeMo ?????? ?? ? ?? ?? ??? ??? ??? ?? ?? ?? ??? ?? ??? ??? ????? ??? ?? ??? ??? ???? ???. ?? ???, ??? ?? ??? ?? GPU? ???? FP8 ?? ?? ???? ??? ????? ? ?? ???? ??????.
NeMo Curator ?? ??? ????? ?? ??? ???? ?????? ?????, ?? ??(??, ?? ??), ?? ??(??, ?? ??), ?? GPU ?????? ??(??, ?? ??)? ??? ? ?? NeMo ?????? ?? ?? ??? ???.
?? build.nvidia.com?? NVIDIA Cosmos ?? ????? ??? ??? ? ? ???, NVIDIA CEO ?? ?? CES ???? ???? NVIDIA Cosmos ?? ????? ?? ???? ?? ??? ??? ? ????.
??? ?
???? ?? ??? ??????: Parth Mannan, Xiaowei Ren, Zhuoyao Wang, Carl Wang, Jack Chang, Sahil Jain, Shanmugam Ramasamy, Joseph Jennings, Ekaterina Sirazitdinova, Oleg Sudakov, Linnan Wang, Mingyuan Ma, Bobby Chen, Forrest Lin, Hao Wang, Vasanth Rao Naik Sabavat, Sriharsha Niverty, Rong Ou, Pallab Bhattacharya, David Page, Jacob Huffman, Tommy Huang, Nima Tajbakhsh, Ashwath Aithal.
?? ???
GTC ??: Babit ????? ?????? ??? ??? ???? ??? ?? ????? ????
GTC ??: ????? ?? ????: AI ??? ??
NGC ????: NeMo ?????
SDK: NVIDIA NeMo ??????
SDK: NeMo ?????
SDK: NeMo Retriever
