????? ?? ?? ??? ???? ?? ?? ??? ??? ??? ???? ???? ??? ??? ??? ? ??? ?? ?? AI? ?? ???? ???? ??? ?????. ??? ???? ???? ?? ?? ???? ?? ??? ??? ??????? AI ??? ?? ????? ??(WFM)? ???, ??? ??? ??? ??? ?? ??? ???? ?? ??? ? ??? ?????.
NVIDIA Cosmos? ???? ???? ?? AI ???? ?? ??? ?? ??? ??? ? ??? ???? ??????. ??? ?????? ????, ??????? ????? ?? ?? ??? ?? ?? ?? ????? ??? ?? ?????.
? ?????? ?? AI ??? ????? Cosmos? ? ?? ??? ?? ?????.
NVIDIA Cosmos? ?? ?? ?? ?????
?? AI? ????? ??? ?????? ?? ??? ???? ???? ??? ??????. ?? ???? ?? ??? ?? ?? ????, ?? ?? ??? ?? ??? ???? ?? ??? ???? ??? ???. ?? ??? ???? ??? ???? ???? ??????? ???? ??? ? ??, ?? AI ??? ? ??? ???.
??? ???? ?? ??? ???? ??? ???, ?? ?? ??, ??? ?? ???? ?????. ?? ?? ??, ???? ???, ??? ?? ?? ??? ??? ? ????. ?? ??? ???? ?? ????? 3D ??????? ??? ?? ???? ??? ??? ???? ??? ????. ?? ???? ??? ????, ?? ???? ?? ???? ????, ?? ??? ???? ???? ????? ?? ?? ??? ???? ???? ?? ?? ????.
????? NVIDIA Cosmos ???? ?? AI ???? ?? ?? ?? ??? ??????. CUDA? ???? ??? Cosmos? ??? ?? ????? ??, ??? ?????, AI ?? ??? ?? ?????? ?????.
???? Cosmos ?? ????? ??? fine-tuning??? ???? ??? ??? ???? ?? ?? ??? ???? ? ????. ? ????? Cosmos ?? ????? ?? ??? ??? ?????:
- ???? ??? ??? ????? ?? NVIDIA NeMo Curator
- ????? ???? ???? ??? ???? ?? Cosmos Tokenizer
- ???? ? ???? ??????? ?? ?? ??? Cosmos ?? ????? ??
- ?? ???? ? ???? ?? NVIDIA NeMo ?????
?? AI? ?? ?? ??? ?? ????? ??
Cosmos ?? ????? ??? ????, ?? ??, ?? ?? ? ?? ?? ???? 2?? ?? ??? ???? ??? 9,000? ?? ???? ?? ??? ??? ??? AI ?????. ??? ??? ??? ?? ??? ?? ???? ?? ???? ???? ?? ??? ???? ????? ?? ??????? ????? ?? ?? ?? ??? ????? ??? ???? ??? ? ?? ?? ??? ?????? ?????.
Cosmos ??? ?? ??? ????? ? ?? ????? ?????. ? ?? ?? ????? ????? ???? ??, ??? ??? ???? ??? ? ???? ???? ???? ? ??? ???????.
?? ?? ??(Autoregressive Model)
Cosmos ?? ?? ??? ??? ??? ????? ???, ??? ???? ?? ??? ???? ???? ?? ??? ???? ???? ?????. ????? ??? ????? ???? ???, ?? ?? ??? ?? ? ?? ??? ??? ???????
- 3D RoPE(Rotary Position Embeddings)? ?? ??? ?? ??? ????? ????? ??? ???? ?? ???? ??? ? ??? ???.
- ??? ??? ???? ??? ??? ??? ? ?? ??, ???? ??? ?? ???? ??? ? ??? ????.
- QK ???(QK-normalization)? ?? ???? ??? ??? ???.
? ??? ?? ??? ????? ????, ?? ?? ?? ????? ?? 17?? ?? ???? ???? ???? ??? ?, 34???, ?????? ?? 121???(?? 50,000? ??)?? ?????. ?? ??? ??? ???? ?? ???? ??? ????, ??? ???? ???? ???? ?? ??? ??? ??? ???. ??? ???? ?? ?? ???, ? ??? ??? ??? ???? ??? ??? ??? ???? ???? ??? ? ????.
?? ??(Diffusion Model)
?? ??? ?? ???? ???? ?? ??? ??? ?? ????? ?? ???, ???, ???, ??? ??? ?? ?????. ?? ?? ?? ??? ???? ??? ???? ? ????.
?? ??? ? ?? ???? ?????.
- ??? ?? ??(Reverse Diffusion Process)
??? ? ???? ???? ????? ?? ???? ???? ???? ?????. - ??? ?? ??(Forward Diffusion Process)
?? ???? ?? ??? ?? ???? ???? ????? ??? ???? ??? ??? ???? ?????.
??? ??? ????, ??? ???? ??? ? ??? ???? ???? ???? ?, ??? ???? ??? ?? ???? ??????. Cosmos ?? ??? ?? AI ??? ???? ? ?? ?? ??? ???????.
- 3D ???(3D Patchification): ???? ?? ?? ??? ???? ??? ???? ?? ????? ?????.
- ????? ?? ???(Hybrid Positional Embeddings): ??? ?? ??? ?? ???? ??? ???? ??? ??? ???? ?????.
- ??? ??? ???(Cross-Attention Layers): ??? ??? ??? ??? ???? ??? ??? ??? ??? ?????.
- LoRA ?? ??? ??? ???(Adaptive Layer Normalization with LoRA): ?? ??? 36% ????? ?? ???? ?? ??? ??? ? ??? ????????.
??? ??? ?? ?? ??
???? ??, ??, ?? ??? ?? ?? ? ?? ?? ?? ??? ??? ? ????.
- Nano: ??? ??? ??? ?? ??? ???? ??
- Super: ?? ??? ???? ?? ??
- Ultra: ??? ??? ???? ????, ??? ??? ???? ? ??? ??
??? ??
Cosmos ?? ????? ??? ?? ??? ???? ???? ???? ?? ???? ????, ?? ?? ? ???? ??? ??? ??????. ???? ???? ?????, ??? ??? ????? ???? ??? ??? ?? ???(object permanence)? ???? ????? ??? ?? AI ?? ??? ????? ????.
Cosmos ?? ????? ??? ??? ??? ?? ????
AI ??? ???? ????, ??(hallucination) ??, ??? ?? ??, ???? ??, AI ?? ?? ?? ?? ?????. Cosmos? ??? ??? ???? ?? ??? ?? ?? ???? ???? ????, ?? NVIDIA? ??? ? ?? AI ???? ?????.
Cosmos ???? ???? ? ??? ?????.
Pre-guard (?? ?? ??)
? ????? ??? ???? ??? ?? ??? ????, ? ?? ???? ?????.
- ??? ??(Keyword Blocking): ????? ???? ?????? ???? ?? ???? ?????. ?? ??(lemmatization)? ??? ??? ??? ??? ????, ??? ??? ?? ??? ?????.
- Aegis ????(Aegis Guardrail): NVIDIA? fine-tuning? Aegis AI ??? ?? ??? ??, ???, ??? ?? ??? ????? ???? ?????. ???? ?? ????? ??? ??? ????, ?? ???? ?????.
Post-guard (?? ?? ??)
? ????? ??? ???? ???? ???? ?? ??? ?? ??? ????.
- ??? ??? ?? ???(Video Content Safety Classifier): ?? ??? ???? ??? ? ??? ???? ????, ???? ???? ?? ???? ???? ?? ???? ?????.
- ?? ?? ??(Face Blur Filter): RetinaFace ??? ??? ??? ??? ? ?? ?? ??? ???? ??? ?????. ?? ?? ????? ????, ??, ??, ??? ?? ??? ????.
??, NVIDIA ????? 10,000? ??? ????-??? ??? ????, ??? ??? ??(adversarial examples)? ????? ???? ????? ???? ?? ???? ?????.
Cosmos ?? ????? ??? 3D ???? ?? ??? ??
Cosmos ????? ?? AI ??????? ?? ?? ???? ???? ????? ??????? ?? ????? ??? ??? ????? ??? ??? ???. ????? ?? ??? ??? ?? ????? ??? ???? ???, ??? ???, ??? ??? ?? ??, Cosmos ????? ??? ??? ???? ?????? ??? ?????: 3D ??? ? ?? ????? ??? ??? ???? ?? AI ???? ??? ???? ???? ???? ?????.
3D ???(3D Consistency)
Cosmos ??? ?? ??? ???? ??? 500?? ??? ?? ???? ?? ??? ?? 3D ???? ???????. ??? ??? ???? ??? ?? ???? ???? ??? ????? ???????. ?? ??? ??? VideoLDM? ??????.
??? ?? ??
- ? ?? ???(View Synthesis Consistency): PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural Similarity Index), LPIPS(Learned Perceptual Image Patch Similarity) ?? ??? ???? ????, ?? ??? ??? ???? ??? ??? ??? ?????.
- ???? ???(Geometric Consistency): ???? ??? ??? ???? ?? ??(Sampson error)? ??? ?? ?? ???(Camera Pose Estimation Success Rate) ?? ??? ?????.
?? ??? ?? ???? ???? 3D ??? ? ????? ?? ?????. ????? PSNR? SSIM? ?? LPIPS? ???? ??? ??? ?? ?????.
| ?? | Sampson Error ↓ | Pose Estimation Success Rate (%) ↑ | PSNR ↑ | SSIM ↑ | LPIPS ↓ |
| VideoLDM | 0.841 | 4.40% | 26.23 | 0.783 | 0.135 |
| Cosmos 1.0 Diffusion Text2World 7B | 0.355 | 62.60% | 33.02 | 0.939 | 0.070 |
| Cosmos 1.0 Diffusion Video2World 7B | 0.473 | 68.40% | 30.66 | 0.929 | 0.085 |
| Cosmos 1.0 Autoregressive 4B | 0.433 | 35.60% | 32.56 | 0.933 | 0.090 |
| Cosmos 1.0 Autoregressive Video2World 5B | 0.392 | 27.00% | 32.18 | 0.931 | 0.090 |
| Real videos (reference) | 0.431 | 56.40% | 35.38 | 0.962 | 0.054 |
? 1. ???? ?? ????? ??? 3D ??? ??? ?? VideoLDM ?? ??
??
Cosmos ?? ??? 3D ??? ???? ?? ??? ????(? 1), ? ?? ???? ?? ? ??? ?? ???? ????. ??? ?? ?? ??? ??? ????, Cosmos ??? ?? ??????? ????? ??? ? ????.
??? ??
??? ??? Cosmos ??? ?? ??? ?? ??, ? ??, ??, ??? ??? ??? ? ????????? ?????. NVIDIA PhysX ? NVIDIA Isaac Sim? ???? ??, ??, ??, ?? ?? ??? ????? ?? 8?? ??? ????? ??????.
??? ??
- ?? ?? ???? PSNR(?? ? ???)? SSIM(??? ??? ??)? ???????. PSNR? ??? ??? ??? ?? ?? ?? ??? ??? ????? ????, ?? ??? ???? ?? ???? ??? ?????. SSIM? ??? ??? ?? ?? ?? ??, ??, ?? ???? ???? ???, ?? ???? ??? ??? ?????.
- ??(Feature) ?? ???? DreamSim? ???????. DreamSim? ? ???? ??? ??? ??? ???? ????, ?? ????? ??? ???? ???? ???(semantic) ???? ???? ? ??? ??? ????.
- ?? ?? ???? IoU(?? ?? ??)? ???????. IoU? ??? ?? ??? ?? ?? ??? ??? ????? ???? ???, ??????? ?? ??? ???? ???? ??? ??? ??? ?????? ???? ? ?????.
????? PSNR, SSIM, DreamSim, IoU ?? ???? ??? ??(Physical Alignment)? ???? ?????.
| ?? | Conditioning | PSNR ↑ | SSIM ↑ | DreamSim ↑ | Avg. IoU ↑ |
| Cosmos 1.0 Diffusion Video2World 7B | prompt + 1 frame | 17.34 | 0.54 | 0.84 | 0.332 |
| Cosmos 1.0 Diffusion Video2World 7B | prompt + 9 frames | 21.06 | 0.69 | 0.86 | 0.592 |
| Cosmos 1.0 Diffusion Video2World 14B | prompt + 1 frame | 16.81 | 0.52 | 0.84 | 0.338 |
| Cosmos 1.0 Diffusion Video2World 14B | prompt + 9 frames | 20.21 | 0.64 | 0.86 | 0.598 |
| Cosmos 1.0 Autoregressive 4B | 1 frame | 17.91 | 0.49 | 0.83 | 0.394 |
| Cosmos 1.0 Autoregressive 4B | 9 frames | 18.13 | 0.48 | 0.86 | 0.481 |
| Cosmos 1.0 Autoregressive Video2World 5B | prompt + 1 frame | 17.67 | 0.48 | 0.82 | 0.376 |
| Cosmos 1.0 Autoregressive Video2World 5B | prompt + 9 frames | 18.29 | 0.48 | 0.86 | 0.481 |
| Cosmos 1.0 Autoregressive Video2World 12B | 1 frame | 17.94 | 0.49 | 0.83 | 0.395 |
| Cosmos 1.0 Autoregressive Video2World 12B | 9 frames | 18.22 | 0.49 | 0.87 | 0.487 |
| Cosmos 1.0 Autoregressive Video2World 13B | prompt + 1 frame | 18 | 0.49 | 0.83 | 0.397 |
| Cosmos 1.0 Autoregressive Video2World 13B | prompt + 9 frames | 18.26 | 0.48 | 0.87 | 0.482 |
??
Cosmos ?? ??? ?? ??? ??? ???? ??? ???(? 2), ?? ??? ???? ????? ? ??? ?? ???????. ??? ?? ????? ??? ?? ??? ?? ?? ?? ?? ?? ?? ???? ? ? ???? ??? ?????. ??? ??? ????? ??? ?? ??? ?? ?? ????(object impermanence) ??, ??? ??? ???? ????? ??? ?? ???? ??(implausible behaviors) ?? ??? ??? ??? ???? ??????.
Cosmos? NVIDIA Omniverse? ??? ?? AI ?????? ???
- ??? ?? ? ??: ??? ? ??? ??? ???? ??? ??? ??? ?????, ?? ??? ??? ?? ?? ????.
- ?? ??? 3D-?? ?? ??? ??: NVIDIA Omniverse? ???? ???? 3D ????? ????, Cosmos? ???? 3D ??? ?? ???? ??? ?? ??? ???? ???? ??? ???? ?? ????? ?? ? ????.
- ?? ?? ?? ? ??: ?? ?? ?? ??? ??? ?? ???? ?? ??? ???? ?? ??(???? ????? ??? ???? ??)? ?? ???? ?? ??? ???? ??? ? ????. ?? ?? ??? ???? ?? ??? ?? ???? ??? ??? ???? ??? ?????? ?? ???? ?? ? ????.
- ?? ??? ?? ?? ??: Cosmos? ??? AI ??? ?? ??? ???? ???? ??? ??? ??? ? ??? ???.
- ???? ?????: Cosmos? NVIDIA Omniverse? ???? ?? ?? ??? ??????? AI ??? ?? ??? ?? ??? ??? ???? ??? ? ??? ????. ?? ?? ?? ????? ??? ?? ??? ?? ???????? ??? ?????.
???????? ??? ??? ????
Cosmos? ?? ?? ??? 2?? ?? ??? ??????.
?????? ??: Cosmos ?? ????? ??? ??? ?? ?? ? ??? ???? ???? ??? ??? ??? ??????? ?????. ??? ??? ??? ?? ???? ?? ?? ???? ???? ????? ??? ? ?? ?? ?? AI ??? ?? ??? ?????? ?????.
??? ??: ???? ???? ?? ??? ??? ???? ?? ??? fine-tuning?? ?? ???? ????? ??? ?? ?? ??????? ?? ??????? ???? ?? ??? ?? ?? ???? ???? ?? ?? ??? ?? ??? ?? ????? ??? ? ????. ??? fine-tuning ????? ??? ???? ???? ?? ?? ??? ???? ?? ??? ?? ?????.
Cosmos? ???? ??? ?? ?????, ??? ??? ? ?? ???? ?????? ?? ???? ? fine-tuning? ????? ???? ?? AI? ????? ?? ?? ?? ??? ?? ???? ??? ? ??? ?????.
NVIDIA NeMo Curator? ?? ??? ?? ???
???? ???? ??? ??? ???? ????, ?? ??? ???? ?? ?????. NVIDIA Cosmos?? NVIDIA ????? GPU? ???? NVIDIA NeMo Curator? ???? ??? ?? ? ???? ?????? ???? ????.
?? ?? ? AV ???? NVIDIA NeMo Curator? ?? ??? ??? ??? ????? ??? ? ????. ?? ??, 2,000? ??? ???? NVIDIA Hopper GPU??? 40? ?? ??? ? ???, ????? ?? CPU ???????? 3.4?? ??? ?? ?? NVIDIA Blackwell GPU??? 14? ?? ??? ? ????.
?? ??? ??? ????:
- 89? ??? ????: ?? ?? ?? ??
- ???: 100PB ??? ???? ???? ?????.
- ?? ???: ?? ???, ??, ????? ?? ?? ?? ?? ??
Cosmos Tokenizer? ?? ???? ?? ? ???
???? ????? ??? ??? ?? ???? ????? ???. ???? ??? ???? ?? ??? ??? ???? ??? ???? ?? ????? ???? ??? ? ?? ????.
Cosmos ??? ??? ??? ???? ??? ???? ???? ?? ??? ??? ???? ?? ? ????? ??????. ?? ?? ??? ??, ??? ?????? ???? ?????? 8?, ?????? 16×16?? ???? ? ?? ?? 49????? ?????. ?? ??? ?? ?? ?????? ?? 8?, ?? 8×8 ??? ???? ?? 121???? ?????.
NVIDIA NeMo? ?? fine-tuning
???? NVIDIA NeMo ?????? ???? Cosmos ?? ????? ??? fine-tuning? ? ????. NeMo ?????? ????? ??? ???? ????? ????? ?? ??? ????? ??? ??? ??? ? GPU ?? ????? ?? ????? ??????.
NeMo ?????? ??? ?? ???? ???? ????? ?????:
- ????? ??? ??? ??? ?? ??? ???? IO ????? ????.
- ?????? ?????? ?? ? ???? ??? ???? ??? ??? ??????.
- ???? ??? ???? ???? ??? ? ???? ???? ????.
NVIDIA Cosmos ????
Cosmos ?? ????? ??? ?? ???? NGC ? Hugging Face?? ??? ? ????. ???? NVIDIA API ?????? Cosmos ?? ????? ??? ??? ?? ????. ?? API ?????? ??? ????? ???? ????? ???? ?, ?? ??? AI ???? ?? ??? ? ?? ?? ???? ???, ?? ?? ??????? ??? ???? ????? ?? ??? ??? ? ????. ??? ????? ??? ?????.
???? ??? ?? ?????? ?? NeMo Curator? ??? ??? ? SDK? ?????. ???? ?? ?? ???? ??? ? ????. Cosmos ?????? ?? ?? ?????? GitHub ? Hugging Face?? ??? ? ????.
?? ???
- GTC ??: ?? AI? ?? NVIDIA Cosmos ??
- GTC ??: ???? ??? ?? NVIDIA Cosmos ?? ????? ?? ??
- GTC ??: NVIDIA Cosmos ?? ????? ?? ??
- SDK: NVIDIA NeMo ??????
- SDK: Isaac Lab
- SDK: PhysX
