• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • AI Platforms / Deployment

    ??? NVIDIA NeMo ????? ???? ??? ??? ????? ?? ????? ???

    Reading Time: 7 minutes

    ??? AI? ??? ???? ???? ??? ??? ???, ???? ??? ???? ???? ??? ?? ???? ??? ?? ???? ???? ????. ??? ??? ????? ??? ??? ????? ??? ?? ????? ???? ?? ????? ????? ??? ? ????. ??? ??? ??? ?? ??, ?????, ?????? ? ??? ???? ??? ???? ????.

    ??? ????? ?? ???? ??? ?? ??? ???? ?????? ?? ??? ???? ???. ?? ????? ???? ???? ????, ???·??? ??? ????? ??? ? ??? ??? ????? ?? ??? ?????? ??????.

    NVIDIA? ??? ????? ??? ?? ??? ?? ??? ???? ????? ???? ?????, NVIDIA NeMo ?????? ??? ??? ????? ?? ??? ??????. ? ?????? ???? ?? ????, ???? ???? ??? ??, ?? ??? ?? ????, ??? ???? ????? ? ?? ??? ?????.

    ???? ?????? ??? ?? ???? ??? ????

    NeMo Curator? ???? ??? ??? ??? ??? ??? ???? ????? ???? ???? ??? AI ??? ???? ??? ??? ???.

    NeMo Curator? ?? ??? ??? ?????? ???? 100PB ??? ???? ????? ?????, ??? ??, ???? ? ????. ?? ??? ???? ??? ????? ?? NeMo Curator? ??? ?? ?? ??? ?????:

    • NVDEC: ???? ???
    • NVENC: ???? ???
    • Ray: AI ?????? ??? ?? ??? ?????

    NeMo Curator? ?? ??? ??? ??? ??? GPU? ??? ??? ????? ???? L40S GPU? NVENC? H100 ? GB200 GPU? ??? ????? ??????.

    ?? 1? NeMo Curator? 2,000? ?? ??? ??? ???? ?????, ?? ??? ???? ? ??? ??? ??? ?????. ??, ISO ?? ??? ???? ????? ?? CPU ?? ?????? ?? 1,000?? GPU? ??? ?? ??? 89? ???? ??? ??? ? ????.

    ?? 1. 89? ?? ??? ??? ??? ???? NeMo Curator

    NeMo Curator? ??? ????? ?? ??? ??? ?? ?? ??? ?? ??? ?? ?? ?????? ?????:

    • ???(Clipping)
    • ??(Sharding)

    ??? ?????? ??? ? ?? ??? ???? ?? ???? ????? ?? ???? ???? ???? ??? ?????. ??? ????? ??? ??? ???? ???? ??? ??? ???? ??? ???? ?????. ?? ?? ??? ??? ??? ???(H264)?? ???????, ?? ?? ??? ???? ?? ?? ?? ?? ????? ??? ??? ??? ? ???? ??? ?????.

    ?? 2. ??? ???? ??? ? ?? ?????

    ??? ??? ?? ??? ???? ???? ??? ???? ?? ? ?????? ?????. ?? NeMo Curator? ?? ????? ???? ?? ??? ???? ???? ?????? ? ??? ??? ??? ?? ???? ?? ????? ?? ??? ???? ??? ???(?? 3).

    ?? 3. ?? ?????? ???? ?? ?? ????? ???

    ???? ???? ??? ??

    ??? ??? ??? ?? ???? ??? ?? ???? ??? ? ???? ?? ?? ?? ?? ???? ???? ?? ???? ??? ?? ??? ?????.

    ?? NeMo ??????? Megatron-Energon ??? ??? ???? ??? ? ????:

    • ??? ??? ??: WebDataset ??? ???? TB ??? ??? ??? ?? ??? ???? ?? ? I/O ????? ????.
    • ???? ?? ? ??: ?? ??? ??? ? ?? ?? ? ?? ?????? ??? ? ??? ?? ??? ?? ???? ???? ???? ?????.
    • ??? ??: ??? ?? ?? ???? ???? ???? ?? ??? ???? ?? ???? ???? ?? ??? ??? ????? ??? ??? ?? ??? ??????. NeMo? ????? ??? ?? THD ??? ??? ???? ??? ???? ???? ??? ?????.
    ?? 4. ??? ??? ??? ?? ???-??? ??
    • ???? ??? ?? ??: ? ?? ?? ??? ?? ??? ?? ?? ?? ?? ??? ?? ??? ????? ?? ?? ??? ?? ???? ?? ???? ??? ??? ??? ????.
    ?? 5. ???? ??? ??? ?? ?? ??? ??

    ??? ????? ?? ?? ????

    ??? ????? ??? ?? ?? ?? ?? ?? ??? ? ????.

    ?? ?? ??(LLM)?? ? ??? NeMo ?? ???? ?? ?? ??? ???? ? ???, DiT, MovieGen ? ?? NVIDIA Cosmos ?? ????? ??? ?? ?? ???? ?? ??? ?? ???????.

    NeMo ?? ??? ??? ????? ?? ?????? 40% ??? ?? ??? ???(MFU)? ?????(? 1).

    ?? ?????? ?????? ????? GPU (TFLOPS/s)???(token/s/GPU)
    DiT 7B8kbaseline, no optimizationOOM 
    DiT 7B8kCP=24578,969
    DiT 7B74kTP=4 SP CP=44142,933
    DiT 28B8kTP=2 SP PP=24352,392
    DiT 28B74kTP=8 SP CP=4 PP=4411994

    ? 1. ?? ???(DiT)??? NVIDIA NeMo ?????? ?? GPU ??? ? ??? ????

    ??: CP=???? ?? ??, TP=?? ?? ??, SP=??? ?? ??, PP=????? ?? ??

    ??? ?? ????? ??

    ??? ?? ?? ?????? ????? ??? ?? ?? ??? ?????:

    • ??? ??? 3D ????? ?? ???? ???? ????? 3D ???? ??? ?????.
    • ?? ??? ??? ???? t? ??? ??? ?? ??? ??? ????? ???? ?????.
      • ???? ????? ??? ??? ???(AdaLN) ????? ?? ????, ?? ? ?? ?? ???(MFU)? ?? ????? AdaLN-LoRA? ??? ? ?? ??? ????.
      • ??? ????? ? ????? ??? ??? ??? ???? ?? ?????.
      • NeMo ?????? ???? ?? DiT ???? ?? ???? ?? ???(GQA)? ???? MovieGen Llama ????? ???? ????? ???? ???? ? ????.
    • ??? ?????? ??? ??? ???? ???? EDM ??? ??????? ??? ??? ?????.

    NeMo? ?? ?? ??? ????? ?? ??? ?? ?? ??? ?? ?? RMSNorm(Root Mean Square Layer Normalization)? ?????. ?? ?? ??? ???? ???? ?? ??? ???? RMSNorm? ?????.

    ?? 6. NeMo ??? ?? ?? ?????

    ??? ?? ??? ?? ?? ?? ???

    NeMo? Megatron-Core? ??? ?? ?? ?? ??? ?????:

    • ?? ??(TP)
    • ??? ??(SP)
    • ????? ??(PP)
    • ???? ??(CP)

    ??? ??? ??? ??? ?? ???? ???? ??? ??? ??? ? ????. NeMo? ??? ??? ????, ???? ?? ??? ?? ??? ???? ???. ? ??? ??? ????:

    • ????? ?? ???? ????? ?? ??
    • ???? DiT(ST-DiT) ???? ??
    • ??? ?? ?? ????

    ?? ?? ??? ????? ?? ?? ???? ??? ???? ?? ?? ??? ????, ????? ??? ?? ???? ?? ??? ????. NeMo? ? ????? ???? ??? ???? ?? ??? ? ??? ?????. ??? ??? ??? ??? ???? ????? ?? ??? ?? ???? ?? ?? ??? ????, ????? ?? ?? ??? ????.

    ?? 7. ???? ????? ?? ???? ???? ?? ???? ??

    ???? DiT(ST-DiT) ????? ? ??? ???? ?? ??? ?? ??? ??? ???? ? ????? ??? ?? ?? ? ??? ?? ??? ???? ?????. ? ?? ??? ??? ???? ?? ?? ?? ???? ?? ???? ?? ??? ???? ?? ?? ?? ?? ????? ?????. NeMo? ??/??? ???? ?? A2A ??? ?? ?? ??? ??? ???? ??? ??? ?? ???? ?? P2P ? ????? ?????? ? ??? ?????. ? ????? ?? ??? ???/??? ???? ??? ???? ????? ????? ?? ?? ??? ???? ?? ???? ?? ??? ??? ?? ? ????(? 2).

    ?? 8. ??-??? DiT ????? ??

    Figure 8. Spatial-temporal DiT transformer block

    ????? ????? ??????? ???
    ??? ?? ???
    (Temporal self-attention)
    ?? ????? ??? ? A2A(bhw/cp, t, d)
    ??? ?? ???
    (Spatial self-attention)
    ?? ????? ??? ? A2A(bt/cp, hw, d)
    ?? ???
    (Full attention)
    ? ???P2P ?? CP(b, h*w*t/cp, d)
    ? 2. ? ??? ???? ?? NeMo ?? ??

    ??: b=?? ??, hw=?? ??, t=?? ??, cp=???? ?? ??, d=??? ??, ?? ??? (b, th*w, d)???.

    ??? ??? ??? ?? ????? ??? ?? ?? ???? ??? ??? ???? ?????? ?? ????:

    • ?? ??(Time step)
    • ???? ???(Gaussian noise)
    • ?? ?? ???(The actual model weights)

    ? 3? NeMo? ??? ??? ?????.

    RNG ????? ?????? ??????? ???? ??
    ?? ?? (t)????????
    ???? ???????????
    ??? ???????????

    ? 3. ???? ?? ?????? ?? ??? ?? ??

    ??: ??=?? ?? ??? ?? ?? ??, ??=?? ?? ??? ??? ?? ??.

    ???? ????? ? ??

    NeMo ?????? ???? ???? ??? ??? ?? ??? ?? GPU? ?? ????, ?? ?? ?? ??? ?? ??????. ??? ??? ??? ?? ??? ???? ?? ??? ??? ??? ???? ?????, ?? Cosmos ??? ????? ??? ??????.

    ???? ??? ???, ?? 32?? H100 GPU? ??? ? 80~90%? ?? ???? ????, FP8 ?? ?? ???? GPU 1? ?? ? 28%, 32? ?? ? 48%? ?? ??? ??????.

    ?? 9. ???? ???? ?? ???? ??? ??
    ?? 10. ??? GPU ???? ?? ??

    ??

    ? ?????? ??? ????? ??? ????? ????? ?? ????? ?? ???? ? ??? NVIDIA NeMo ?????? ?? ???? ??????.

    NeMo Curator? ??? ? ?? ?????? ?? ??? ???? ??? ????? ????? ? ??? ????, Megatron Energon ?????? ???? ??? ??? ???????. ?? NeMo ?????? ?? ? ?? ?? ??? ??? ??? ?? ?? ?? ??? ?? ??? ??? ????? ??? ?? ??? ??? ???? ???. ?? ???, ??? ?? ??? ?? GPU? ???? FP8 ?? ?? ???? ??? ????? ? ?? ???? ??????.

    NeMo Curator ?? ??? ????? ?? ??? ???? ?????? ?????, ?? ??(??, ?? ??), ?? ??(??, ?? ??), ?? GPU ?????? ??(??, ?? ??)? ??? ? ?? NeMo ?????? ?? ?? ??? ???.

    ?? build.nvidia.com?? NVIDIA Cosmos ?? ????? ??? ??? ? ? ???, NVIDIA CEO ?? ?? CES ???? ???? NVIDIA Cosmos ?? ????? ?? ???? ?? ??? ??? ? ????.

    ??? ?

    ???? ?? ??? ??????: Parth Mannan, Xiaowei Ren, Zhuoyao Wang, Carl Wang, Jack Chang, Sahil Jain, Shanmugam Ramasamy, Joseph Jennings, Ekaterina Sirazitdinova, Oleg Sudakov, Linnan Wang, Mingyuan Ma, Bobby Chen, Forrest Lin, Hao Wang, Vasanth Rao Naik Sabavat, Sriharsha Niverty, Rong Ou, Pallab Bhattacharya, David Page, Jacob Huffman, Tommy Huang, Nima Tajbakhsh, Ashwath Aithal.

    ?? ???

    GTC ??: Babit ????? ?????? ??? ??? ???? ??? ?? ????? ????
    GTC ??: ????? ?? ????: AI ??? ??
    NGC ????: NeMo ?????
    SDK: NVIDIA NeMo ??????
    SDK: NeMo ?????
    SDK: NeMo Retriever

    Discuss (0)
    0

    Tags

    人人超碰97caoporen国产