?? ??? ??? ????? ?? AI ????? ??? ?????. NVIDIA cuDNN? ?? ?????? ??? ???? ??? ????, CUTLASS? ?? ?????? ?? ?? ?????? ??? ?????. ??? ?? ???? ???? ??? ???????? ?? ?? ?? ??? ???? ??? ???.
???? Triton ????? NVIDIA Blackwell ?????? ??? ??? ????, Blackwell? ?? ??? ???? ????? ??? ?? ?????.
NVIDIA? OpenAI? ???? ?? ??, Triton ????? ?? NVIDIA Blackwell ????? ?????. ?? ?? ???? ???? Python ??? Triton ????? ???? Blackwell ????? ?? ??? ?? ??? ? ????.
NVIDIA Blackwell??? ?? ??
NVIDIA Blackwell ????? ?? ?? ??? ??? ?? ???? ? ??? ?????. NVIDIA? OpenAI? ??? ??? ??? Triton? ???? ???? ?? ???? ??? ? ??? ????? ? ??? ????, ?? ?? ? ?? ?? ???? ??? ?????.
- ?? ?? (Matrix Multiplications), ?? Flash Attention
- ??? ???(Precision) ?? ??
?? ?? ???
NVIDIA Blackwell ????? ???? ??? ???? ??? ???? ?? ??? ??? Tensor Core? ??????.
Triton? Matrix Multiply-Accumulate (MMA) ????? ??? ????, NVIDIA Blackwell? ??? Tensor Core? ???? ??? ? ??? ????. ?? ?? ??? ?? ??? ??? ????, ??? ???? ??? ???? ??? ??? ??? ???? ??(overlap)??? ??????.
? ??, FP8 ? FP16 GEMM ???? ??? ??? ?? ????, ??? ???? Triton? tl.dot ?? ??? ???? ?? ??? ???? ?????. Triton? ????? ??? ???? ?? ?? ???? ?? ??? ??? ??? ??????.
?? 1? Triton ???? NVIDIA Blackwell ?????? FP16 ? FP8 ??? ??? ?????? ?????. ? ??? ???? ??? AI(Generative AI) ??? GEMM ???? ??????, ?? ??? Triton ?????? ?????.
Flash Attention ???
Flash Attention? ?? Transformer ?????? ???? ????, NVIDIA Blackwell??? Triton? ??? ?? 1.5? ?? ??(FP16 ??)? ??????.
?? FP8 ? ?? ????? ???? ?? ??? ?? ?? ???? ?? ????, ?? ????? NVIDIA Blackwell?? ?? ??? ? ??? ???? ?? ?? ??? ??????.
??, ??? Triton ?? Flash Attention ??? ?? ?? ??? ????? ??? ?? ??? “??”? ????? ?? ??? ?????.
?? 2? Flash Attention ??? ??? ??? ??????? NVIDIA Blackwell ????? Triton ???? ???? ?? ??? ? ?? ??? ????? ?????. ?? ???? NVIDIA Hopper ????? ??? ??? ??????, ? ????? ???? ?????.
??? ???(Precision) ?? ??
NVIDIA Blackwell? ???? ?? ??? ?????(Block-scaled floating point) ??? ??????. ?? ?? ??? ????(OCP)? ???? ???? ??(microscaling formats)? ????, Triton? ?? ??? ??? NVIDIA Blackwell ???? ??? ?? ??? ? ??? ?????.
??? ??? ??? ??? ????? ?? ???? ???? ? ?? ?? ???? ?????? ??? ??????. ?? ?? LLM ?? ?????? ?? ???? ???? ??? ??? ?????.
MXFP8 GEMM ??? ?? FP8 GEMM ??? ??? ??? ??? ????, Tensor Core?? ?? ????? ??? ? ??? ?????.
MXFP4? ??? ???-?? ??(trade-off) ??? ????, FP8 ? MXFP8 GEMM ?? ?? 2? ??? ???? ?? ??? ?????.
??? ?? ??? ????? ??? ?? ??? ??? Triton? ?? ?????? ??? ? ????.
?? ??? ??
MXFP4? ?? ????? ??? ??? ???? ? ??? ?? ???? ??? ????. ?? ???? ????? ??? ?? ???? ??? ?? ????? ??? ??? ?????.
GEMM_K ?? ?? ??, ?? ??? ???? ?? ?? ??? ???? ????? ????. ??? ?? ???? ?? ?? ???(sub-tiling) ??? ??? ???? ???, ?? GEMM ?????? ??? ?????. ???? ?????? ???? ??(warp) ???? ???? ??? ??? ?????.
? ?? ??
Triton? ???? Phillippe Tillet? NVIDIA? ?? 3? 17? NVIDIA GTC ?????? NVIDIA Blackwell? Triton? ??? ??? ? ?? ??? ?? ???? ??? ??? ?????.
GTC 2025? ??? ?? ?????? ?????.
?? ???? Triton?? NVIDIA Blackwell? ???? ?? ??? ??? ???? ??????. ???? ?? ??? ??? ? ????.
- Triton? ?? ??? GitHub /triton-lang/triton ????? ?????.
- GPU MODE Discord ????? ??? ?????.
- ??? ?? ? ???? ???? ?????.
?????? ????? ????
NVIDIA ?? ??? Matthew Nicely? GitHub?? ???? ??? ?????.
