NVIDIA GTC 2023?? ??? NVIDIA AI ????? ???? ??

NVIDIA GTC 2023?? ??? NVIDIA AI ????? ???? ??? ?? ????? ????? ??? ???? ?????. ?? ????? NVIDIA RAPIDS? NVIDIA Triton, CV-CUDA ??? ??? ???? ????? ?? ??, AI ???? ??? ?? ??? ??? ?????.

NVIDIA ??? ? CEO? ?? ?(Jensen Huang)? GTC 2023 ???? ???? NVIDIA SDK? ?? ???? ?????.

??? ???? NVIDIA RAPIDS ???

?? NVIDIA AI Enterprise 3.1 ????? ????? ??? ???(Apache Spark)? NVIDIA RAPIDS ???? ??? ? ????. ??? ??? 3?? ??? ??? ??, ?? ??? ?????? ??? ?? ??? ?? ??, ??? ??? ?????.

?? ???? ??? ??? ????.

• ?? ????? ??: ?? ???? ???(Google Cloud Platform, GCP)? ?????(Dataproc)? ???(Amazon) EMR, ??(Azure)? ??? ? ???(AWS)? ?????(Databricks), ?????(Cloudera)
• Accelerated Spark Analysis Tool? ?? ?? ??? ??? GPU ???? ??? ?? ???? ?? ?? ???
• NVIDIA AI Enterprise? ???? ??? ?? ??? ?? ?? ?? ??, NVIDIA? ??? ???? ??? ??

?? ?? ??? ???? ???? ?? ??? ??? ????? GPU ??? ????, ?? 4? ?? ????? ???? ??? ????.RAPIDS RAFT ??? ???

??? GTC ??? ??????.

• RAPIDS? ??? ??? ???? ?? ????

NVIDIA RAPIDS

??? ?? ??(LLM)? ?? ???, ??? ?? ?? ?? ???? ?? ?? ??? ???? ?? ??? ????. GTC 2023?? NVIDIA? ??? RAPIDS RAFT? ??? ??? ?? ?? ??(ML) ?? ??? ???? ???? ?? ?? ??? ?????.

RAPIDS RAFT ??? ?? ?? ??????? ?? ??? ?? ??? ??? ??? ??, ??? ?? ??? ??? ?? ???? ??? ?? ??? ??? ? ????.

RAPIDS RAFT? ?? ??? ??? ????.

• GPU?? ??/?? ???(Exact and Approximate Nearest Neighbor) ?????(primitive)?? ??? ?? ?? ?? ??? ?? ??.
• RAFT ?? ??? ??? ?? CPU ?? ??? 95?, ?? ?? ?? ??? ?? 3??? ?? ??.

NVIDIA? ?? ???(FAISS)? ???(Milvus), ???(Redis)? ????, ? ?????? RAFT? ???? ??? ?? ?? ??? ???? ????. ?? RAFT? ???? ??? GPU ?? ???? ? ??? ?????.

RAPIDS RAFT? ?? ?? ??? ? ? ??? ??? ?? ? ??? ??? ?/rapidsai/raft ??? ???? ?????.

??? GTC ??? ??????.

• ?? ??? ???? ?? ??? ?? ??? ????
• ??(batching) ????? ??? ???? ?? ??? ??, GPU ??? ?? ??? ?? ?????
• RAPIDS? ???(Python) ??? ???? ???? ????

NVIDIA CV-CUDA

2023? 4?? ?? ?? ??? ?? CV-CUDA? AI ??? ??? GPU ?? ??/?? ?? ?????? ???? ??? ???? ?? ??? ?? ?? ????????.

?? ??? ??? ????.

• 30? ??? ??? ?? ???? C/C++? ??? API? ???? ??? ??????, ?? ?????? ??
• ?? ?? ???(variable-shape image)?? ?? ??
• TensorFlow? ????(PyTorch)? ?? ?? ????? DL?(DLPack)? CUDA ??? ?????
• ?? ??? PIP ??? PyPi ??? ??
• CV-CUDA? TensorRT, VPF? ??? ???? ??? ???? NVIDIA Triton Inference Server ??

? ??? ??? /CV-CUDA ??? ??? ?????.

??? GTC ??? ??????.

• AI ?? ???? ??? ?? ?????? ??/?? ?? ?? ?? ????
• ???? ??? AI ?? HD ?? ????
• ???? ??: NVIDIA ?????? ??? GPU ?? ??? ??
• NVIDIA DeepStream? ??? GPU ?? ?????? AI ?????? ????

NVIDIA cuLitho

??? ?????(lithography)? ?? ????? ?????? cuLitho? ??? ?? ?? ??? ????? NVIDIA Hopper GPU??? 40? ??? ?????.

??? ??? ?? ?????? ???? ????? ???? ???? ???? ??? ???? ??? ?? ?? ????. ?? ???? ?? ?? ??(OPC)? ?? ??? ????? ???? ??? ???? ??. ? ??? ???? ??????? ?? ?? ??? ??? ????? ?????? ?????.

NVIDIA cuLitho? ??? CPU ?? ????? ?????? ??? ? ??? ?? ??? GPU ?? ??? ?????? ?? ???? ?? ????? ?? ????????.

?? ??? ??? ????.

• ???(mask) ?? ??? 2??? 8???? ??
• ????? ???: ??? 8??1, ??? 4??1, ??? 9??1? ??
• ??? OPC? High-NA EUV ?? ??? ????? ??? ??

? ??? ??? ?????? ??? NVIDIA cuLitho? ?????.

??? GTC ??? ??????.

• ??? ????? ????: ??? ??? ??? ??
• ??? ?? ?? ???? AI

NVIDIA Triton

?? ?? ?? ??? ??????NVIDIA Triton Inference Server? ?? ????? ?? ????? ?????? ??? ??? ?? ??? AI? ?????. NVIDIA Triton?? ???? 66?? ??? ??? ? ????.

????? ???? ??? ??? ????.

• ??? ????? PyTriton? NVIDIA Triton? ???? ??? ?? ??? ??? ??? ??????? ??? ?? ??? ??? ?????? ??.
• Model Analyzer? ?? ???? ?? ?? ??.
• ????(Paddle Paddle) ??, ???? ???????(FastDeploy)? ??.
• FasterTransformer ???? ??(BERT)? ?? ??? ??(Hugging Face BLOOM), GPT? FP8 ??? ??.
• NVIDIA Triton ?? ???(?? ???) ?? ?? ???? ??? ??? ???? ??? ?? ?? ??.

??? ??? ?? ???? ??? NVIDIA LaunchPad? ??? ???? ???? ?? ??? ??? ? ????.

NVIDIA Triton? ???? ??????? ??? ????.

??? GTC ??? ??????.

• AI ??? ?????? ?? ?: Triton Inference Server? ?? ?????
• ??? ????? ??? ??? ??
• ???? ??: ? ?? ??? ???? ??, ??? ????

NVIDIA TensorRT

??? ? ?? ??? ?? SDK? NVIDIA TensorRT? ? ?? ?? ?????? ???? ?? ??????? ?? ??? ??? ???? ????.

??? ??? ??? ??? ????.

• ??? AI ?? ??? ????? ??? ?? ?? ???  
• ??? GPU ????(NVIDIA Ampere ???? ??)?? ??? ??? ????? ???? ??? ??
• TensorRT 8.6 ??? ???? ?? ? ??? ??? ??? ?? ???
• GPT-3 ??? ?? ?? GPU, ?? ?? ??? ?? ???

??? ??? ?? ???? ??? NVIDIA LaunchPad? ??? ???? ???? ?? ??? ??? ? ????.

TensorRT? ???? ??????? ??? ????.

??? GTC ??? ??????.

• TensorRT 8.6: ????? ?? ???
• Torch-TensorRT ??? ?? ???? ?? ???? ??? ?? ????
• ???-?-???(Sequence-to-Sequence) ??? ?? ????? ?? ???/??? ?? ?? ???

NVIDIA TAO Toolkit

TAO Toolkit ????? ?? ?? ??(transfer learning)? ??? ??? ??? ???? ???? ????? ???? ?? ?????? ??? ? ?? ????. ? ????(low-code)? AI ??? ????? ?? ??? ??????? ????? ?? ?? ??? ?? AI ?? ??? ?????.

?? ????? ?? ??? ??? ????.

• ??? ??? ???? ??, ?????? ??? ?? ??? ?? ?????? ??? ??
• ?? ?? ?????? ???? ?? AI ?? ?? ?? ??
• ??? ??? ??(ONNX) ?? ????? ?? GPU? CPU, MCU ? ?? ??? TAO ??? ?? ??
• TAO? ?? ?? ???? AI? ???? ?? ??? ??

? ??? ??? ‘NVIDIA TAO Toolkit 5.0? ??? ??? ?? AI ?? ?? ?????? ?????’? ?????. ???? AI ??? TAO Toolkit?? ???????? LaunchPad?? ??????.

??? GTC ??? ??????.

• TAO? ????? AI ??
• ?? AI ??? ??? ??? ???? ?? ?????(NetsPresso)?? TAO Toolkit API ????
• ?? ? ??? ??? ??? ???? ???? ?

NVIDIA DeepStream

NVIDIA? ??? ?? ??? DeepStream? ??? ???? ?????. ?? ?? ????? ????, ??? ???? ???? ??? ?? ???? ??? ?????. ??? DeepStream ????? ???? ?? ????? ??? ?? ???? ???? ???? Industry 5.0? ??? ?? ??? ??? ??? ? ????.

???? ??? ??? ????.

• ??? ?? ????(extension)
• ?? ???? ??? ??? ??? ???
• ?? ???? ????

? ??? ??? ‘NVIDIA DeepStream SDK ????’? ????, LaunchPad?? ??????.

??? GTC ??? ??????.

• NVIDIA DeepStream? AI-???? Software Tools ??
• NVIDIA DeepStream? ??? GPU ?? ?????? AI ?????? ????

NVIDIA Quantum

NVIDIA? ?? ??? ?????? ????? ??-?? ???? ??, ????? ??? ??? ???? ?? NVIDIA Quantum ???? ?? ??? ??????.

CuQuantum? ?? ??? ???? ?? ??(quantum advantage)? ???? ??? ??? ?? ???? ??, ?? ????? ??? ??? ?????.  

CuQuantum? ?? ??? ??? ????.

• DGX cuQuantum ???????? ?? ??, ?? GPU ??
• ?? ?? ???? ?? ??
• ???? ??? ?? ??(CSP)? ?? ?? ???? ???? cuQuantum ??

NVIDIA? ?? ????? ??-?? ???? ?? ??? QPU ?????(agnostic) ???? NVIDIA CUDA Quantum? GA ??? ??????. ? ????? ??-?? ????? ??? ??? ?? ??? ?? ??? ???????? ?? ??? ??? ? ??? ???? ????? ?? ??? ?????? ?? ??? ? ?? ?????.

CUDA Quantum? ?? ??? ??? ????.

• ????? ???? ?? ???? ?????? ?? ?????? ?? ???? ???, ?? ?? C++? ??? ??(implementation)
• QPU ????? ???? ?? ???? ???? ??? ??? ?? ??? ?? ?? QPU?? ????? ??
• NVIDIA A100 GPU?? ???? ??? ??? ??????? ?? 300? ?? ?? ??

GTC 2023?? NVIDIA? ?? ???(Quantum Machines)? ???? ?? ??? ?? ??? ???? ?? ???? ?? ????? ???? ?? ????? DGX Quantum? ??????. ?? ???? NVIDIA? ???? ???? ??-?? ???? ?? ????? ??? ??? ?? ??? ??? ??? ??? ????.

DGX Quantum? ?? ??? ??? ????.

• PCIe? ???? OPX+ NVIDIA Grace Hopper ???? ???? QPU? ??? ?? ??? ??? ???? ????
• CUDA Quantum? QUA, ?? ??? ??? ???? ?? ??(POC) ???? ??
• 2023? 4??? ??? ??? QGX? QCC? ??

? ??? ??? NVIDIA CUDA Quantum ???? ?????.

??? GTC ??? ??????.

• ?? ?? ?????? ??
• ?? ??? ???? ????(Quantum Optimized Device Architecture, CODA) ????

NVIDIA PhysicsNeMo

?? ?? ?? ?? ??(physics-ML) ?? ?? ???? NVIDIA PhysicsNeMo? ?? ??? ?? ?? ??? ????? ???, ?????(FourCastNet)? ?? ??? ?? ?? ?? ??? ??? ?????. NVIDIA AI ????? ??? ??? AI ??? ?? ??? ???? ?? ??? ??? ??? ???? ?????.

NVIDIA PhysicsNeMo? ??? ??? ?? ?? ???, ??? ?? ?? ????? ?? ??? ? ?? ??? ???? ?????. ?? ?? ??(CFD)? ?? ??, ????? ????? ???? ??????? ???? ??? ? ??.

NVIDIA PhysicsNeMo? ??? ??? 2.0 ????? ?? ??? ?????.

???? ????????? physics-ML ??? ???? ??? ?? PhysicsNeMo? ???? ??? ???? ??? ???? ???? ??? ? ????. ?? ???? ?? ?? ???? ???? ??(modulus-launch)? ???? ???? ???? ????? ??? ??????(PDE)? ???? ???? ???? ?(modulus-sym)? ?? ????? ?????, ?? ???? ??? ?????? ?????.

/NVIDIA/modulus ??? ???? PhysicsNeMo? ?? ??? ???????.

PhysicsNeMo Open Source? ?? ? ??? ??? ‘?? ?? ?? ?? ?? ??? NVIDIA PhysicsNeMo, ?? ?? ??? ??’? ?????.

??? GTC ??? ??????.

• Earth-2? ?? ??? ?? ??? ?????

? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???.