?? RAPIDS Accelerator for Apache Spark v21.10? ???? ? ????! ?? ?? ??????, NVIDIA? ????? ???, ??? ??? ????? ? ??? GPU ???? ?? ????? ??? ???? ???????.
? ??? ?? ???:
- Speed up – ?? ?? ? ?? ??
- New Functionality – ??? I/O ? ??? ??? ?? ?? ? ?? ?? ??
- Community Updates – spark-examples repository ????.
Speed up
RAPIDS Accelerator for Apache Spark? ??? ?? ??? ?? ??? ???? ????. ?? ?? ????? ?? ?? ??? ??? ???? ?? ?????, ??? ???? ? ?? ????? ??? ??? ??? ??? ??? ???? ?? ???? ??? ???? ????.
?? ??? ??? ? ?? ??? ???????.
- Count Distinct : ?? ??? ???? ??? ?? ??? ? ?? ?? ??? ?? ???? ? ???? ?????.
- Window:???? ?? ?? ???? ?????? ?? ??? ???? ???? ? ??? ????? ?? ???? ? ??? ??? ??????.
- Intersect: ??? ????? ?? ??? ???? ??????.
- Cross-join: ?????? ???? ??? ????? ?? ??? ???? ????.
? ??? ?? 104GB RAM? ??? 2xT4 GPU? ??? ?? ???? ???(GCP) ???? ?????. ??? ??? ??? ??? 3TB?? ?? ??? ??? ????. ?? ? ??? ?? ??? ??? GitHub? spark-rapids-examples ????? ???? ? ????. ? 4?? ??? ??? ???? ???? ??? ??? ??? ?? ?? ?? ??(27?~1.5?)? ????? ?? ?????. ??? ??? ??? ?? ??? ?? ?? ??? ???? ?? ? ???? ???? ?????.

??? ??
????
???? Apache Spark ????? Spark 3.2? ?? 10?? ?????? ?? ?? ????. v2.10 ???? Spark 3.2 ? CUDA 11.4? ?????. ?? ?????? I/O, ?? ??? ?? ? ?? ?? ??? ?? ????? ??? ??????. RAPIDS Accelerator for Apache Spark v21.10? ???? ????? ???? ?? ??? ???? jar? ??????.
?? ? jar? ??? ?? ????? ??? ?????. ETL jar? ?Parquet ? ORC? ?? ?? ?? ??? ??????. ?? ??? ???? ?? HashAggregate
, Sort
, Join
SHJ
? Join BHJ
? ??? ? ?? ??? ????? ?????. ??? ??? ??? ?? ?? ??? ?? ???? ?? ???????.
?? ????? ??? ??? ?? ??? ???? ? ??? ?? ?? ??? ???? ??? ? ????. v21.10? ??? ?? ???? ????? pos_explode
, create_map
?? ????. ??? ??? ?? ??? ??? RAPIDS Accelerator for Apache Spark ???? ?????.

?? ? ?? ?
???? ??? RAPIDS Accelerator for Apache Spark? ?? ? ?? ?? ?? ??? ??? ???????. ?? ?? ?? ?? ??? ?? ??? ??? ?? ??? ??? ??? ? ????. ?? ?? ? ?? ??, ?? ?? ?? ???? ??? ??? ??? ? ????.
?? ?? ?? ???? ?? ??? ??? ??? ??? ???? ??? ? ?? ??? ?????.
???? ????
Azure? ?? ???? ???????. Azure ????? ?? Azure Synapse?? RAPIDS Accelerated for Apache Spark ??? ??????.
?? 2021? 11? 8??? 11??? ??? ????? ?? ??? GTC? ?? AI? ??? ??? ????? ??? ??? ???. RAPIDS Accelerator ?? ? ?? ??? ?????, Accelerated Apache Spark??? ??? ???? ?? ??? ??? ?? ???? ?????. ?? RAPIDS ? NVIDIA GPU? ??? Discover Common Apache Spark Operations Turbocharge? Apache Spark? ?? ????????? ?? ??? ???? ????.
Coming soon
? ??? ???? 128?? 10? ??? ??? ?? ??, ?? ???? ?? ????? ?? ?? ??, ?? ??? ?? ?? ???? ?? ??? ?? ??? ?????.
?? A100?? ?? ?? ??? ??? ???? ? ??? ???? ??? ? ?? NVIDIA Ampere Architecture ?? GPU(A100/A30)? ?? MIG ??? ??? ???. ????? Apache Spark? RAPIDS Accelerator? ??? ?? ??? ???? ?????, ??? ??? ???????. GitHub? ???? Apache Spark?? RAPIDS Accelerator? ???? ??? ??? ????? ??? ? ?? ??? ?????.