RAPIDS cuDF ?? Polars GPU ?? ?? ?? ???? ??

Reading Time: 3 minutes

?? Polars? ??? ????? ?? ???? ?? ?? ???? ? ? ? ?? ??? ? ??? NVIDIA GPU?? Polars ?????? ?? 13??? ????? RAPIDS cuDF ??? ??? GPU ??? ??????.

???? ??? ??

????? ???? ??? ?? ?????? pandas? ?? ???? ???? ?? ??? ????? ??? ? ??? ???? ??? ? ????. ??, ?? ??? ?? ???? ??? ?? ?? ??? ? ??? ?? ?? ??? ??? ??? ???? ????? ?????.

? ? ?? ??? ????? ?? ?? ??? ???? ????? ??? ? ?? ??? ??????. ??? ??? ??? ??, ??, ??? ?? ???? ?? ??, ?? ??, ?? ?? ? ??? ??? ?? ?????.

Polars? ??? ???? ????? ?? ?? ??? ???? ?? Python ????? ? ???, ? ??? ???? ?? ???????. ?? ?? ???? ?? ???? ??? ??? ??? ??? ??? ??? ????? ?? ???? ?? ? ??? ????? ???? ??? ? ????. Polars? ?? ??? ???? ‘?? ?? ??’ ??? ?? ???? ‘???? ??? ??’ ??? ???? ???? ?? ?? ??? ?? ???? ?????.

Polars? NVIDIA ?? ??? ??

Polars? ????? ??, ?? ??? ??? ? ?? ??? ???? ?? CPU ?? ??? ?? ?? ?? ??? ?? ??? ?????.

??? ??? ?? ?? ?? ???? ??? ?? ??? ??? ????? ??? ?? ??? ???? ??? ?? ??? ???? ?? ? ?? ??? ?????. ?? ?? ???? ??? ???? ? ? ????:

cuDF? CUDA-X ?????? NVIDIA RAPIDS ???? ?????. GPU ?? ?????? ??????, GPU? ??? ?? ?? ??? ???? ??? ?? ??? ?? ??????.

Polars ?? NVIDIA? ???? Polars? ???? cuDF? ??? ???? CPU ?? Polars? ?? ?? 13??? ??? ???????. ?? ?? ???? ??? ?? ????? ??, ??? ?? ???? ?????? ??? ????? ??? ??? ? ????.

*?? 1. PDS-H ????? 22? ?? ???? ?? ?? 4?? ?? ?? ?????. ??? ??? ? ?? ??? ?? ???? RAPIDS cuDF ??? Polars GPU ??? CPU? ?? ?? 13?? ?? ??? ?????.*

*PDS-H ???? ??? ?? 80 | GPU: NVIDIA H100 | CPU: Intel Xeon W9-3495X(Sapphire Rapids) | ????: ?? NVMe. ??: PDS-H? TPC-H?? ?????? ? ??? TPC-H ??? ??? ? ????.*

Polars Lazy API? ?? ???? ??, ???? pip? ?? polars[gpu]? ???? ?? ??? [engine=“gpu”]? ????? ?? ?????? ?? GPU ??? ???? ? ????. ????? PoIars? GPU?? ??? ?? ???? ??? ?? CPU? ??????. ? ?? ??? ??? ?????:

Polars? ?? ??? ??? ???? ???? ?? ? ??? ?? ???
???? ?? Polars ??? ?? ???? ??? GPU ??? ??? ??
??? ???, I/O, ?? ?? ?????? ??? Polars? ???? ?????? ??? ??? ??

pip install polars[gpu] --extra-index-url=https://pypi.nvidia.com
 
import polars as pl
 
(transactions
 .group_by("CUST_ID")
 .agg(pl.col("AMOUNT").sum())
 .sort(by="AMOUNT", descending=True)
 .head()
 .collect(engine="gpu"))

??

?? ?? ??? ??? ???? ?????? ?? ?? ??? ??? ?? ??? ??? ???? RAPIDS cuDF ?? Polars GPU ??? ?? ?? ???? ?????. ? ??? ?? ???? ???? ??? ?? ?? ??? ??? ????? ??? ? ??? NVIDIA GPU?? Polars ?????? ?? 13??? ??????. Polars GPU ??? Polars API? ?? ???? ?? ?? ???? ?? ???? ? ????.