GPU? ??? ????? ??? ?? ?? ?????

Reading Time: 5 minutes

?? ??? ???? ??? ??? ??? ?? ??? ??(Apache Parquet)? ??? ??? ?? ?? ???? ?? ?????. ??? ??? ???? ???? ??? ??? ?? ??? ??? ???? ?????. ?? ?? ? ??? ???? ???? ??? ?? ??? ?? ???? ?? ??? ??? ?? ?? ? ?? ??? ?? ? ??? ???? ???. ??? ???? ??? ????? ?? ?? ?????, ?? ??? ??? ?????? ?? ???? ????.

cuDF? ???? ??? ??? ???? RAPIDS ???? GPU?? ???? ???? ???? ?? ?? ?? ??? ???? ??? ?????. ??? ?? ??? ????? ??? ?? ??? ??? ????? ??, ??? ??? ??? ???? ???? ???? ?? ??? ?? ?????.

? ?????? ???? ??? ??? ?? ??? ??? ???? ???? ??? ???? ??? ?? ?????.

??? ?? ??? ??

?? ?? ??? ???? ? ???? ??? ? ??? ???? ???? ? ???? ??? ? ????. ?????? ???? ???? ??? ?? ?? ?? ??? ??? ? ????(?? 1).

?? ??? ??? ??? ??? ?????. ?????? ??? ??? ?? ??? ???? ?????, ???, ??? ?? ?? ?? ??? ?? ??? ??? ? ??? ???.

?????? ???? ??? ???? ??? ?? ? ??? ??? ??? ?? ????. ???? ?? ?, ??, ?? ?? ???, ?? ?? ? ??? ???? ???? ? ????.

- BOOLEAN: 1 bit boolean
- INT32: 32 bit signed ints
- INT64: 64 bit signed ints
- INT96: 96 bit signed ints
- FLOAT: IEEE 32-bit floating point values
- DOUBLE: IEEE 64-bit floating point values
- BYTE_ARRAY: arbitrarily long byte arrays
- FIXED_LEN_BYTE_ARRAY: fixed length byte arrays

GPU ??? ??? ?? ??

??? ???? RAPIDS ??? ???? ?? ?? ?? ???? ?? ?? ? ??? ???? ???? cuDF ??? ?? ??? ?? ???????.

?? ???? ???? ???? GPU ?? ??? ??? ???? ??, ??? ??? ?? ??? ?? ??? ?? ??? ???? ? ? ?? ??? ???? ????. ??? ??? ????? ??? ? ???? ??? ??? ? ?? ???? ???? ????:

???? ????????(SM): ??? ?? ??? ???? GPU? ? ?? ?????.
?? ???(Shared memory): ??? ???? ???? GPU ?? ????, ??? ??? ?? ???? ??? ?? ???? ???? ? ????.
????(Registers): SM? ???? ??? ??? ?? ?? ???? ???? ??? ???? ??? ??(Fast on-chip) GPU ??????.

?? ??? ??? ??, ???? ??? ??? ?? GPU ???? ??? ??? ?? ??? ??????. ???? ???? CUDA ????? ?? ??? ??? ??? ???? ??? ???? ??? ?? ?????.

?? ????(Parquet monolithic) ??? ?? ?? ? ??? ???? ?? ??? ??? ?? ???? ???? ???? ?? ?? ??? ??? ???????. ?? ???? ??? ??? ??? ??? ?? ???, ????? ?? ??? ??? ??? ???? ??? ?? ?? ??? ??????.

?? 2? GPU? ?? ??? ?? ??? ?????. ? ??? ?? ??? ?? ?? ??? ???? ???, ?? ?? ??? ?? ??? ?? ? ????. ?? ??? ?? ????? ??? ??? ???? ???? ?????.

??, ?? ? ??? ?? ???? ?? ??? ????? ???????. ??? ??? ??? ???? ?? ??? ??? ??? ??? ??? ???? ?? ?? ???? ?????. ?? ?? ??? ????? ?? ??? ?? ?? ???? ??? ? ????, GPU?? ??? ???? ? ????? ???? ??????.

?? ?? ??? ?????? ???? ?? ??? ?? ?????, ??? ?? ? ??? ???? ???? ???? ?? ???? ?? ??? ?? ????? ????.

cuDF? ?? ??????

? ?? ???? ???? ?? ??? ??? ???? ?? ???? ?? ?? ???? ????? ?? ? ?? ??? ?? ?? ????? ??????. ???? ???? ?? ??? ??? ??? ????? ? ??? ????????. ?? ?????? ???? ???? GPU ?????? ???? ???????.

? ? ??? ?? ??? ?? ??? ?? ??? ??????. ??? ??? ??????? ??? ????? ?? C++ ???? ??????. ?? ?? ??? ?? ?? ? ??? ??? ????????.

?? ?????? ?? ??? ??? ?? ???? ???? ??? ??? ???? ? ??? ?? ??? ??? ???. ??? ?? ?? ??? ???? ??? ???? ?? ?? ?? ??? ??? ??? ???? ?? ?? ?? ??????? ??? ? ????.

? ??? ??? ? if constexpr? ???? ??? ????? ???? ?? ??? ??(??? ?? ?? ?, ?? ?? ?? ?? ?)? ??? ?? ?? ???? ?? ?? ??? ???? ??? ? ? ????.

??? ?? ?? ??? ?? ???? ??? ?????. ??? ?????? ?? ????? ???? ??? ???? ??? ???? ?? ? ? ????. ? ???? ??? ??? ?????.

?? ? ?? ??? ???? ?? ??? ??????? ? ???? ?? ??? ??? ? ??? ?? ??? ????? ???? ?? ????? ??? ? ??? ????. ?? ???? ??, ?? ????? ??? ??? ???? ???? ????? ??? GPU?? 128?? ???? ??? ?? ??? ???? ???? ??? ? ?? ?????.

?? ??? ?? ??? ??? ?? ???(parquet Snappy) 512MB ???? ?? NVIDIA RTX A5000 GPU 24GB? ???? ?? ????? ??????. ?? ?? ???? ?? ? ?? 500KB ??? ?????. ??? ????? ? ?? ??? ???????:

Cardinality 0 and 1000
Run length 1 and 32
1% nulls
???? ???? ?? ??? ?? ??

?? 5? GPU?? ??? ?????? ?? ??? ??? ?? ? ??? ?? ??? ?? ??? ?????.

?? ?? ?? ??? ?? ???? ?? 500-KB ??? ???? 117% ???????.

GPU?? ??? ??? ????

??? ??? ??? ??? ?? ?? ???? ?? ?? ??? ?????. GPU? cuDF?? ???? ??????? ??? ??? ????? ?? ??? ??? ???? ? ????.

???? ??? ???? RAPIDS ???? ???? ??? ??? ????? NVIDIA GPU? ???? ??????? ? ????. ??? ???? RAPIDS ??????? GPU? ???? RAPIDS cuDF ?????? ??? ??? ?? ??? ?????? ??? ???? ????? ??????. ??? ??? ???? JAR ??? RAPIDS ???? ???? ???? ?? ?? ?? ?? ??? ??? ??????? GPU?? ??? ? ????.

??? RAPIDS ?? ?? Colab ????? ?? ?? ??? ??? ???? RAPIDS ??????? ?? ??? ???.