NVIDIA? ??? ????? ???? ?????? ???? ?? ??? ??? ??? ??? ? pandas? ?? ??? ? ??? ???? ?? ??? ? ??? ??? ?? ??? RAPIDS cuDF? ??????. ?? ??? ????? ??? ????? ?? 30??? ???? ? ????.
RAPIDS? ?? ?? GPU ?? ??? ?? ? AI ????? ?????. cuDF? ??? ??, ??, ?? ? ???? ?? Python GPU DataFrame ????????.
??? ???? ?? ??? ??? ?? ?????? pandas? ???? ??? Python? ??? ?? ? ?? ??????? ?? ? ? ?? 2? ? ?? ?????????. ??? ??? ??? ??? ??? ?? pandas? CPU ?? ????? ?? ??? ???? ???? ?? ????. ?? ?? ??? ??????? ?? ?? ??? ?? ?? ???? ?? ?? ?? ???? ???? ????.
NVIDIA? GTC 2024?? RAPIDS cuDF? ?? ?? ?? ?? 150? ??? pandas? ???? ??????. ? ? Google? Google I/O?? Colab?? RAPIDS cuDF? ???? ????? ???? pandas ?? ???? ?? ???? ? ?? ??? ??????.
??? ???? ?? ??????, ??? ???? RAPIDS cuDF pandas ??? ??? ? ?? ????? ??? ??? ?? ??? ?? ??? ??????. ? ? ????? ?????:
- ??? ?????? ??? ??? ????? ??? ?? ??? ????? ??? ? ?? ??? ?? ??? ??? ?? GPU ??? ?? ??? ???. ??? ?? ???? ?? ?? ???? GPU?? ???? ??? ??? ? ?? ???? ?? pandas ??? ?? ???? ?? ???????.
- ?? ? ?? ?? 21? ?? ??? ???? cuDF? ?? ?????? ???? ?? ??? ??? ?? ???? ?? ??? ??? ???? ?????. ?? ?? ??, ?? ??, ?? ??? ?? ??? ??? ?? ? ??? ?? ??? ? ????. ?? ?? LLM ? ?? ??? ??? AI ?? ???? ? ???? ???? ? ??? ??????.
??? ???? ???? ?? ?? ????? RAPIDS cuDF pandas ??? ??? ???????:
- CPU+GPU ???? ??? ??? ????? ??? ??? ??? ??? ????? ??? ?? 30??? ?? ? ?? ???? CUDA ?? ??? ??? ???? ????.
- ?? 21? ???? 21? ?? ? ?? ??? ???? ??? ??? ???? LLM ? ?? ???? ?? ???? ???? ???? ?? ???? ???? ?????.
?? ???? ?? GPU?? ??? ??? ??? ???? ?? ?? ??? ????? ???? ? ?? ???? ???? ?????? ?? ??? cuDF? ??? ? ????.
?? ???? ??? ?? ???
?? ??? ?? ?? ???? ??? ??? ???? ?? cuDF? CPU ??? ?????. ?????? ??? ?? ??? GPU ???? ???? cuDF? ???? CPU ???? ???? pandas? ???? ???? ?????.
?? ? ??? ??? ?? ???? ??? ?? ???? ???? ???? ? ?? ?????, ??? ??? ??? ??? ? CPU ??? ???? ?? ???? GPU ???? ??? ??? ????? ???.
? ??? ???? ?? cuDF? ?? CUDA ?? ???? ???? GPU ???? ??? pandas ????? ??? ? ????. ?? ???? ???? CPU? GPU? ???? ?? ?? ??? ????, ?? ??? GPU ????? ? ?? ??? ??(????)? ???? ??, ??? ?? ???? GPU ??? ???? ??????(???)???.
??? ?? ???? ???? ???? ????? GPU? ?? ?? ??? ??? ????? ???? ??? ??? ? ????. ??? ????? ?? cuDF?? CUDA ??? ???? ??? ?? ?? GPU? ???? ????? ?? ???? ???? ????. ?? ?? ?? ??? ???? ???? GPU ??? ???? ???? ???? ???? ??? ?? ??? ? ????. ?? ??? ????? ??? ??? ??? ??? GPU ???? ??? ??? ???.
GPU ??? ???? ???? pandas? ?? ????(?? 1)?? ? ? ???, 10GB ?????? ??? ?? ????? ??? ? cuDF? ???? CPU ?? pandas? ?? 16GB ??? GPU?? ??? ?? ??? ?? 30??? ??????. ???? 4GB?? ? ?????? ??? ?? GPU ??? ???? ?? ??? ??????. ??: ????? ???? ?? ???? ?? GPU ???? ?? ??? ?? ??? ??? ? ????.
HW: NVIDIA T4, CPU: ?? ?? ?? 6130 CPU; SW: pandas v2.2.2, RAPIDS cuDF 24.08
? ???? ??? ?? ??? ?? ??? ??? cuDF ???? ???? ?????. ?? DuckDB ????? 0.5GB ? 5GB?? ??????? 10GB ????? ????? ??? ?? ???? ? ??? ?? ????? ???? ???.
RAPIDS cuDF? ??? ? ?? ??? ??? ????
?? ???? cuDF? ??? ??? ??? ?? 21? ?? ??? ?????, ?? ???? ??? ??? ???? ??? ?? ???? ?????. ?? ?? ???, ?? ??? ?? ?? ?? ??? ?? ?? ??? ID ???? ??? ??? ??? ??? ???? ?? ??? ??? ?? ??? ? ?? ??????.
???? CPU ?? pandas? ???? ?? ??? ??? ??? ? ??? ??? ???? ???? ???? ?? pandas ??? ???? ?? ??????. ?? cuDF? ??? ??????, ??? ???? ??? ???? ?? ??? ??? ? ???? ??? ?? ??? ?? ? ????.
?? cuDF? ????? ???? ?? ?? ?? ????? GPU?? pandas ??? ??? ?? 21? ?? ? ?? ??? ???? ??? ? ????. ? ??? ??? AI ??????? ??? ??? ?? ???? ??? pandas? ??? ? ????.
????
? ?? ??? RAPIDS 24.08?? ??? ? ???, RAPIDS ?? ????? ????? ? ????. ?? ??? ??? Linux ?? ?????? ?????.
- ?? ???? ????? ??? ??? ??? ?? ??? ??? ???? ?? ??? ?? ???? ??? ???.
- ??? ??? ??? ?????? ?????? ?? ?? ?? ???? ?????.
?? ???
- DLI ??: RAPIDS cuDF? ?????? ?? ?? ????
- DLI ??: ????? ??? ?? ????? ?????
- GTC ??: RAPIDS cuDF? ???? ?? ?? ?? pandas ?????
- GTC ??: ?????? ??? ?? ???? ?? ????
- SDK: RAPIDS
- SDK: DGL ????
