?? ? ??? ??? ?? ???(vector embedding)? ???? ?? ??? ??? ???? ????. ?? ??? ???? ???? ?? ??? ??? ??? ???? ???? ????. ?? ???? ??? ??? ???? ??? ????? ???.
‘????: ??? ?? ???? ??? ??? ???(Monolith: Real Time Recommendation System With Collisionless Embedding Table)’??? ??? ???? ?????(ByteDance)? ??? ??? ???? ?? ????, ?? ??(fault tolerance) ?? ???? ?? ???? ?? ??? ?????.
?? ?????? ????? ???, ??? ??? ??? ?? ??? ????? ?? ??? ?????. ??? ??? ?? NVIDIA Merlin? ?? ?? ??????, ???(Redis)? ??? ??? ???? ???? ??-?-?? ?? ???? ??? ??????. ??? ???? ?? ??? ???? ???? ?? ???? ?? ??? ??? ??? ??? ?????.
RedisVentures/Redis-Recsys ??? ????? ??? ??????, ??? ??? ?? ?? ??? ?????. ? ???? ??? ? ???(AWS) ??? ?? ??? ????? ??? ????? ?????.
?? ??? ????
NVIDIA Merlin ?? ???? ‘?? ??? ?? ?? ?????(Recommender Systems, Not Just Recommender Models)’?? ??? ?? ?? ??? 4?? ??? ?????.
- ???? ????? ??? ???? ??? ???? ???? ?? ??? ??
- ?? ???? ??? ?? ???? ??? ?? ?? ???? ???
- ???? ??? ?? ???? ?? ??? ??? ???(?? ???)
- ????? ?? ??? ?? ??? ?? ??? ???? ???? ??? ??
??(retrieval), ???(filtering), ???(scoring), ??(ordering)? 4??? ???? ??? ?? ??? ???? ???? ?? ?????(Figure 1 ??). ? ?????? ???? ???(ranking)? ???? ????, ?? ????? ?? ?? ???? ??? ???? ??? ???? ????? ???????.
?? ??
?? ????? ??? ???? ?? ????? ????. ??? ???? ?? ?? ??? ??? ???? ?? ?? ??? ?????. ? ????? ????? ???? ? ?????.
???? ?? ????? ???? ????? ??? ??? ??? ? ?? ??? ???? ?? ??(dense) ????? ?????. ????(RediSearch)? ???(FAISS)? ????? ??? ?? ???? ??? ? ???, ?? ??? ?? ???? ????? ??? ? ????.
??? ??
??? ????? ????? ???? ?? ?????. ??? ??? ??? ?? ???? ????? ? ??? ??? ????. ? ??? ?? ??? ??? ???? ??? ?? ???? ??? ? ?? ????.
??(Meta)? ?? ? ?? ?? ??(DLRM) ?? ???? ????, ?? ???? ?? ??? ?? ??? ??? ??? ??? ??? ??? ? ????. ??? ??? ?? ? ? ? ???? ??????.
??? ??? ???? ?? 2? ??? ?? ??, ? ??(coarse) ???? ?? ??? ?? ????? ???? ?? ??? ??? ????? ?? ??? ?? ?? ???? ??? ???. ?? ??? ???? ?? ????? ?? ? ?? ?? ?? ??? ??????.
?? ??? ????? ??? ?? ??? ??? ‘??? ??? ?? ??? ???(System Design for Recommendations and Search)’? ?????. ?? ???? ?? ???? ??? ?? ???? ????.
??? ??? ‘????’??? ??? ?? ?? ???? ?? ????? ??? ?? ???? ??, ??? ??? ???? ?? ?? ?(Eugene Yan)? ‘????’? ??? ???? ??? ????.
???? ?? ???
‘???? ?? ???’? ??(batch) ???? ??? ??? ?????? ???? ?? ??? ?? ??? ?????.
?? ???? ??? ?? ?? ?? ???? ??? ???? ??? ? ???, ?? ??? ??? ??? ????? ?? ?????. ? ????? ?? ??? ??? ?? ????? ????? ?? ???? ?? ?? ??? ??? ??? ???? ???? ??? ?????. ?? ????? ??? ??? ?? ?? ? ? ????.
Figure 2? ??? ??? ??? ????? ??? ???? ???????. ‘???? ?? ?? ???(Offline Batch Recommender System)’ ?????? ???? ??? ??? ??(Alibaba Click and Conversion Prediction) ???????? ??? ???? ???? ??? ??? ??? ? ????.
??: ? ??
?? ?? ??? ? ??(two-tower) ??? ??? ???????. ??? ??(user tower)? ???? ??? ?????, ??? ??(item tower)? ???? ??? ??????.
??? ??? ??? ???? ???? ?????. ? ??? ??? ??? ?? ?? ??(explicit) ???? ???? ??, ??? ?????? ?? ?? ??(implicit) ???? ?????. ??? ?? ?????? ?? ???? ????? ???? ?? ?? ??? ??? ????? ????. ???? ?? ??? ?? ???? ?? ??? ? ?? ????? ?? ???? ???? ?? ???? ??? ??? ??? ? ????.
???: DLRM
??? ??? ?? ????? ??? ???? ??? ?? ?? ??? ???? ??? ????? ??? ???? ??? ????. ? ???? ??? ?? ??, ?? ?? ?? ????? ??? ??? ??? ???? ??? ?????.
??? ???? ??? ???-??? ?? ??? ??? ??? ????? ?? ????? DLRM? ?????. DLRM ????? ?? ? ??? ??? ‘??? ?? ????(Exporting Ranking Models)’? ?????.
?? ??? ???
?? ???? ???? ??? ??? ???? ??? ??? ??????. ??? ?? ?-? ???(key-value store)? ???? ??? ?? ??? ???? ????? ??? ?? ?? ????? ??? ???? ? ????.
????? ?? ??? ?????? ??? ??? ?? ???? ???? ??? ????? ???? ??? ???????.
??? ?? ???
??? ?? ???? ???? ???? ??? ?????. ?? ??? ???? ?? ???? ??-?-?? ?? ??(?? 100~300??? ??)? ?? ??? ??? ???? ??? ????.
???? ?? ????(???)? ???????(???), ?? ??????? ??(???), ??(NVIDIA Triton)?? ??? ?? ???? ???? ? ??? ???? ?????.
??? ??? ??? ???? NVIDIA Triton ?? ??? ??? ???? ? ???? ?? ???? ??? ????? ?????.
?? ????
?? ???? ? ??? ???? ?? ?? ?? ???? ??? ?? ???? ?? ????? ??? ??????.
???? ?? ???
‘???? ?? ???(offline feature store)’? ????? ???(10TB ??)? ???, ??? ?? ?????????. ?? ??? ??? ?? ?? ??? ???? ???? ?????. ??? ???(Apache Spark) ?? ?? ???? ?????? ???? ???? ??? ??? ??? ?? ??? ?? ???? ???????(materialize)?? ? ?? ?????. ?? ???-???? ??? ???? ???? ? ?? ????.
??? ?? ???
‘??? ?? ???(online feature store)’? ???? ?? ?? ??? ????, ??? ?? ????(in-memory)? ?????. ?? ??? ???? ????? ??? ???? ????????? ?? “??”? ???? ??? ?? ?????. ??? ???? ?? ??????? ?? ???? ?? ?? ??? ??? ??? ?? ??? ?????.
? ? ?? ???? ???? ??? ?? ???? ??? ??, ??? ???(parquet) ??(???? ???)? ???? ??? ??? ??????????. ?? ??????? ?????? ???(Feast)? ??? ????, ?????????? ????, ????? ?? ??? ?????.
??? ??
???? ????? ? ?? ??? ?? ???? ???? ???? ???? ????. ??? ??? ??? ??, ??? ???? ???? ?? ??????? ??? ??? ???? ???? ??? ???? ??? ??? ?? ??? ?? ? ????.
?? ?? ??? ??? ?? ??????? ?? ??? ???? ?? ???? ?????? ?????. ???? ???? ??? ??? ???? ??? ??? ??? ?? ??? ??? ????? ???? ????.
???? ??? ?? ???? ??? ? ??? ???? ??? ?? ??? ???? ?? ??? ??(ANN) ????? ?????. ????? ?? 2.4?? ?? ??? ??? ??? ? ????.
‘??? ?? ?? ??? ?? ?? ????(Building Online Multi-Stage Recsys Components)’ ???? ?? ????? ?? ??? ??? ?? ???? ???? ???? ??? ?????.
??? ?? ??
?? ?? ???? NVIDIA Triton? ??? ???? ??? ?? ?? ?? ??? ?????? ?????. ??? ???? ???? ??? ??? ???(DAG)?? ??? ?? ??? ??? ?????. ???? ???? ??? ?? ?? NVIDIA Triton ???(Figure 3)? ??? ?? ??? ?????? ?????, ??? user_id ?? ?? ??? ? ????.
‘Triton Inference Server? ??? ?? ?? ??? ????(Deploying Online Multi-Stage RecSys with Triton Inference Server)’ ???? NVIDIA Triton ???? ???? ??? ?? NVIDIA Triton ???(Python) ?????? ??? ???? ??? ?????.
?? ? ?? ??
? ???? ??? ??? ????? ???? ?? ? ???? ? ???? ????.
??, ???? ?? ???? ??? ??? ??? ???? ????? ?????? ???. ?? ???? ????? ????? ??? ?? ?? ???? ??? ??? ??? ????????? ??? ??? ?? ??? ??? ? ????. ?? ?????????? ???? ???? ???? ?? ??? ??? ?? ???? ????, ?? ?????? ??? ??? ? ????. ? ??? ??? ?? ?? ?????.
??, ??? ??? ?? ?? ????(drift) ?? ??? ?????? ???. ???? ?? ??? ??? ???? ?????? ?? ??? ??? ?? ?? ??? ?? ? ????. ??? ????? ??? ?????, ??? ??? ?? ?????? ???. ?? ???? ??? ??? ?? ??? ?? ????? ?????. ???? ???? ???(incremental) ?? ????? ???? ?? ?????, ??????? ? ?? ???? ??? FT.ALIASADD ???? ????(swap-in)? ? ????.
???, ???
???? ??? ???? ???? ?? ???? ????. ? ?? ??? ?? ??? ???? ?? GPU? ?? ?? ? ????.
?? ?? NVIDIA Merlin? HugeCTR ???? ??????. ? ???? ?? ??? ????, ?? ?? ??? ?????.
‘??? ?? ??(Large-Scale Recommender Models)’ ???? HugeCTR ??? ??? ?? ? ??? ??? ??? DLRM? ?? ?? ??? ?????. HugeCTR? ?? ??? ?? ? ??? ??? ‘Merlin ??? ???? ??? ?? ??? ?? ??????(Scaling Recommendation System Inference with Merlin Hierarchical Parameter Server)’?? ?????.
HugeCTR ??
?? ???? ??? DLRM ??? ?? ???? ??? ??? ?? ??? ?? ???? ?????. ????? ??? ??? ?? ?? ????? HugeCTR? ?? ?? ?? ???? ??? ??? ??? ??? ???? ??? ???????.
HugeCTR? ???? ???? ??? ?? ?? ?? ??? ???-???? ???? ??? ??? ??? ??? ??? ?? ? ????. ?? ??? ?? ??? ??? ?? ???? ??? ? ????, ?? ?? ??? ??? ?? ?? ??? ?? ??? ?????.
??? ???? ??
HugeCTR? ??? ???? ??(HPS)? ??? ?? ?? ??? ???? ?????(Figure 4 ??). HPS? 3?? ??? ??? ???? ???? ??? ??? ?????, ??? ??? ??? ????? ?????.
GPU ?? ???
GPU ??? ???? ?? ??? ???? ??? ??? ?? ?? ??? ??? ?????. ???? ?? GPU?? ???? ?? ?? ??? ??? ?? ?? ??? ?????. ???? ??? ??? ?? ???(power law)? ????, GPU ??? ??? ?? ????? ?? ? ??? ???? ? ????.
CPU ??? ???
CPU ??? ???? GPU ???? ??? ???. ??? ???? ?? ?? GPU? ??? ??, ?? ??? ???? ? ????. HPS? CPU ??? ???? ?? ?? ?(hash map) ?? ?? ???? ?????. ??? ????? ???? ??? ???? ???? ??? ?????. HugeCTR? ??? ????? ?? ??? ??? ??? ???? ?? ??? ??????.
SSD ???
SSD ???? HPS?? ?? ?? ?? ??????. ?? ??? ???? SSD ???? ?????. ? ???? ??? ??? ???? ?? ???? ?? ??? ???? ?? ??????. ?? ?? ? ???? ?? ??? ??? ???? ?? ??? ???? ????.
?? ????
??? ????? ??? ?? ???? ???? ???? ?????. ??? ?? ???? ???? ??? ??? ??? ???? ??????? ????? ??????. ??? ? ????? ??? ?? DLRM ??? ???? ??? ???? ???? ????.
? ?? ??? ??? ????? ??? ?? ????? ???? ???. ????? ? ??? DLRM? NVIDIA Triton?? ???? ??? ? ????. ??? HugeCTR ?????? ??? ?? ?? ??? ???? ?? ??? ????? ??? ?? ? ?? ????? ?? ????.
??? ??? ???? ??? ???? ?? NVIDIA? ???(Kafka)? ???? ?? ???? ???? ??????. ? ???? ????? ???? ??? ????? ???? NVIDIA Triton ??? HugeCTR ???? ????. ? ?? DLRM ??? ??? ??? ??? ??? ?????. ? ?? ???? ??? ????? ‘????: ??? ?? ???? ??? ??? ???’?? ??? ????? ?? ?????.
???? ?? ??
??? ???? NVIDIA Triton? HugeCTR ????, HPS? ??(??)? AWS(????)? ????? ??, ???? ??? ??? ?????. ??? ??? ???? HPS ???? ?? ??? ??? ????? ?? ? ????.
HPS? ??? ??? ??? ?? ???? ??? ??? ???? ??? ?????? ????. ?? ? ?? ??? ??????(Redis Enterprise)? ????? ??? ??? ??? ???? ????, HPS ???? ??????.
Figure 5??? RocksDB ?? SSD ???? ??? ?????? ??? ??(RoF)?? ??????. RoF? ???? NVIDIA Triton? HugeCTR ??? ???? ?? ?? ????? SSD? ??? ? ??? ?? ??? ? ????. ?? ???? ??? ?? ??? ?????.
??? RocksDB ?????? ? ??? ??? ???? ?? ?? ??? ???? ??? ???? ??????. ??? ?? ???? ???? ???? ???? ??? ??? ??? ????? ???? ?? ????? ?? ???? ??? ? ????. ? ?? RoF? ??(replication)? ??? ?????? ?? ??? ???? ?? HPS ????? ?? ??? ????.
??? ??????? ??? ?? ??(SLA)? ?? ?? ??(failover times) ??? ???(99.999%), ??? ??? ?? ??????(active-active geo distribution), ??????? ?? ???? ??? ??? ????(IOPS)? ?????. ???? ????? ??? ???? ???(subscriber) ?? ?? ?????? ?????. ? ????? ???? ?? ??? ????? ???? ?? ?????.
? ???? AWS?? ???? ?? ??? ????? ??? ????? RedisVentures/Redis-Recsys ??? ????? ??? ? ????.
??
?? ?????? NVIDIA Merlin ?????? ?? ???? ???? ???? ??? ??? ???? ???? ? ?? ?? ??? ??????. ??? ??? ??? ?? ??? ???????? ???? ??? ??? ??? ???? ?????.
? ???? ??? SDK? ???? ?? ???, ?? ???, ?? ??, ??, ?? ??, ???? NVIDIA ??? ???? ??? ??? ??? ??? ? ????. ?? ??? ???? NVIDIA? ?? ????? ???? ? ??? ??? ??? ?????? ???? ??? ??? ???.
