Ryan McCormick

Ryan McCormick 是一名高級軟件工程師,在 NVIDIA 從事機器學習、系統軟件和分布式系統的交叉工作。他負責開發可擴展和高性能的推理解決方案,目前專注于 Triton 推理服務器。他擁有賓厄姆頓大學計算機科學和數學學士學位。

Posts by Ryan McCormick

數據科學

如何使用 NVIDIA Triton 和 Redis 構建分布式推理緩存

緩存與數組、符號或字符串一樣是計算的基礎。整個堆棧中的各種緩存層在您的 CPU 上掛起時保存來自內存的指令。 3 MIN READ