Laikh Tewari

Laikh Tewari 是 NVIDIA AI 平臺軟件團隊的成員,負責管理用于優化 LLM 推理性能的產品。Laikh 獲得了學士學位和理科碩士。斯坦福大學計算機科學專業,專注于系統和 AI。

Posts by Laikh Tewari

生成式人工智能/大語言模型

在 NVIDIA TensorRT-LLM 中引入新型 KV 緩存重用優化策略

語言模型通過預測下一個令牌 (給定所有先前的令牌,包括輸入文本令牌) 來生成文本。在 LLM 服務中,先前令牌的鍵和值元素用作歷史語境, 2 MIN READ