Elias Bermudez

Elias Bermudez 是 NVIDIA 的高級系統軟件工程師,負責領導 Triton Tools 團隊的 GenAI-Perf 開發工作。他專門提供用于分析 AI 模型推理性能的工具。他非常關心為用戶提供易于使用的強大軟件,并始終進行迭代以實現這一目標。他擁有康奈爾大學電氣和計算機工程專業的工程碩士和學士學位,以及波蘭州立大學計算機科學學士學位。

Posts by Elias Bermudez

數據中心/云端

LLM 基準測試:基本概念

在過去幾年中,作為廣泛的 AI 革命的一部分, 生成式 AI 和 大語言模型 (LLMs) 越來越受歡迎。 4 MIN READ
數據中心/云端

使用 NVIDIA GenAI-Perf 和 OpenAI 兼容 API 測量生成式 AI 模型性能

NVIDIA 提供 Perf Analyzer 和 Model Analyzer 等工具,幫助機器學習工程師測量和平衡延遲與吞吐量之間的權衡, 2 MIN READ