TensorRT-LLM

2025年 4月 5日

NVIDIA 加速推理 Meta Llama 4 Scout 與 Maverick 模型

最新一代熱門 Llama AI 模型現已支持 Llama 4 Scout 和 Llama 4 Maverick。
2 MIN READ
2025年 4月 2日

LLM 基準測試：基本概念

在過去幾年中，作為廣泛的 AI 革命的一部分， 生成式 AI 和 大語言模型 (LLMs) 越來越受歡迎。
4 MIN READ
2025年 4月 2日

NVIDIA Blackwell 在 MLPerf Inference v5.0 中實現巨大的性能飛躍

在不斷增長的模型大小、實時延遲要求以及最近的 AI 推理的推動下， 大語言模型 (LLM) 推理的計算需求正在快速增長。與此同時，
3 MIN READ
2025年 3月 20日

借助 NVIDIA TensorRT-LLM 提升 Microsoft Azure AI Foundry 的 Llama 模型性能

微軟與 NVIDIA 合作，宣布在其 Azure AI Foundry 平臺上實現 Meta Llama 系列模型的變革性性能提升。
1 MIN READ
2025年 3月 18日

NVIDIA Blackwell 實現世界紀錄的 DeepSeek-R1 推理性能

NVIDIA 在 NVIDIA GTC 2025 上宣布了創下世界紀錄的 DeepSeek-R1 推理性能 。 搭載 8 個 NVIDIA…
5 MIN READ
2025年 2月 28日

聚焦：NAVER Place 利用 NVIDIA TensorRT-LLM 優化 SLM 基礎的垂直服務

NAVER 是一家韓國熱門搜索引擎公司，提供 Naver Place ，這是一項基于地理的服務，可提供有關韓國數百萬家企業和興趣點的詳細信息。
4 MIN READ
2025年 2月 14日

使用 NVIDIA TensorRT-LLM 前瞻性解碼優化 Qwen2.5-Coder 吞吐量

專注于編碼的 大語言模型（LLMs） 已穩步應用于開發者工作流程。從配對編程到自我改進的 AI 智能體 ，這些模型可幫助開發者完成各種任務，
3 MIN READ
2025年 2月 5日

利用特定領域的微調和 NVIDIA NIM 提高翻譯質量

翻譯在助力公司實現跨國業務擴展方面發揮著至關重要的作用，在語調、準確性和技術術語處理方面的要求差異很大。
3 MIN READ
2025年 1月 16日

在 NVIDIA TensorRT-LLM 中引入新型 KV 緩存重用優化策略

語言模型通過預測下一個令牌 (給定所有先前的令牌，包括輸入文本令牌) 來生成文本。在 LLM 服務中，先前令牌的鍵和值元素用作歷史語境，
2 MIN READ
2025年 1月 15日

提升 AI 性能的 GPU 內存基礎知識

生成式 AI 徹底改變了人們將想法變為現實的方式，而代理 AI 代表著這一技術變革的下一次飛躍。通過利用復雜的自主推理和迭代規劃，
2 MIN READ
2024年 12月 24日

借助 NVIDIA 全棧解決方案提升 AI 推理性能

AI 驅動的應用的爆炸式發展對開發者提出了前所未有的要求，他們必須在提供先進的性能與管理運營復雜性和成本以及 AI 基礎設施之間取得平衡。
2 MIN READ
2024年 12月 18日

NVIDIA?TensorRT-LLM?現支持?Recurrent Drafting，實現?LLM?推理優化

Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發并開源的一種新型推測解碼技術，
2 MIN READ
2024年 12月 17日

借助 NVIDIA TensorRT-LLM 預測解碼，將 Llama 3.3 的推理吞吐量提升 3 倍

隨著近期新增的 Llama 3.3 70B (一種純文本指令調整模型)，Meta 的開放 大語言模型 (LLMs) 集合將繼續增長。
4 MIN READ
2024年 12月 16日

2024 年熱門文章：NVIDIA NIM、語言模型突破和數據科學優化的精要

對于使用 NVIDIA 技術的開發者、研究人員和創新者來說，2024 年又是具有里程碑意義的一年。
2 MIN READ
2024年 12月 11日

NVIDIA TensorRT-LLM 現支持動態批處理加速編碼器 - 解碼器模型

NVIDIA 最近宣布， NVIDIA TensorRT-LLM 現可加速編碼器 – 解碼器模型架構 。
1 MIN READ
2024年 12月 5日

聚焦：Perplexity AI 利用 NVIDIA 推理棧每月服務 4 億個搜索請求

對 AI 賦能服務的需求持續快速增長，這給 IT 和基礎設施團隊帶來了越來越大的壓力。這些團隊的任務是配置必要的硬件和軟件來滿足這一需求，
2 MIN READ