TensorRT

2025年 3月 10日

借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署

大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、
2 MIN READ
2025年 2月 28日

聚焦：NAVER Place 利用 NVIDIA TensorRT-LLM 優化 SLM 基礎的垂直服務

NAVER 是一家韓國熱門搜索引擎公司，提供 Naver Place ，這是一項基于地理的服務，可提供有關韓國數百萬家企業和興趣點的詳細信息。
4 MIN READ
2025年 1月 30日

為 NVIDIA Blackwell GeForce RTX 50 系列 GPU 發布全新 AI SDK 和工具

NVIDIA 最近宣布推出 新一代 PC GPU – GeForce RTX 50 系列 ，以及面向開發者的全新 AI 賦能 SDK 和工具。
2 MIN READ
2024年 12月 24日

借助 NVIDIA 全棧解決方案提升 AI 推理性能

AI 驅動的應用的爆炸式發展對開發者提出了前所未有的要求，他們必須在提供先進的性能與管理運營復雜性和成本以及 AI 基礎設施之間取得平衡。
2 MIN READ
2024年 12月 18日

NVIDIA?TensorRT-LLM?現支持?Recurrent Drafting，實現?LLM?推理優化

Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發并開源的一種新型推測解碼技術，
2 MIN READ
2024年 12月 11日

NVIDIA TensorRT-LLM 現支持動態批處理加速編碼器 - 解碼器模型

NVIDIA 最近宣布， NVIDIA TensorRT-LLM 現可加速編碼器 – 解碼器模型架構 。
1 MIN READ
2024年 11月 20日

TensorRT-LLM 低精度推理優化：從速度和精度角度的 FP8 vs INT8 的全面解析

本文將分享 TensorRT-LLM 中低精度量化內容，并從精度和速度角度對比 FP8 與 INT8。首先介紹性能，包括速度和精度。其次，
5 MIN READ
2024年 11月 19日

Llama 3.2 全棧優化釋放 NVIDIA GPU 的高性能

Meta 最近發布了 Llama 3.2 系列視覺語言模型（VLM），其中包含 11B 參數和 90B 參數變體。這些模型是多模態模型，
2 MIN READ
2024年 11月 15日

NVIDIA NIM 1.4 現已部署可用，推理速度提升 2.4 倍

隨著 生成式 AI 重塑各行各業，對可立即部署的高性能推理的需求也在不斷增長。 NVIDIA NIM 為 AI…
1 MIN READ
2024年 11月 8日

NVIDIA TensorRT-LLM KV 緩存早期重用實現首個令牌速度 5 倍提升

在上一篇 博客文章 中，我們展示了通過將鍵值 (KV) 緩存卸載到 CPU 內存來重復使用該緩存如何在基于 x86 的 NVIDIA…
2 MIN READ
2024年 11月 1日

NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度達 3 倍

在用戶數量可能在數百到數十萬之間波動，且輸入序列長度隨每個請求而變化的生產環境中，部署生成式 AI 工作負載會面臨獨特的挑戰。
1 MIN READ
2024年 10月 7日

NVIDIA 加速庫助力 Microsoft Bing 視覺搜索性能優化

Microsoft Bing 視覺搜索使全球用戶能夠使用照片作為查詢來查找內容。該功能的核心是 Microsoft 的 TuringMM…
3 MIN READ
2024年 9月 25日

Llama 3.2 加速部署從邊緣到云端實現提速

擴展開源 Meta Llama 模型集合，Llama 3.2 集合包括視覺語言模型（VLM）、小語言模型（SLM）和更新版的 Llama…
2 MIN READ
2024年 9月 24日

NVIDIA Aerial Omniverse 數字孿生助力打造新一代無線網絡

6G 之旅已經開始，為提供高性能、高效、彈性和適應性強的網絡基礎設施提供了機會。6G 網絡將比前代網絡復雜得多，并且將依賴于各種新技術，
2 MIN READ
2024年 9月 23日

借助 ReMEmbR，生成式 AI 賦予機器人推理和行動能力

視覺語言模型 （VLM）通過將文本和圖像投影到同一嵌入空間，將基礎 LLM 的強大語言理解能力與 視覺 Transformer…
3 MIN READ
2024年 9月 11日

AI 工具助力農民抗擊作物損失和氣候變化影響

機器學習算法開始徹底改變現代農業，該技術使農民能夠實時抗擊病蟲害，提高作物產量和利潤，同時減少浪費、溫室氣體排放和殺蟲劑的使用。 全球約 6%
1 MIN READ