Triton

2024年 1月 9日

在 GPU 上高效部署語音 AI 模型

導讀：本文將介紹如何在GPU上高效地部署語音AI模型，主要內容如下：
3 MIN READ
2023年 1月 12日

使用 Kubernetes 自動縮放 NVIDIA Riva 部署，用于生產中的語音 AI

語音 AI 應用，從呼叫中心到虛擬助理，嚴重依賴 自動語音識別 （ ASR ）和文本轉語音（ TTS ）。
4 MIN READ
2022年 12月 19日

使用 NVIDIA Triton 推理服務器從公共庫 ModelZoo 部署不同的 AI 模型類別

如今，針對 TensorFlow 、 ONNX 、 PyTorch 、 Keras 、 MXNet 等不同框架，出現了大量最先進（ SOTA…
4 MIN READ
2022年 11月 30日

自動駕駛的最優 AI 推理流水線設計

自動駕駛汽車必須能夠快速準確地檢測物體，以確保其駕駛員和道路上其他駕駛員的安全。由于自動駕駛（ AD ）和視覺檢查用例中對實時處理的需求，
3 MIN READ
2022年 11月 4日

使用 NVIDIA NeMo Megatron 部署 1.3B GPT-3 型號

Large language models ( LLMs）是一些能夠理解書面語言的最先進的深度學習算法。
4 MIN READ
2022年 10月 25日

使用 NVIDIA Triton 推理服務器支持的 Amazon SageMaker 多模型端點在同一 GPU 上運行多個 AI 模型

去年 11 月，AWS 在 Amazon SageMaker 中集成了開源推理服務軟件 NVIDIA Triton Inference…
1 MIN READ
2022年 9月 29日

NADP + Triton: 搭建穩定高效的推理平臺

業務背景 蔚來自動駕駛研發平臺(NADP)是著力服務于自動駕駛核心業務方向的研發平臺。平臺化的推理能力作為常規機器學習平臺的重要組成部分，
2 MIN READ
2022年 9月 21日

GTC 推出新語言、增強網絡安全和醫療 AI 框架

在 GTC 2022 年， NVIDIA 對 AI 框架進行了增強，以構建實時語音 AI 應用程序、大規模設計高性能推薦者、
4 MIN READ
2022年 9月 21日

新的 SDK 加速 AI 研究、計算機視覺、數據科學等

NVIDIA 向開發者透露了 AI 軟件套件的主要更新，包括 JAX 、 NVIDIA CV-CUDA 和 NVIDIA RAPIDS 。
3 MIN READ
2022年 9月 21日

使用 NVIDIA Triton 解決人工智能推斷挑戰

在生產中部署 AI 模型以滿足 AI 驅動應用程序的性能和可擴展性要求，同時保持低基礎設施成本是一項艱巨的任務。
3 MIN READ
2022年 8月 3日

使用 FasterTransformer 和 Triton 推理服務器加速大型?Transformer?模型的推理

這是討論 NVIDIA FasterTransformer 庫的兩部分系列的第一部分，
3 MIN READ
2022年 8月 3日

使用 FasterTransformer 和 Triton 推理服務器部署 GPT-J 和 T5

這是關于 NVIDIA 工具的兩部分系列的第二部分，這些工具允許您運行大型Transformer模型以加速推理。
5 MIN READ
2022年 6月 28日

Transformers4Rec ：使用 NVIDIA Merlin 庫構建基于會話的建議

推薦系統可以幫助您發現新產品并做出明智的決策。然而，在許多依賴于推薦的領域，如電子商務、新聞和流媒體服務，用戶可能無法跟蹤，
3 MIN READ
2022年 5月 23日

實現智能制造的工業推理管道

在制造過程和質量管理體系中實施質量控制和保證方法，確保最終產品滿足客戶要求和滿意度。表面缺陷檢測系統可以使用圖像數據進行檢查和分類，
1 MIN READ
2022年 5月 23日

使用 NVIDIA Triton 模型分析器確定規模上的最佳 AI 模型服務配置

模型部署是 機器學習 生命周期的一個關鍵階段，在此階段，經過培訓的模型將集成到現有的應用程序生態系統中。這往往是最繁瑣的步驟之一，
3 MIN READ
2022年 5月 19日

NVIDIA Triton 助力騰訊PCG加速在線推理, 提高設備效能

騰訊平臺與內容事業群（簡稱 騰訊PCG）負責公司互聯網平臺和內容文化生態融合發展，整合QQ、QQ空間等社交平臺，和應用寶、瀏覽器等流量平臺，
1 MIN READ