NVIDIA TensorRT-LLM 現支持動態批處理加速編碼器 – 解碼器模型

Wed, 11 Dec 2024 06:33:05 +0000

NVIDIA 最近宣布， NVIDIA TensorRT-LLM 現可加速編碼器 – 解碼器模型架構。TensorRT-LLM 是一個開源庫，可針對各種模型架構優化推理，包括：編碼器-解碼器模型支持的添加進一步擴展了 TensorRT-LLM 功能，為 NVIDIA GPUs 上更廣泛的生成式 AI 應用提供高度優化的推理。 TensorRT-LLM 使用 NVIDIA TensorRT 深度學習編譯器。它包含經過最新優化的內核，可在前沿實現用于 LLM 模型執行的不同注意力機制。它還在一個簡單的開源 API 中包含預處理和后處理步驟以及多 GPU/多節點通信基元，可在 GPU 上實現突破性的 LLM 推理性能。 TensorRT-LLM 可處理編碼器 – 解碼器模型系列 (例如 T5 、 mT5 、Flan-T5、 BART 、 mBART 、

Source

]]>

在 Amazon EC2 上使用 NVIDIA Riva 構建語音支持的人工智能虛擬助手

Thu, 28 Jul 2022 05:16:00 +0000

語音 AI 可以在聯絡中心協助人類代理，為虛擬助理和數字化身供電，在視頻會議中生成實時字幕，等等。在后臺，這些基于語音的技術協調了自動語音識別（ ASR ）和文本到語音（ TTS ）管道網絡，以提供智能、實時的響應。從頭開始構建這些實時語音人工智能應用程序并非易事。從建立 GPU 優化的開發環境到在 300 毫秒內使用定制的基于大型 transformer 的語言模型部署語音 AI 推理，語音 AI 管道需要專門的時間、專業知識和投資。在這篇文章中，我們將介紹如何通過使用 NVIDIA Riva 運行 GPU 優化的應用程序。在沒有先驗知識或經驗的情況下，您將學習如何快速配置 GPU 優化的開發環境，并使用 Jupyter 筆記本運行 NVIDIA Riva ASR 和 TTS 示例。跟隨之后虛擬助手演示可以在 Amazon EC2 上由 NVIDIA GPU…

Source

]]>

Jiahong Liu – NVIDIA 技術博客

NVIDIA TensorRT-LLM 現支持動態批處理加速編碼器 – 解碼器模型

在 Amazon EC2 上使用 NVIDIA Riva 構建語音支持的人工智能虛擬助手