Luca Spindler – NVIDIA 技術博客

借助 NVIDIA TensorRT，在 Stable Diffusion Web UI 中更快地生成圖像

Tue, 17 Oct 2023 06:06:11 +0000

Stable Diffusion 是一款開源軟件，生成式人工智能基于圖像的模型，使用戶能夠生成包含簡單文本描述的圖像。它在開發者中越來越受歡迎，為熱門應用程序提供支持，例如 Wombo 和 Lensa。最終用戶通常通過將模型與用戶界面和一組工具打包在一起的發行版訪問模型。最流行的發行版是 Automatic 1111 Stable Diffusion Web UI。本文介紹了如何利用 NVIDIA TensorRT 可以將模型的性能提高一倍。它采用了一個使用 Automatic 1111 Stable Diffusion Web UI 的示例。 Stable Diffusion 是一種深度學習模型，它使用擴散過程根據輸入的文本和圖像生成圖像。雖然它可以成為增強創作者工作流程的有用工具，但該模型的計算量很大。在 CPU 等非專用硬件上，生成單批四張圖像需要幾分鐘時間，

Source

]]>

工作站端到端 AI ：使用 ONNX 轉換 AI 模型

Thu, 15 Dec 2022 06:50:00 +0000

這篇文章是優化工作站端到端人工智能系列文章的第二篇。有關更多信息，請參見第 1 部分，工作站端到端 AI ：優化簡介和第 3 部分，工作站端到端 AI ： ONNX 運行時和優化 . 在這篇文章中，我討論了如何使用 ONNX 將人工智能模型從研究過渡到生產，同時避免常見錯誤。考慮到 PyTorch 已經成為最流行的機器學習框架，我的所有示例都使用它，但我也提供了 TensorFlow 教程的參考。 ONNX （開放式神經網絡交換）是描述深度學習模型的開放標準，旨在促進框架兼容性。考慮以下場景：您可以在 PyTorch 中訓練神經網絡，然后在將其部署到生產環境之前通過 TensorRT 優化編譯器運行它。這只是許多可互操作的深度學習工具組合中的一種，包括可視化、性能分析器和優化器。研究人員和 DevOps 不再需要將就一個未優化建模和部署性能的單一工具鏈。

Source

]]>

工作站端到端 AI ： ONNX 運行時和優化

Thu, 15 Dec 2022 06:36:00 +0000

這篇文章是優化工作站端到端人工智能系列文章的第三篇。有關更多信息，請參見第 1 部分，工作站端到端 AI ：優化簡介和第 2 部分，工作站端到端 AI ：使用 ONNX 轉換 AI 模型 . 當您的模型轉換為 ONNX 格式時，有幾種方法可以部署它，每種方法都有優缺點。一種方法是使用 ONNX Runtime 。 ONNX 運行時充當后端，從中間表示（ ONNX ）讀取模型，處理推理會話，并在能夠調用硬件特定庫的執行提供程序上調度執行。有關詳細信息，請參見 Execution Providers 。在這篇文章中，我將討論如何在高級別上使用 ONNX 運行時。我還深入探討了如何優化模型。 ONNX Runtime 與大多數編程語言兼容。與另一篇文章一樣，本文使用 Python 是為了簡潔和易讀。這些例子只是為了介紹關鍵思想。有關所有流行操作系統、

Source

]]>