工作站 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 29 Aug 2024 07:21:36 +0000 zh-CN hourly 1 196178272 RTX AI PC 和工作站上部署多樣化 AI 應用支持 Multi-LoRA http://www.open-lab.net/zh-cn/blog/deploy-diverse-ai-apps-with-multi-lora-support-on-rtx-ai-pcs-and-workstations/ Wed, 28 Aug 2024 07:15:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=11095 Continued]]> 今天的大型語言模型（LLMs）在許多用例中都取得了前所未有的成果。然而，由于基礎模型的通用性，應用程序開發者通常需要定制和調整這些模型，以便專門針對其用例開展工作。 完全微調需要大量數據和計算基礎設施，從而更新模型權重。此方法需要在GPU顯存上托管和運行模型的多個實例，以便在單個設備上提供多個用例。 示例用例包括多語言翻譯助手，用戶需要同時獲得多種語言的結果。這可能會給設備上的 AI 帶來挑戰，因為內存限制。 在設備顯存上同時托管多個LLM幾乎是不可能的，尤其是在考慮運行合適的延遲和吞吐量要求以與用戶進行交互時另一方面，用戶通常在任何給定時間運行多個應用和任務，在應用之間共享系統資源。 低秩適配（LoRA）等高效的參數微調技術可幫助開發者將自定義適配器連接到單個 LLM，以服務于多個用例。這需要盡可能減少額外的內存，同時仍可提供特定于任務的 AI 功能。

Source

]]> 11095 使用現已推出 Beta 版的 NVIDIA AI Workbench 來創建、共享和擴展企業 AI 工作流程 http://www.open-lab.net/zh-cn/blog/create-share-and-scale-enterprise-ai-workflows-with-nvidia-ai-workbench-now-in-beta/ Tue, 30 Jan 2024 03:49:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=8855 Continued]]> NVIDIA AI Workbench 現已進入測試階段，帶來了豐富的新功能，可簡化企業開發者創建、使用和共享 AI 和機器學習 (ML) 項目的方式。在 SIGGRAPH 2023 上發布的 NVIDIA AI Workbench，使開發者能夠在支持 GPU 的環境中輕松創建、協作和遷移 AI 工作負載。欲了解更多信息，請參閱借助 NVIDIA AI Workbench 無縫開發和部署可擴展的生成式 AI 模型。 本文介紹了 NVIDIA AI Workbench 如何幫助簡化 AI 工作流程，并詳細介紹了測試版的新功能。本文還介紹了編碼副駕駛參考示例，該示例使您能夠使用 AI Workbench 在所選平臺上創建、測試和自定義預訓練的生成式 AI 模型。 借助 AI Workbench，開發者和數據科學家可以在 PC 或工作站上靈活地在本地啟動 AI 或 ML 項目，

Source

]]> 8855 借助 NVIDIA TensorRT，在 Stable Diffusion Web UI 中更快地生成圖像 http://www.open-lab.net/zh-cn/blog/unlock-faster-image-generation-in-stable-diffusion-web-ui-with-nvidia-tensorrt/ Tue, 17 Oct 2023 06:06:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=8011 Continued]]> Stable Diffusion 是一款開源軟件，生成式人工智能 基于圖像的模型，使用戶能夠生成包含簡單文本描述的圖像。它在開發者中越來越受歡迎，為熱門應用程序提供支持，例如 Wombo 和 Lensa。 最終用戶通常通過將模型與用戶界面和一組工具打包在一起的發行版訪問模型。最流行的發行版是 Automatic 1111 Stable Diffusion Web UI。本文介紹了如何利用 NVIDIA TensorRT 可以將模型的性能提高一倍。它采用了一個使用 Automatic 1111 Stable Diffusion Web UI 的示例。 Stable Diffusion 是一種深度學習模型，它使用擴散過程根據輸入的文本和圖像生成圖像。雖然它可以成為增強創作者工作流程的有用工具，但該模型的計算量很大。在 CPU 等非專用硬件上，生成單批四張圖像需要幾分鐘時間，

Source

]]> 8011 使用 NVIDIA AI Workbench 無縫開發和部署可擴展的生成式 AI 模型 http://www.open-lab.net/zh-cn/blog/develop-and-deploy-scalable-generative-ai-models-seamlessly-with-nvidia-ai-workbench/ Tue, 08 Aug 2023 04:55:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=7545 Continued]]> 開發自定義 生成式人工智能 模型和應用程序是一段旅程，而不僅僅是一個目標。這個過程從選擇一個預訓練的模型開始，例如 大語言模型，出于探索的目的——開發人員通常希望針對他們的特定用例調整該模型。第一步通常需要使用可訪問的計算基礎設施，如 PC 或工作站。但隨著訓練工作的增加，開發人員可能需要擴展到數據中心或云中的額外計算基礎設施。 這個過程可能會變得極其復雜和耗時，尤其是在嘗試跨多個環境和平臺進行協作和部署時。NVIDIA AI Workbench 通過提供用于管理數據、模型、資源和計算需求的單一平臺，有助于簡化流程。這使得開發人員能夠無縫協作和部署，快速開發具有成本效益的可擴展生成人工智能模型。 NVIDIA AI Workbench 是一個統一、易于使用的開發工具包，用于在 PC 或工作站上創建、測試和自定義預訓練的 AI 模型。然后，用戶可以將模型擴展到幾乎任何數據中心、

Source

]]> 7545 適用于基于 NVIDIA 的 PC 的端到端 AI ： ONNX 和 DirectML http://www.open-lab.net/zh-cn/blog/end-to-end-ai-for-nvidia-based-pcs-onnx-and-directml/ Tue, 25 Apr 2023 05:26:39 +0000 http://www.open-lab.net/zh-cn/blog/?p=6785 Continued]]> 這篇文章是關于優化端到端人工智能. 雖然 NVIDIA 硬件可以以難以置信的速度處理構成神經網絡的單個操作，但確保您正確使用這些工具是很重要的。在 ONNX 中使用 ONNX Runtime 或 TensorRT 等開箱即用的工具通常會給您帶來良好的性能，但既然您可以擁有出色的性能，為什么還要滿足于良好的性能呢？ 在這篇文章中，我討論了一個常見的場景，即帶有 DirectML 后端的 ONNX Runtime 。這是構建 WinML 的兩個主要組件。當在 WinML 之外使用時，它們可以在支持運算符集以及支持 DML 以外的后端（如 TensorRT ）方面提供極大的靈活性。 為了獲得 ONNX Runtime 和 DML 的出色性能，通常值得超越基本實現。從使用 ONNX Runtime 時的常見場景開始。 這里有幾個問題。

Source

]]> 6785 人人超碰97caoporen国产