Kedar Potdar – NVIDIA 技術博客

RTX AI PC 和工作站上部署多樣化 AI 應用支持 Multi-LoRA

Wed, 28 Aug 2024 07:15:06 +0000

今天的大型語言模型（LLMs）在許多用例中都取得了前所未有的成果。然而，由于基礎模型的通用性，應用程序開發者通常需要定制和調整這些模型，以便專門針對其用例開展工作。完全微調需要大量數據和計算基礎設施，從而更新模型權重。此方法需要在GPU顯存上托管和運行模型的多個實例，以便在單個設備上提供多個用例。示例用例包括多語言翻譯助手，用戶需要同時獲得多種語言的結果。這可能會給設備上的 AI 帶來挑戰，因為內存限制。在設備顯存上同時托管多個LLM幾乎是不可能的，尤其是在考慮運行合適的延遲和吞吐量要求以與用戶進行交互時另一方面，用戶通常在任何給定時間運行多個應用和任務，在應用之間共享系統資源。低秩適配（LoRA）等高效的參數微調技術可幫助開發者將自定義適配器連接到單個 LLM，以服務于多個用例。這需要盡可能減少額外的內存，同時仍可提供特定于任務的 AI 功能。

Source

]]>

借助適用于 Windows RTX PC 的 NVIDIA RTX AI 工具包，簡化 AI 驅動型應用的開發

Sun, 02 Jun 2024 08:33:01 +0000

NVIDIA 今日發布了 NVIDIA RTX AI 工具包，這是一個工具和 SDK 集合，供 Windows 應用程序開發者為 Windows 應用程序自定義、優化和部署人工智能模型。它可以免費使用，不需要具備人工智能框架和開發工具方面的經驗，并為本地和云部署提供出色的人工智能性能。生成式預訓練 Transformer (GPT) 模型的廣泛應用為 Windows 開發者將 AI 功能集成到應用程序中創造了巨大的機會。然而，提供這些功能仍然面臨重大挑戰。首先，您需要自定義模型以滿足應用程序的特定需求。其次，您需要優化模型，以適應各種硬件，同時仍能提供最佳性能。第三，您需要一個適用于云和本地 AI 的簡單部署路徑。 NVIDIA RTX AI 工具包為 Windows 應用開發者提供了端到端工作流程。您可以利用 Hugging Face 中的預訓練模型，

Source

]]>

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力

Mon, 08 Jan 2024 05:52:26 +0000

大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。它們正在推進實時內容生成、文本摘要、客戶服務聊天機器人和問答用例的發展。如今，由 LLM 提供支持的應用程序主要在云端運行。但是，許多用例都將受益于在 Windows PC 上本地運行 LLM，包括游戲、創意、生產力和開發者體驗。在 CES 2024 上， NVIDIA 發布了一些開發者工具，用于在適用于 Windows PC 的 NVIDIA RTX 系統上加速 LLM 推理和開發。您現在可以使用 NVIDIA 端到端開發者工具在 NVIDIA RTX AI 就緒型 PC 上創建和部署 LLM 應用。 NVIDIA 剛剛宣布為熱門社區模型提供優化支持，包括 Phi-2。除了在 NVIDIA RTX 系統上對 Lama2、

Source

]]>

使用 NVIDIA DeepStream 和 NVIDIA TAO 工具包構建端到端零售分析應用程序

Thu, 08 Dec 2022 06:59:00 +0000

如今，零售商可以使用商店中安裝的攝像頭和傳感器提供的大量視頻數據。利用計算機視覺 AI 應用程序，零售商和軟件合作伙伴可以更快地開發 AI 應用程序同時提供更高的準確性。這些應用程序可以幫助零售商：大規模構建和部署這種高效的計算機視覺人工智能應用帶來了許多挑戰。傳統技術耗時，需要密集的開發工作和人工智能專業知識來繪制所有復雜的架構和選項。這些可以包括構建定制的人工智能模型、部署高性能視頻解碼和人工智能推理管道，以及生成有洞察力的分析儀表板。 NVIDIA 的 SDK 套件有助于簡化此工作流。您可以使用 NVIDIA DeepStream SDK 創建具有最低配置的高質量視頻分析，并使用 NVIDIA TAO Toolkit 創建簡單的模型訓練過程。這篇文章提供了一個教程，介紹如何使用 NVIDIA DeepStream SDK 和 NVIDIA TAO Toolkit…

Source

]]>