Jesse Clayton – NVIDIA 技術博客

Llama 3.2 全棧優化釋放 NVIDIA GPU 的高性能

Tue, 19 Nov 2024 09:20:22 +0000

Meta 最近發布了 Llama 3.2 系列視覺語言模型（VLM），其中包含 11B 參數和 90B 參數變體。這些模型是多模態模型，支持文本和圖像輸入。此外，Meta 還推出了 Llama 3.2 的純文本小語言模型（SLM）變體，具有 1B 和 3B 參數。NVIDIA 已對 Llama 3.2 模型集合進行優化，以便在全球數百萬個 GPU 上提供出色的性能和經濟高效的服務 – 從我們功能強大的數據中心和云 GPU 到本地 NVIDIA RTX 工作站，甚至是使用 NVIDIA Jetson 的低功耗邊緣設備。 Llama 3.2 VLM 支持長達 128K 的文本標記，以及分辨率為 1120 x 1120 像素的單張圖像輸入。為了實現低延遲響應，提供出色的用戶體驗，同時提供高吞吐量以經濟高效地提供這些模型，NVIDIA 平臺在技術堆棧的每一層都進行了優化。

Source

]]>

借助適用于 Windows RTX PC 的 NVIDIA RTX AI 工具包，簡化 AI 驅動型應用的開發

Sun, 02 Jun 2024 08:33:01 +0000

NVIDIA 今日發布了 NVIDIA RTX AI 工具包，這是一個工具和 SDK 集合，供 Windows 應用程序開發者為 Windows 應用程序自定義、優化和部署人工智能模型。它可以免費使用，不需要具備人工智能框架和開發工具方面的經驗，并為本地和云部署提供出色的人工智能性能。生成式預訓練 Transformer (GPT) 模型的廣泛應用為 Windows 開發者將 AI 功能集成到應用程序中創造了巨大的機會。然而，提供這些功能仍然面臨重大挑戰。首先，您需要自定義模型以滿足應用程序的特定需求。其次，您需要優化模型，以適應各種硬件，同時仍能提供最佳性能。第三，您需要一個適用于云和本地 AI 的簡單部署路徑。 NVIDIA RTX AI 工具包為 Windows 應用開發者提供了端到端工作流程。您可以利用 Hugging Face 中的預訓練模型，

Source

]]>

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力

Mon, 08 Jan 2024 05:52:26 +0000

大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。它們正在推進實時內容生成、文本摘要、客戶服務聊天機器人和問答用例的發展。如今，由 LLM 提供支持的應用程序主要在云端運行。但是，許多用例都將受益于在 Windows PC 上本地運行 LLM，包括游戲、創意、生產力和開發者體驗。在 CES 2024 上， NVIDIA 發布了一些開發者工具，用于在適用于 Windows PC 的 NVIDIA RTX 系統上加速 LLM 推理和開發。您現在可以使用 NVIDIA 端到端開發者工具在 NVIDIA RTX AI 就緒型 PC 上創建和部署 LLM 應用。 NVIDIA 剛剛宣布為熱門社區模型提供優化支持，包括 Phi-2。除了在 NVIDIA RTX 系統上對 Lama2、

Source

]]>