Annamalai Chockalingam – NVIDIA 技術博客

為 NVIDIA Blackwell GeForce RTX 50 系列 GPU 發布全新 AI SDK 和工具

Thu, 30 Jan 2025 05:23:17 +0000

NVIDIA 最近宣布推出新一代 PC GPU – GeForce RTX 50 系列，以及面向開發者的全新 AI 賦能 SDK 和工具。GeForce RTX 50 系列由 NVIDIA Blackwell 架構、第五代 Tensor Cores 和第四代 RT Cores 提供動力支持，在神經著色器、數字人技術、幾何圖形和照明等 AI 驅動渲染方面實現了突破。今天，NVIDIA 發布了第一波適用于 GeForce RTX 50 Series GPUs 的 SDK。作為開發者，您可以開始將這些更新集成到您的應用中，以確保與 NVIDIA Blackwell RTX GPUs 的軟件兼容性和最佳性能，并展示 GeForce RTX 50 Series GPUs 的新功能。本文詳細介紹了新的和更新的 SDK，這些 SDK 可助力開發者充分利用 NVIDIA…

Source

]]>

在 NVIDIA RTX 系統上使用 Llama.cpp 加速 LLM

Wed, 02 Oct 2024 08:42:38 +0000

適用于 Windows PC 平臺的 NVIDIA RTX AI 提供了一個由數千個開源模型組成的蓬勃發展的生態系統，供應用程序開發者利用并集成到 Windows 應用程序中。值得注意的是，llama.cpp 是一款熱門工具，在撰寫本文時擁有超過 65K 顆 GitHub 星。此開源庫最初發布于 2023 年，是一個輕量級、高效的大語言模型 (LLM) 推理框架，可在包括 RTX PC 在內的一系列硬件平臺上運行。本文介紹了 RTX PC 上的 Llama.cpp 如何為構建需要 LLM 功能的跨平臺或 Windows 原生應用提供出色的解決方案。雖然 LLMs 在解鎖令人興奮的新用例方面大有可為，但其大容量內存和計算密集型特性通常使開發者難以將它們部署到生產應用中。為解決這一問題，Llama.cpp 提供了大量功能，以優化模型性能，并在各種硬件上高效部署。

Source

]]>

RTX AI PC 和工作站上部署多樣化 AI 應用支持 Multi-LoRA

Wed, 28 Aug 2024 07:15:06 +0000

今天的大型語言模型（LLMs）在許多用例中都取得了前所未有的成果。然而，由于基礎模型的通用性，應用程序開發者通常需要定制和調整這些模型，以便專門針對其用例開展工作。完全微調需要大量數據和計算基礎設施，從而更新模型權重。此方法需要在GPU顯存上托管和運行模型的多個實例，以便在單個設備上提供多個用例。示例用例包括多語言翻譯助手，用戶需要同時獲得多種語言的結果。這可能會給設備上的 AI 帶來挑戰，因為內存限制。在設備顯存上同時托管多個LLM幾乎是不可能的，尤其是在考慮運行合適的延遲和吞吐量要求以與用戶進行交互時另一方面，用戶通常在任何給定時間運行多個應用和任務，在應用之間共享系統資源。低秩適配（LoRA）等高效的參數微調技術可幫助開發者將自定義適配器連接到單個 LLM，以服務于多個用例。這需要盡可能減少額外的內存，同時仍可提供特定于任務的 AI 功能。

Source

]]>

在 NVIDIA 平臺上為 Lama 3.1 提供強效助力

Tue, 23 Jul 2024 08:10:08 +0000

Meta 的 Llama 大型語言模型集合是當今開源社區中最受歡迎的基礎模型，支持多種應用場景。全球數百萬開發者正在基于這些模型構建衍生模型，并將其集成到他們的應用程序中。 Meta 將在 Llama 3.1 中推出一套大型語言模型（LLMs）以及一套信任和安全模型，以確保 LLM 響應的安全。 Meta 工程師在 NVIDIA H100 Tensor Core GPU 上訓練了 Llama 3。他們顯著優化了完整的訓練堆棧，并將模型訓練推向超過 16K H100 GPU，使 405B 成為第一個在這種規模下訓練的 Llama 模型。我們很高興地宣布，Llama 3.1 集合已針對全球超過 1 億個 GPU 進行優化，涵蓋 NVIDIA 所有平臺，從數據中心到邊緣和 PC。最新的 NVIDIA H200 Tensor Core GPU 運行 TensorRT-LLM，

Source

]]>

借助適用于 Windows RTX PC 的 NVIDIA RTX AI 工具包，簡化 AI 驅動型應用的開發

Sun, 02 Jun 2024 08:33:01 +0000

NVIDIA 今日發布了 NVIDIA RTX AI 工具包，這是一個工具和 SDK 集合，供 Windows 應用程序開發者為 Windows 應用程序自定義、優化和部署人工智能模型。它可以免費使用，不需要具備人工智能框架和開發工具方面的經驗，并為本地和云部署提供出色的人工智能性能。生成式預訓練 Transformer (GPT) 模型的廣泛應用為 Windows 開發者將 AI 功能集成到應用程序中創造了巨大的機會。然而，提供這些功能仍然面臨重大挑戰。首先，您需要自定義模型以滿足應用程序的特定需求。其次，您需要優化模型，以適應各種硬件，同時仍能提供最佳性能。第三，您需要一個適用于云和本地 AI 的簡單部署路徑。 NVIDIA RTX AI 工具包為 Windows 應用開發者提供了端到端工作流程。您可以利用 Hugging Face 中的預訓練模型，

Source

]]>

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力

Mon, 08 Jan 2024 05:52:26 +0000

大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。它們正在推進實時內容生成、文本摘要、客戶服務聊天機器人和問答用例的發展。如今，由 LLM 提供支持的應用程序主要在云端運行。但是，許多用例都將受益于在 Windows PC 上本地運行 LLM，包括游戲、創意、生產力和開發者體驗。在 CES 2024 上， NVIDIA 發布了一些開發者工具，用于在適用于 Windows PC 的 NVIDIA RTX 系統上加速 LLM 推理和開發。您現在可以使用 NVIDIA 端到端開發者工具在 NVIDIA RTX AI 就緒型 PC 上創建和部署 LLM 應用。 NVIDIA 剛剛宣布為熱門社區模型提供優化支持，包括 Phi-2。除了在 NVIDIA RTX 系統上對 Lama2、

Source

]]>

掌握 LLM 技術：訓練

Thu, 16 Nov 2023 05:30:20 +0000

大型語言模型 (LLM) 是一類使用 Transformer 網絡構建的生成式 AI 模型，能夠利用非常大的數據集來識別、匯總、翻譯、預測和生成語言。正如我們所知，LLM 有望改變社會，但訓練這些基礎模型極具挑戰性。此博客闡述了使用 Transformer 網絡構建 LLM 的基本原理，涵蓋模型架構、注意力機制、嵌入技術和基礎模型訓練策略。模型架構定義了 Transformer 網絡的骨干，大致規定了模型的功能和限制。LLM 的架構通常稱為編碼器、解碼器或編碼器 – 解碼器模型。一些熱門架構包括：另一個熱門架構決策是擴展到多模態模型，這些模型結合了來自文本、圖像、音頻和視頻等多種模式或形式的數據的信息。雖然訓練具有挑戰性，但多模態模型提供了來自不同模式的互補信息的關鍵優勢，正如人類通過分析來自多種感官的數據所理解的那樣。

Source

]]>

NVIDIA 實現值得信賴、安全可靠的大型語言模型對話系統

Tue, 25 Apr 2023 05:35:01 +0000

大語言模型（ LLM ）非常強大，能夠回答復雜的問題，進行創造性的寫作、開發、調試源代碼等。通過將 LLM 應用程序連接到外部工具，例如從實時源讀取數據，或者使 LLM 能夠決定根據用戶的請求采取什么行動，您可以構建極其復雜的 LLM 應用。然而，以安全可靠的方式構建這些 LLM 應用程序具有挑戰性。 NeMo Guardrails 是一個開源工具包，用于輕松開發安全可靠的 LLM 會話系統。由于生成人工智能的安全性是全行業關注的問題， NVIDIA 設計 NeMo Guardrails 與所有 LLM 一起工作，包括 OpenAI 的 ChatGPT 。該工具包由社區構建的工具包提供支持，如 LangChain ，它在短短幾個月內就在 GitHub 上聚集了約 3 萬顆星。工具包提供了可組合、易于使用的模板和模式，通過將 LLM 、

Source

]]>

NVIDIA 宣布為語言、視覺內容和生物學應用提供生成式人工智能服務

Wed, 22 Mar 2023 06:25:48 +0000

生成式人工智能已經做好了改變世界產業和解決當今最重要挑戰的準備。為了使企業能夠利用生成人工智能的可能性， NVIDIA 推出了 NVIDIA AI Foundations 和 NVIDIA NeMo 框架，由 NVIDIA DGX Cloud 提供支持。 NVIDIA AI Foundations 是一系列云服務，為企業提供了一種簡化的方法來構建和運行自定義生成人工智能，從文本語言、視覺媒體和生物語言的最先進的基礎模型開始。 NeMo 框架使企業能夠輕松開發大規模生成性人工智能語言和生物模型，并對其進行訓練、定制和部署到生產中。觀看 NVIDIA GTC 2023 主題演講與 NVIDIA 首席執行官黃仁勛（ Jensen Huang ）一起了解 NVIDIA 最新發布的生成性人工智能。 NVIDIA 宣布推出 NeMo ，

Source

]]>

使用 NVIDIA NeMo 框架和服務簡化對大型語言模型的訪問

Wed, 21 Sep 2022 09:20:00 +0000

大型語言模型（ LLM ）的最新進展為 NLP 應用程序（如醫療保健中的虛擬抄寫員、交互式虛擬助理等）提供了最先進的性能。為了簡化對 LLM 的訪問， NVIDIA 宣布了兩項服務： NeMo LLM 用于定制和使用 LLM ， BioNeMo 擴展 LLM 在制藥和生物技術行業的科學應用。 NVIDIA NeMo Megatron 是一個用于培訓和部署 LLM 的端到端框架，現在可以通過開放測試版向世界各地的開發人員提供。 NVIDIA NeMo LLM 服務提供了定制基礎 LLM 并利用 NVIDIA 托管云 API 或通過私有云和公共云大規模部署它們的最快路徑。 NVIDIA 和社區構建的基礎模型可以使用提示訓練能力進行定制，這是一種計算效率高的技術，在用戶查詢中嵌入上下文以在特定用例中實現更高的準確性。這些技術只需要幾百個樣本即可實現高精度。現在，

Source

]]>

NVIDIA AI 平臺為大型語言模型帶來巨大收益

Thu, 28 Jul 2022 06:36:00 +0000

隨著大型語言模型（ LLM ）的規模和復雜性不斷增長， NVIDIA 今天宣布更新 NeMo Megatron 框架，提供高達 30% 的訓練速度。這些更新包括兩種開拓性技術和一個超參數工具，用于優化和擴展任何數量 GPU 上的 LLM 訓練，提供了使用 NVIDIA AI 平臺訓練和部署模型的新功能。 BLOOM ，世界上最大的開放科學、開放獲取多語言模型，具有 1760 億個參數，最近在 NVIDIA AI 平臺上接受培訓，支持 46 種語言和 13 種編程語言的文本生成。 NVIDIA AI 平臺還支持最強大的 transformer 語言模型之一，具有 5300 億個參數， Megatron-Turing NLG 模型 (MT-NLG). LLM 是當今最重要的先進技術之一，涉及數萬億個從文本中學習的參數。然而，開發它們是一個昂貴、耗時的過程，

Source

]]>