餐廳/快速服務 – NVIDIA 技術博客

使用新的 NVIDIA AI 基礎模型生成代碼、回答查詢并翻譯文本

Mon, 05 Feb 2024 07:43:41 +0000

本周的 Model Monday 版本包含 NVIDIA 優化的代碼 Lama、Kosmos-2 和 SeamlessM4T，您可以直接在瀏覽器中體驗。通過NVIDIA AI 基礎模型和端點，您可以訪問由 NVIDIA 構建的一系列精選社區，生成式 AI用于在企業應用程序中體驗、自定義和部署的模型。 Meta 的 Code Llama 70B 是最新的先進代碼 LLM，專用于代碼生成。它基于 Llama 2 模型構建，提供更高的性能和適應性。該模型可以從自然語言生成代碼，在編程語言之間翻譯代碼，編寫單元測試，并協助調試。 Code Lama 70B 具有 10 萬個令牌的大上下文長度，因此能夠處理和生成時間更長、更復雜的代碼，這對于更全面的代碼生成和提高處理復雜編碼任務的性能非常重要。這種開源模型可用于代碼翻譯、匯總、文檔、分析和調試等各種應用。

Source

]]>

借助加速網絡實現數據中心現代化

Tue, 30 Jan 2024 04:05:10 +0000

加速網絡將 CPU、GPU、DPU（數據處理單元）或 SuperNIC 組合成加速計算結構，專門設計用于優化網絡工作負載。它使用專用硬件來卸載要求嚴苛的任務，以增強服務器功能。隨著 AI 和其他新工作負載的復雜性和規模不斷增加，對加速網絡的需求變得至關重要。數據中心作為計算的新單元，隨著網絡服務對CPU壓力的增加，現代工作負載對網絡基礎設施提出了新的挑戰。網絡基礎設施需要具備敏捷性、自動化和可編程性，并配備加速器和卸載功能，這些是充分發揮人工智能技術潛力和推動創新的關鍵。本文將探討加速網絡技術在數據中心中的優勢和實施策略，并重點介紹其在提升性能、可擴展性和效率方面的作用。網絡加速需要優化網絡的各個方面，包括處理器、網絡接口卡 (NIC)、交換機、線纜、光學和網絡加速軟件。利用無損網絡、遠程直接內存訪問 (RDMA)、動態路由、擁塞控制、性能隔離和網絡計算，

Source

]]>

使用現已推出 Beta 版的 NVIDIA AI Workbench 來創建、共享和擴展企業 AI 工作流程

Tue, 30 Jan 2024 03:49:20 +0000

NVIDIA AI Workbench 現已進入測試階段，帶來了豐富的新功能，可簡化企業開發者創建、使用和共享 AI 和機器學習 (ML) 項目的方式。在 SIGGRAPH 2023 上發布的 NVIDIA AI Workbench，使開發者能夠在支持 GPU 的環境中輕松創建、協作和遷移 AI 工作負載。欲了解更多信息，請參閱借助 NVIDIA AI Workbench 無縫開發和部署可擴展的生成式 AI 模型。本文介紹了 NVIDIA AI Workbench 如何幫助簡化 AI 工作流程，并詳細介紹了測試版的新功能。本文還介紹了編碼副駕駛參考示例，該示例使您能夠使用 AI Workbench 在所選平臺上創建、測試和自定義預訓練的生成式 AI 模型。借助 AI Workbench，開發者和數據科學家可以在 PC 或工作站上靈活地在本地啟動 AI 或 ML 項目，

Source

]]>

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力

Mon, 08 Jan 2024 05:52:26 +0000

大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。它們正在推進實時內容生成、文本摘要、客戶服務聊天機器人和問答用例的發展。如今，由 LLM 提供支持的應用程序主要在云端運行。但是，許多用例都將受益于在 Windows PC 上本地運行 LLM，包括游戲、創意、生產力和開發者體驗。在 CES 2024 上， NVIDIA 發布了一些開發者工具，用于在適用于 Windows PC 的 NVIDIA RTX 系統上加速 LLM 推理和開發。您現在可以使用 NVIDIA 端到端開發者工具在 NVIDIA RTX AI 就緒型 PC 上創建和部署 LLM 應用。 NVIDIA 剛剛宣布為熱門社區模型提供優化支持，包括 Phi-2。除了在 NVIDIA RTX 系統上對 Lama2、

Source

]]>

使用 NVIDIA TensorRT 加速的全新 Stable Diffusion 模型

Mon, 08 Jan 2024 05:41:51 +0000

在 CES 上， NVIDIA 分享道，SDXL Turbo、LCM-LoRA 和 Stable Video Diffusion 均由 NVIDIA TensorRT 加速。這些增強功能使 GeForce RTX GPU 用戶能夠實時生成圖像，并節省生成視頻的時間，從而大幅改善工作流程。 SDXL Turbo 利用新的蒸餾技術實現先進的性能，能夠實現單步圖像生成。由 Tensor Core 和 TensorRT 加速的 NVIDIA 硬件每秒可生成多達四張圖像，使您能夠首次體驗到實時 SDXL 圖像生成功能。有關非商業用途和商業用途的更多信息，請參閱 Stability AI 會員資格頁面。下載 SDXL Turbo 模型以生成面部表情。 Low-Rank Adaptation (LoRA) 是一種用于微調 Stable Diffusion…

Source

]]>

2023 年最熱門的 NVIDIA 技術博客文章：生成式 AI、LLM、機器人開發和虛擬世界的突破

Tue, 19 Dec 2023 04:58:25 +0000

在 NVIDIA 激動人心的又一年即將結束之際，是時候回顧 2023 年 NVIDIA 技術博客中最熱門的案例了。生成式 AI、大型語言模型 (LLM)、高性能計算 (HPC) 和機器人等領域的突破性研究和開發正在引領變革性 AI 解決方案的發展，并吸引了讀者的興趣。其他熱門文章探討了視頻技術和視頻會議領域的進步、增強用戶體驗以及 AI 安全方面的突破。以下是 2023 年的部分亮點。借助生成式 AI 快速生成虛擬世界的 3D 素材 NVIDIA Omniverse 上的新生成式 AI 技術增強了虛擬環境中的 3D 素材創建。這些進步旨在使元宇宙中的虛擬世界創建更快、更輕松。利用 NVIDIA Maxine 眼神交流功能，增強視頻會議中的人際互動 NVIDIA Maxine 眼神交流技術利用 AI 實時調整您對攝像頭的注視點，

Source

]]>

使用 NVIDIA 檢索 QA 嵌入模型構建企業檢索增強生成應用

Thu, 30 Nov 2023 06:31:11 +0000

大型語言模型 (LLM) 對人類語言和編程語言的深刻理解正在改變 AI 格局。對于新一代企業生產力應用程序而言，它們至關重要，可提高用戶在編程、文案編輯、頭腦風暴和回答各種主題的問題等任務中的效率。然而，這些模型通常難以處理實時事件和特定知識領域，從而導致不準確之處。微調這些模型可以增強其知識，但成本高昂，并且需要定期更新。檢索增強生成（RAG）通過將信息檢索與 LLM 結合，為開放領域的問答應用提供解決方案。RAG 為 LLM 提供大量可更新的知識，有效解決了這些限制（圖 1）。NVIDIA NeMo 框架中的 NVIDIA NeMo Retriever 優化了 RAG 的嵌入和檢索部分，以提供更高的準確性和更高效的響應。本文概述了 RAG 工作流組件的工作原理，以及與創建支持 RAG 的 AI 應用相關的企業挑戰(例如商業可行性)。

Source

]]>

宣布推出 HelpSteer：用于構建實用 LLM 的開源數據集

Mon, 27 Nov 2023 06:37:06 +0000

NVIDIA 最近宣布了 NVIDIA NeMo SteerLM 技術，它是 NVIDIA NeMo 的一部分。此技術允許用戶在推理期間控制大型語言模型（LLM）的響應。開發者社區對使用此方法構建自定義 LLM 表現出極大的興趣。 NVIDIA NeMo 團隊目前正在開源一個名為 Helpfulness SteerLM 數據集（HelpSteer）的資源。有了這個新資源，開發者可以迅速開始利用 SteerLM 技術，并構建先進的自定義模型。 HelpSteer 是我們團隊與 Scale AI 之間的協作成果。它與 SteerLM 技術相結合，提高了響應的真實性和一致性。現在，開發者可以根據復雜性和詳細程度等其他屬性來指導 LLM 響應，并增強最終用戶響應的整體可控性。通過使用此新數據集和 SteerLM 技術，NVIDIA 訓練了一個 Llama 2 70B 基礎模型，

Source

]]>

掌握 LLM 技術：訓練

Thu, 16 Nov 2023 05:30:20 +0000

大型語言模型 (LLM) 是一類使用 Transformer 網絡構建的生成式 AI 模型，能夠利用非常大的數據集來識別、匯總、翻譯、預測和生成語言。正如我們所知，LLM 有望改變社會，但訓練這些基礎模型極具挑戰性。此博客闡述了使用 Transformer 網絡構建 LLM 的基本原理，涵蓋模型架構、注意力機制、嵌入技術和基礎模型訓練策略。模型架構定義了 Transformer 網絡的骨干，大致規定了模型的功能和限制。LLM 的架構通常稱為編碼器、解碼器或編碼器 – 解碼器模型。一些熱門架構包括：另一個熱門架構決策是擴展到多模態模型，這些模型結合了來自文本、圖像、音頻和視頻等多種模式或形式的數據的信息。雖然訓練具有挑戰性，但多模態模型提供了來自不同模式的互補信息的關鍵優勢，正如人類通過分析來自多種感官的數據所理解的那樣。

Source

]]>

使用 NVIDIA AI 基礎模型構建自定義企業級生成式 AI

Wed, 15 Nov 2023 07:14:09 +0000

在構建企業級生成式 AI 和大型語言模型 (LLM) 時，需要收集高質量數據、搭建加速基礎架構以及擁有優化模型的專業知識。開發者可以從預訓練模型開始，并根據其用例對其進行微調，從而節省時間，并使其解決方案更快地投入市場。開發者需要一種簡單的方法來嘗試模型，并通過 API 集成模型來評估其功能。這有助于他們確定最適合其應用的模型。 NVIDIA AI 基礎模型是一組經過精心策劃的社區模型和 NVIDIA 構建的模型，它們針對峰值性能進行了優化。開發者可以直接通過 API 或 * 圖形用戶界面從瀏覽器中快速使用這些模型，無需任何設置。模型 * 通過 NVIDIA TensorRT-LLM 和激活感知型權重量化 (AWQ) 進行配置，以實現最高吞吐量和最低延遲，并在 NVIDIA 加速計算堆棧上大規模運行。我們的 NVIDIA Nemotron-3 8B…

Source

]]>

借助 NVIDIA AI on Azure 機器學習提升企業生成式 AI 應用開發速度

Wed, 15 Nov 2023 07:08:50 +0000

生成式 AI 正在徹底改變各行各業的組織利用數據來提高生產力、推進個性化客戶互動并促進創新的方式。鑒于其巨大的價值，企業正在尋找工具和專業知識，以幫助他們有效、可靠地將這項新技術集成到其業務運營和戰略中。 NVIDIA 和 Microsoft 攜手合作，利用 NVIDIA AI on Azure Machine Learning (Azure ML)，為企業提供用于構建、優化和部署 AI 應用程序(包括生成式 AI)的全面解決方案。在本周的 Microsoft Ignite 上， NVIDIA 和 Microsoft 宣布了另外兩個里程碑，為 Azure ML 帶來管理生產級 AI 和開發生成式 AI 應用的新功能。 6 月，我們發布了一篇博文，解釋了 NVIDIA AI Enterprise 軟件與 Azure 機器學習集成的詳情及入門指南。

Source

]]>

中歐和東歐創業成功指南

Wed, 03 May 2023 01:58:09 +0000

中東歐作為世界上最重要的新興技術生態系統之一，正在迅速獲得認可。在過去幾年里，高技能的勞動力、政府的支持、與關鍵市場的接近以及創業史都是導致該地區資金大幅增加的因素。反過來，資金的增加導致幾乎每個垂直領域都有數十家充滿活力和競爭力的初創公司。但該地區的初創企業面臨著一些獨特的挑戰。與鄰近市場的高度競爭、吸引外國投資者的困難以及人才外流都是該地區初創企業必須克服的獨特變量。如果被忽視或處理不當，這些挑戰最終可能會對渴望在全球科技行業取得成功的創新型新公司造成致命影響。這個中歐和東歐創業成功指南GTC 會議強調了該地區初創企業面臨的最大挑戰，并邀請行業專家提供如何克服這些挑戰的技巧。由于 YouTube 的服務條款， Dominik 的視頻在 NVIDIA 點播會話回放中不可用，所以我將其包含在本文中。我們建議查看整個會話以獲得見解，但以下是亮點：

Source

]]>

使用?NVIDIA?FasterTransformer?提高?KoGPT?的推理加速

Tue, 25 Apr 2023 05:03:52 +0000

Transformer 是當今最具影響力的人工智能模型架構之一，正在塑造未來人工智能研發的方向。Transformer 最初被發明為自然語言處理（ NLP ）的工具，現在幾乎被用于每一項人工智能任務，包括計算機視覺、自動語音識別、分子結構分類和金融數據處理。在韓國， Kakao Brain 開發了一種基于 transformer 架構的高精度大型語言模型（ LLM ） KoGPT 。它在一個大型韓國數據集上進行了訓練，并使用 NVIDIA FasterTransformer 成功地對其進行了優化。在這篇文章中，我們將介紹 NVIDIA 和 Kakao Brain 如何使用 FasterTransformer 優化 KoGPT 。 Transformer 層是目前深度學習領域應用最廣泛的深度學習架構。它起源于 NLP ，目前正在將其應用范圍從語言擴展到視覺、

Source

]]>