large language models – NVIDIA 技術博客

NVIDIA Hopper GPU 上的新 cuBLAS 12.0 功能和矩陣乘法性能

Wed, 01 Feb 2023 02:48:04 +0000

NVIDIA H100 TensorCore GPU 基于 NVIDIA Hopper 架構和第四代 NVIDIA Tensor Cores ，最近推出了提供前所未有的性能和全面的 AI 基準，如 MLPerf training 。人工智能和機器學習基準測試中相當一部分操作是通用矩陣乘法，也稱為 matmul 函數。 GEMs 也存在于深度學習訓練的前向和后向通道以及推理中。 GEMM 的突出性使得深度學習軟件能夠最大限度地利用用于矩陣乘法的硬件，同時支持幾個關鍵的 AI 組件。這些成分包括具有偏置和流行激活功能的融合體及其衍生物。本文探討了 NVIDIA cuBLAS 庫在里面 CUDA 12.0 重點是最近推出的 FP8 format 、 NVIDIA Hopper 上的 GEM 性能 GPU ，以及新 64 位整數應用程序編程接口（ API…

Source

]]>

基于 NVIDIA NeMo 的多語言和代碼切換自動語音識別

Tue, 31 Jan 2023 07:11:46 +0000

多語言自動語音識別（ ASR ）模型因其能夠以多種語言轉錄語音而獲得了極大的興趣。這是由不斷增長的多語言社區以及減少復雜性的需求所推動的。您只需要一個模型來處理多種語言。這篇文章解釋了如何使用 NGC 目錄中的預訓練多語言 NeMo ASR 模型。我們還分享了創建自己的多語言數據集和訓練自己的模型的最佳實踐。 ASR 模型在高級別上將語音轉換為文本。在推斷時，它們使用音頻文件作為輸入，并生成文本標記或字符作為輸出（圖 1 ）。更準確地說，在每個音頻采樣時間步，該模型輸出總共標記中每一個的對數概率。在培訓時，您提供文本記錄以及音頻文件作為輸入。當模型訓練時，它使用成績單來計算訓練損失。它逐漸減少了這種損失，并提高了其權重，使其輸出成績單盡可能接近原始。多語言環境為這幅圖增添了幾個方面。在推斷過程中，您通常不知道音頻中包含的語言。但是，

Source

]]>

基因組 LLM 在不同任務中表現出優異的性能和通用性

Thu, 12 Jan 2023 09:37:39 +0000

InstaDeep 、慕尼黑工業大學（ TUM ）和 NVIDIA 之間的合作導致了基因組學多個超級計算規模基礎模型的開發。這些模型展示了許多預測任務的最先進性能，如啟動子和增強子位點預測。聯合研究團隊表明，在基因組學上訓練的大型語言模型（ LLM ）可以在過多的基因組任務中推廣。以前的方法需要專門的模型。在 NVIDIA Healthcare VP Kimberly Powell’s invited talk on January 12 期間即將舉行的摩根大通醫療保健會議上，將對結果進行初步了解。該團隊使用 NVIDIA 推出的超級計算機 Cambridge-1 來訓練各種大型語言模型（ LLM ），從 500M 到 2.5B 參數。在不同的基因組數據集集合上訓練模型，以探索模型規模和數據多樣性對下游任務績效的作用。分類任務包括預測增強子和啟動子序列以及轉錄因子結合位點。

Source

]]>

用生物分子大語言模型預測蛋白質結構和性質

Thu, 08 Dec 2022 06:56:00 +0000

NVIDIA BioNeMo 服務現在可用于早期訪問。在 2022 年秋季 GTC 上， NVIDIA 發布了 BioNeMo ，這是一個特定領域的框架和服務，用于在數十億參數的超級計算規模上培訓和服務化學和生物學的生物分子大語言模型（ LLM ）。 Bio NeMo 服務針對化學、蛋白質組學和基因組應用進行了域優化，旨在支持化學結構 SMILES 表示法中表示的分子數據，以及蛋白質、 DNA 和 RNA 的氨基酸和核酸序列 FASTA 。借助 Bio NeMo 服務，科學家和研究人員現在可以通過云 API 訪問預訓練的生物分子 LLM ，使他們能夠預測蛋白質結構、開發工作流，并從 LLM 嵌入中擬合下游任務模型。 Bio NeMo 服務是 AI 藥物發現管道的交鑰匙云解決方案，可在瀏覽器中或通過 API 端點使用。

Source

]]>

使用 NVIDIA NeMo Megatron 部署 1.3B GPT-3 型號

Fri, 04 Nov 2022 02:53:00 +0000

Large language models ( LLMs）是一些能夠理解書面語言的最先進的深度學習算法。許多現代 LLM 是使用谷歌 2017 年在 Attention Is All You Need 研究論文中引入的 transformer 網絡構建的。 NVIDIA NeMo Megatron 是一個端到端 GPU 加速框架，用于訓練和部署高達萬億參數的基于 transformer 的 LLM 。 2022 年 9 月， NVIDIA 宣布 NeMo Megatron is now available in Open Beta ，允許您使用自己的數據訓練和部署 LLM 。通過此次發布，幾個經過預訓練的檢查點已上傳到 HuggingFace ，使任何人都可以使用 GPU 在本地部署 LLM 。本文介紹了使用 NeMo Megatron下載、

Source

]]>

NGC 的新功能：大型語言模型、數字孿生、數字生物學等 SDK

Wed, 02 Nov 2022 06:14:00 +0000

NVIDIA 宣布在 NGC catalog 中提供新的 SDK ，這是 GPU 優化的深度學習、機器學習和 HPC 應用程序的中心。有了高性能軟件容器、預訓練模型、行業專用 SDK 和 Jupyter 筆記本， AI 開發人員和數據科學家可以簡化和降低端到端工作流的復雜性。本文概述了 NGC 目錄中的新服務和更新服務，以及最新的高級 SDK ，以幫助您簡化工作流并更快地構建解決方案。大型語言模型（ LLM ）的最新進展推動了 NLP 應用程序的最新性能，如醫療保健中的虛擬文員、交互式虛擬助理等。 NVIDIA NeMo Megatron 是一個用于訓練和部署 LLM 的端到端框架，其參數高達數萬億，現已在 NGC 目錄中公開測試。它包括用于自動化分布式數據處理的端到端工作流；培訓大規模定制的 GPT-3 、 T5 和多語言 T5 （ mT5 ）模型；

Source

]]>

為新語言創建的 NVIDIA Riva ASR 服務

Fri, 28 Oct 2022 05:35:00 +0000

Speech AI 是智能系統使用語音接口與用戶進行通信的能力，語音接口在日常生活中已變得無處不在。人們經常通過語音與智能家居設備、車載助手和手機互動。近年來，語音界面質量得到了突飛猛進的改善，使其比十年前更加愉快、實用和自然。具有語音 AI 接口的智能系統組件包括： ASR 是任何語音 AI 系統的第一個組件，起著至關重要的作用。 ASR 階段早期出現的任何錯誤都會在隨后的意圖分析和實現階段中出現問題。目前有超過 6500 種口語在使用，其中大多數沒有商業 ASR 產品。 ASR 服務提供商最多覆蓋幾十家。 NVIDIA Riva 目前涵蓋五種語言（英語、西班牙語、德語、普通話和俄語），更多版本將在未來發布。雖然這一套還很小，但 Riva 為您提供了現成的工作流、工具和指導，以快速、系統、輕松地為新語言提供 ASR 服務。在這篇文章中，

Source

]]>

使用 NVIDIA NeMo 框架和服務簡化對大型語言模型的訪問

Wed, 21 Sep 2022 09:20:00 +0000

大型語言模型（ LLM ）的最新進展為 NLP 應用程序（如醫療保健中的虛擬抄寫員、交互式虛擬助理等）提供了最先進的性能。為了簡化對 LLM 的訪問， NVIDIA 宣布了兩項服務： NeMo LLM 用于定制和使用 LLM ， BioNeMo 擴展 LLM 在制藥和生物技術行業的科學應用。 NVIDIA NeMo Megatron 是一個用于培訓和部署 LLM 的端到端框架，現在可以通過開放測試版向世界各地的開發人員提供。 NVIDIA NeMo LLM 服務提供了定制基礎 LLM 并利用 NVIDIA 托管云 API 或通過私有云和公共云大規模部署它們的最快路徑。 NVIDIA 和社區構建的基礎模型可以使用提示訓練能力進行定制，這是一種計算效率高的技術，在用戶查詢中嵌入上下文以在特定用例中實現更高的準確性。這些技術只需要幾百個樣本即可實現高精度。現在，

Source

]]>

使用 FasterTransformer 和 Triton 推理服務器加速大型?Transformer?模型的推理

Wed, 03 Aug 2022 02:56:00 +0000

這是討論 NVIDIA FasterTransformer 庫的兩部分系列的第一部分，該庫是用于對任意大小（多達數萬億個參數）的Transformer進行分布式推理的最快庫之一。它提供了 FasterTransformer 的概述，包括使用該庫的好處。使用 FasterTransformer 和 Triton 推理服務器部署 GPT-J 和 T5（第 2 部分）是一個指南，說明了使用 FasterTransformer 庫和 Triton 推理服務器以具有張量并行性的最佳方式為 T5-3B 和 GPT-J 6B 模型提供服務。 Transformers 是當今最具影響力的 AI 模型架構之一，正在塑造未來 AI 研發的方向。它們最初是作為自然語言處理 (NLP) 的工具而發明的，現在幾乎用于任何 AI 任務，包括計算機視覺、自動語音識別、分子結構分類和金融數據處理。

Source

]]>

NVIDIA AI 平臺為大型語言模型帶來巨大收益

Thu, 28 Jul 2022 06:36:00 +0000

隨著大型語言模型（ LLM ）的規模和復雜性不斷增長， NVIDIA 今天宣布更新 NeMo Megatron 框架，提供高達 30% 的訓練速度。這些更新包括兩種開拓性技術和一個超參數工具，用于優化和擴展任何數量 GPU 上的 LLM 訓練，提供了使用 NVIDIA AI 平臺訓練和部署模型的新功能。 BLOOM ，世界上最大的開放科學、開放獲取多語言模型，具有 1760 億個參數，最近在 NVIDIA AI 平臺上接受培訓，支持 46 種語言和 13 種編程語言的文本生成。 NVIDIA AI 平臺還支持最強大的 transformer 語言模型之一，具有 5300 億個參數， Megatron-Turing NLG 模型 (MT-NLG). LLM 是當今最重要的先進技術之一，涉及數萬億個從文本中學習的參數。然而，開發它們是一個昂貴、耗時的過程，

Source

]]>