Announcement – NVIDIA 技術博客

利用基于專家的混合 DBRX 在不同任務上實現卓越的 LLM 性能

Tue, 30 Apr 2024 08:49:49 +0000

本周，我們發布了模型功能 DBRX，這是由 Databricks 開發的最先進的大型語言模型（LLM）。DBRX 在編程和編碼任務方面展示出了強大的實力，擅長使用 Python 等語言處理專門的主題和編寫特定的算法。此外，它還可以應用于文本完成任務和少回合交互。DBRX 的長上下文能力可用于 RAG 系統，以提高準確性和保真度。模型對細粒度的使用混合專家（MoE）體系結構是它區別于其他模型的一個關鍵特性。該 MoE 架構通過利用一組專門的“專家”網絡，擅長處理復雜任務。在推理過程中，MoE 使用學習的門控機制，基于輸入數據動態選擇并組合這些專家網絡的輸出，以實現更好的性能。這種門控機制將輸入數據的不同部分路由到最相關的專家網絡，使教育部能夠有效地利用其集體專業知識并產生卓越的預測或輸出。通過自適應地協調其組成網絡的貢獻，MoE 在有效利用計算資源的同時，

Source

]]>

用于 SQL 和代碼生成的新 LLM:Snowflake Arctic 模型

Fri, 26 Apr 2024 09:06:33 +0000

近年來，大型語言模型（LLM）徹底改變了自然語言處理（NLP），實現了文本摘要、問答和自然語言生成等廣泛的應用。由 Snowflake 開發的 Arctic 是一種新的開放 LLM，旨在實現高推理性能，同時在各種 NLP 任務上保持低成本。 Arctic Arctic 基于一種新的密集 MoE（專家混合物）混合變壓器架構，該架構將 10B 參數密集變壓器模型與殘差 128×3.66B MoE 多層感知器（MLP）相結合，從而有效地隱藏普通 MoE 模型在計算過程中施加的額外全對全通信開銷。這樣，該體系結構能夠在訓練和推理過程中更有效地使用資源。由此產生的網絡具有 480B 的總參數，并使用前 2 個門控讓專家選擇 17B 的活動參數。通過利用大量專家和總參數，該體系結構允許頂級智能，同時從許多但精簡的專家中進行選擇，僅使用適量的活動參數進行訓練和具有成本效益的推理。

Source

]]>

GTC24 | OpenUSD Day 精選會議

Tue, 05 Mar 2024 07:55:30 +0000

了解如何使用 OpenUSD (通用場景描述) 構建 AI 驅動的 3D 工作流和工業數字化工具。由來自 NVIDIA、Adobe、Bentley Systems、Cesium、Pegatron、三星電子、西門子等企業的商業和技術領袖帶來分享。本篇文章為大家精選了兩天共七場演講。 OpenUSD 介紹 [S62642] 北京時間 3 月 19 日（周二）晚上 11：00 – 11：50 演講嘉賓： Aaron Luk NVIDIA 產品管理總監通用場景描述（USD）不僅僅是一種文件格式，還是一個開放、強大、易于擴展的世界組合框架，帶有用于在虛擬世界中進行創建、編輯、查詢、渲染、模擬和協作的 API。NVIDIA 將繼續投資發展 USD 在媒體和娛樂行業以及其他行業工作流中的應用，

Source

]]>

使用 NVIDIA TensorRT 加速的全新 Stable Diffusion 模型

Mon, 08 Jan 2024 05:41:51 +0000

在 CES 上， NVIDIA 分享道，SDXL Turbo、LCM-LoRA 和 Stable Video Diffusion 均由 NVIDIA TensorRT 加速。這些增強功能使 GeForce RTX GPU 用戶能夠實時生成圖像，并節省生成視頻的時間，從而大幅改善工作流程。 SDXL Turbo 利用新的蒸餾技術實現先進的性能，能夠實現單步圖像生成。由 Tensor Core 和 TensorRT 加速的 NVIDIA 硬件每秒可生成多達四張圖像，使您能夠首次體驗到實時 SDXL 圖像生成功能。有關非商業用途和商業用途的更多信息，請參閱 Stability AI 會員資格頁面。下載 SDXL Turbo 模型以生成面部表情。 Low-Rank Adaptation (LoRA) 是一種用于微調 Stable Diffusion…

Source

]]>

宣布推出 SteerLM：在推理期間自定義 LLM 的簡單實用技術

Wed, 11 Oct 2023 06:22:13 +0000

近年來，隨著大語言模型 (LLMs)例如 GPT-3、Megatron-Turing、Chinchilla、PaLM-2、Falcon 和 Lama 2 在自然語言生成方面取得了顯著進展。然而，盡管這些 LLM 能夠生成類似人類的文本，但它們可能無法提供符合用戶偏好的有用且細致入微的響應。當前改進大語言模型 (LLM) 的方法包括監督精調 (SFT)，然后是從人類反饋中進行強化學習 (RLHF)。雖然 RLHF 可以提高性能，但它有一些局限性，包括訓練復雜性和缺乏用戶控制。 NVIDIA 研究團隊為了克服這些挑戰，開發并發布了 SteerLM，這是一種新的四步技術，可以簡化 LLM 的自定義，并根據您指定的屬性動態轉向模型輸出，作為 NVIDIA NeMo 的一部分。本文將深入探討 SteerLM 的工作原理，為什么它標志著一個顯著的進步，

Source

]]>

使用 NVIDIA Holoscan for Media 進行軟件定義廣播

Thu, 14 Sep 2023 05:55:10 +0000

廣播行業正在經歷內容創建、管理、分發和消費方式的轉變。這一轉變包括從受固定功能設備約束的傳統線性工作流程轉變為靈活和混合的軟件定義系統，從而實現直播的未來。開發人員現在可以申請加入 NVIDIA Holoscan for Media，這是一個軟件定義的平臺，用于在本地、云端和邊緣開發和部署媒體應用程序。使用 Holoscan for Media，廣播公司和解決方案提供商可以利用最新的 IT 和資源調配技術，以及現代的基于容器的開發、編排和交付方法。 Holoscan for Media 是一個基于 IP 的解決方案，基于行業標準和 API，包括 SMPTE ST 2110、AMWA NMOS、RIST、SRT 和 NDI。該平臺集成了開源和無處不在的技術，打破了基于 SDI 和 FPGA 的系統的專有性和靈活性。它還可以將最新的功能，例如生成性 AI，

Source

]]>