AI Foundation – NVIDIA 技術博客

利用合成數據生成解決醫學成像的局限性

Mon, 24 Jun 2024 05:18:32 +0000

醫學成像中的合成數據提供了許多好處，包括在真實數據有限的情況下，以多樣化和逼真的圖像增強數據集的能力，從而減少與注釋真實圖像相關聯的成本和人工。此外，合成數據還為使用敏感患者數據提供了一種合乎道德的替代方案，有助于在不損害患者隱私的情況下進行教育和培訓。這篇文章介紹了 MAISI，一個NVIDIA AI Foundation 模型用于 3D 計算機斷層掃描（CT）圖像生成。MAISI 的首要目標是通過提供一種可靠高效的方法來生成高質量合成圖像，以用于各種研究和臨床應用，從而徹底改變醫學成像領域。通過克服數據稀缺和隱私問題的挑戰，MAISI 旨在提高醫學成像數據的可訪問性和可用性。該模型可以生成高分辨率合成 CT 圖像和相應的分割掩模，最多 127 個解剖類別（包括骨骼、器官和腫瘤），同時實現 512×512×512 的標志性體素尺寸和 1.0×1.0×1.0 mm³的間距。

Source

]]>

借助 Gipi、 NVIDIA TensortRT-LLM 和 AI 基礎模型實現個性化學習

Thu, 30 May 2024 08:56:52 +0000

超過 1.2 億人正在積極學習新語言，而 5 億學習者正在數字學習平臺（如 Duolingo）上學習。與此同時，全球很大一部分人口，包括 73% 的 Gen-Z 人群，你會體驗到不幸福，經常被社交媒體所影響。這突出了一種獨特的二分法：人們渴望個性化的學習體驗，但往往缺乏工具來瀏覽充斥著我們日常生活的平臺對個人健康的影響。 AI 聊天機器人越來越多地用于應對這些挑戰，提供獨特的個性、個性化的健康簽到、多語種功能以及即時反饋的指導功能。包括 Gipi 在內的一些模型旨在記住用戶對話、從用戶興趣中學習，并就重要主題進行對話，包括語言學習、口語練習、數學、科學和其他領域的個性化幫助。 Gipi 還主動與用戶聯系，要求他們簽到，并從他們中斷的位置繼續對話。例如，當用戶提到即將到來的工作面試時，Gipi 鼓勵并在隨后簽入以獲取更新 (圖 1)。

Source

]]>

使用新的 Phi-3 和 Granite 代碼模型系列創建內容、對話和代碼

Tue, 28 May 2024 06:49:34 +0000

得益于能夠理解上下文和原因以生成高質量內容和高精度答案的突破性基礎模型的不斷涌現，生成式 AI 正在徹底改變各行各業的幾乎每個用例。 NVIDIA 不斷優化和發布社區、合作伙伴和 NVIDIA 構建的模型。本周發布的版本包含兩個系列，即 Phi-3 和 Granite Code，這兩個系列都是 NVIDIA AI 基礎模型的一部分。 Microsoft 的 Phi-3 系列包含專為在不影響計算效率的情況下實現最佳性能而設計的小型語言模型 (SLM).其強大的推理和邏輯能力使其成為內容生成、總結、問答和情感分析任務的理想選擇。 Phi-3 語言系列在 NVIDIA API 目錄中包括以下內容： Phi-3 系列還包括 Phi-3 Vision，這是一個 42 億的多模態模型，旨在處理和解釋文本和視覺數據。該模型支持高達 128000 個令牌，

Source

]]>

利用基于專家的混合 DBRX 在不同任務上實現卓越的 LLM 性能

Tue, 30 Apr 2024 08:49:49 +0000

本周，我們發布了模型功能 DBRX，這是由 Databricks 開發的最先進的大型語言模型（LLM）。DBRX 在編程和編碼任務方面展示出了強大的實力，擅長使用 Python 等語言處理專門的主題和編寫特定的算法。此外，它還可以應用于文本完成任務和少回合交互。DBRX 的長上下文能力可用于 RAG 系統，以提高準確性和保真度。模型對細粒度的使用混合專家（MoE）體系結構是它區別于其他模型的一個關鍵特性。該 MoE 架構通過利用一組專門的“專家”網絡，擅長處理復雜任務。在推理過程中，MoE 使用學習的門控機制，基于輸入數據動態選擇并組合這些專家網絡的輸出，以實現更好的性能。這種門控機制將輸入數據的不同部分路由到最相關的專家網絡，使教育部能夠有效地利用其集體專業知識并產生卓越的預測或輸出。通過自適應地協調其組成網絡的貢獻，MoE 在有效利用計算資源的同時，

Source

]]>

用于 SQL 和代碼生成的新 LLM:Snowflake Arctic 模型

Fri, 26 Apr 2024 09:06:33 +0000

近年來，大型語言模型（LLM）徹底改變了自然語言處理（NLP），實現了文本摘要、問答和自然語言生成等廣泛的應用。由 Snowflake 開發的 Arctic 是一種新的開放 LLM，旨在實現高推理性能，同時在各種 NLP 任務上保持低成本。 Arctic Arctic 基于一種新的密集 MoE（專家混合物）混合變壓器架構，該架構將 10B 參數密集變壓器模型與殘差 128×3.66B MoE 多層感知器（MLP）相結合，從而有效地隱藏普通 MoE 模型在計算過程中施加的額外全對全通信開銷。這樣，該體系結構能夠在訓練和推理過程中更有效地使用資源。由此產生的網絡具有 480B 的總參數，并使用前 2 個門控讓專家選擇 17B 的活動參數。通過利用大量專家和總參數，該體系結構允許頂級智能，同時從許多但精簡的專家中進行選擇，僅使用適量的活動參數進行訓練和具有成本效益的推理。

Source

]]>

Mistral Large 和 Mixtral 8x22B LLM 現已由 NVIDIA NIM 和 NVIDIA API 提供支持

Mon, 22 Apr 2024 04:56:57 +0000

本周發布的模型包括兩個新的 NVIDIA AI 基礎模型：Mistral Large 和 Mixtral 8x22B。這兩個高級文本生成 AI 模型由 Mistral AI 開發，并通過 NVIDIA NIM 微服務提供預構建容器，以簡化部署過程，將部署時間從數周縮短到幾分鐘。這兩個模型可通過 NVIDIA API 目錄訪問。 Mistral Large 是大型語言模型 (LLM)，它擅長處理復雜的多語種推理任務，包括文本理解、轉換和代碼生成。它因精通英語、法語、西班牙語、德語和意大利語以及對語法和文化語境的深入理解而脫穎而出。該模型具有 32K 令牌上下文窗口，可從大量文檔中調用精確信息。它在指令跟隨和函數調用方面表現出色。Mistral Large 在各種基準測試中表現強勁，并展示了應對編碼和數學挑戰的強大推理能力。

Source

]]>

借助 NVIDIA AI 基礎模型 VISTA-2D 推進細胞分割和形態分析

Mon, 22 Apr 2024 04:39:27 +0000

基因組學研究人員使用不同的測序技術來更好地理解生物系統，包括單細胞和空間組學。與從細胞層面查看數據的單細胞不同，空間組學考慮了數據的位置，并考慮到用于分析的空間環境。隨著基因組學研究人員尋求在組織層面跨多個組學對生物系統進行建模，空間組學領域正在推動一種新的范式，即在空間環境中詢問細胞的方法。大多數這些空間組學方法都依賴于成像，以便在不分離細胞與組織的情況下查看標記 (如光標記)。這些標簽可以應用于不同的分子 (例如 RNA 和蛋白質)，并保留其起源細胞的空間信息以及細胞在組織中的位置。這種成熟的細胞動力學建模方法正在推動對發展和疾病的新理解，并標志著研究人員激動人心的范式轉變。 NanoString 等空間組學提供商利用 NVIDIA GPU 并加速其 CosMx SMI 設備上的計算，以應對這些挑戰。空間組學技術 (CosMx 空間分子成像)…

Source

]]>

借助 NVIDIA OSMO 擴展 AI 機器人開發工作負載

Mon, 18 Mar 2024 06:46:33 +0000

自主機器開發是一個數據生成和收集、模型訓練和部署的迭代過程，其特點是跨異構計算資源的復雜的多階段、多容器工作流。涉及多個團隊，每個團隊都需要共享和異構計算。此外，團隊希望將某些工作負載擴展到云中，這通常需要 DevOps 專業知識，同時在本地維護其他工作負載。到目前為止，還沒有一個統一的平臺可供開發者輕松提交所需計算的工作負載。在本周的 GTC 大會上，NVIDIA 宣布推出 OSMO，這是一個云原生工作流程編排平臺，它提供一個單一界面，用于跨異構共享計算環境調度和管理各種自主機器工作負載。這些工作負載包括：借助 OSMO 統一計算資源調度，您可以輕松地在 Kubernetes 集群上部署和編排多階段工作負載。這包括共享的異構多節點計算資源，例如 aarch64 和 x86-64，可確保跨不同架構的靈活性和兼容性。

Source

]]>

在 LLM 架構中應用多專家模型

Thu, 14 Mar 2024 07:13:19 +0000

多專家模型 (MoE) 大型語言模型 (LLM) 架構最近出現了，無論是在 GPT-4 等專有 LLM 中，還是在開源版本的社區模型中，如 Mistral Mixtral 8x7B。Mixtral 模型的強勁相對性能引起了極大的興趣，并引發了許多關于 MoE 及其在 LLM 架構中使用的問題。那么，什么是 MoE，為什么它很重要？多專家模型是神經網絡的架構模式，它將層或運算 (例如線性層、MLP 或注意力投影) 的計算拆分為多個“專家”子網絡。這些子網絡各自獨立執行自己的計算，并組合其結果以創建 MoE 層的最終輸出。MoE 架構可以是密集的，這意味著每個專家都用于每個輸入，也可以是稀疏的，這意味著每個輸入都使用一個專家子集。本文主要探討MoE在LLM架構中的應用。如需了解MoE在其他領域的應用，請參閱使用稀疏的專家混合模型擴展視覺、

Source

]]>

在 NVIDIA AI 推理平臺上使用 Stable Diffusion XL 生成令人驚嘆的圖像

Thu, 07 Mar 2024 08:39:43 +0000

擴散模型正在各行各業中改變創意工作流程。這些模型通過采用降噪擴散技術，將隨機噪聲逐步塑造為 AI 生成的藝術，從而根據簡單的文本或圖像輸入生成令人驚嘆的圖像。這些模型可用于許多企業用例，例如為營銷創建個性化內容、為照片中的物體生成想象力的背景、為游戲設計動態高質量環境和角色等。雖然擴散模型是增強工作流程的有用工具，但在大規模部署時，這些模型會非常計算密集。在非專用硬件 (如 CPU) 上生成一批四張圖像可能需要幾分鐘時間，這可能會阻礙創意流程，并且成為許多開發者滿足嚴格服務級別協議 (SLA) 的障礙。在本文中，我們將向您展示 NVIDIA AI 推理平臺可以專注于解決這些挑戰，穩定 Diffusion XL(SDXL)。我們首先探討企業在生產環境中部署 SDXL 時面臨的常見挑戰，然后深入探討如何 Google Cloud 的 G2 實例由NVIDIA L4 Tensor…

Source

]]>

在 NVIDIA AI 推理平臺上使用 Stable Diffusion XL 生成令人驚嘆的圖像

Wed, 06 Mar 2024 06:25:59 +0000

Source

]]>

使用 NVIDIA AI 基礎模型的領先模型 Smaug 72B 解決復雜的 AI 任務

Mon, 04 Mar 2024 06:50:45 +0000

本周發布的模型包括由 NVIDIA 優化的語言模型 Smaug 72B，您可以直接通過瀏覽器體驗。 NVIDIA AI 基礎模型和端點是一組精心策劃的社區和 NVIDIA 構建的生成式 AI 模型，用于在企業應用程序中體驗、定制和部署。嘗試領先的模型，如在 NVIDIA AI Playground 中的 Nemo-3, Mixtral 8x7B, Gemma 7B 和 Stable Diffusion XL。當 AI 模型準備好用于業務運營時，企業級支持至關重要。NVIDIA AI Enterprise 可提供安全性、支持、穩定性和可管理性，從而提高 AI 團隊的生產力、降低 AI 基礎架構的總體成本，并確保從 POC 到生產的平穩過渡。由 Abacus AI 開發的 Smaug 72B 是一款強大的大規模語言模型，在推理和數學任務方面表現出色。

Source

]]>

基于 NVIDIA AI 基礎模型的高性能 Mamba-Chat

Mon, 12 Feb 2024 05:58:51 +0000

本周發布的內容使用了 NVIDIA 優化過的 Mamba 聊天模型，您現在就可以在瀏覽器中體驗。本文是 Model Mondays 計劃的一部分，該計劃致力于讓用戶輕松訪問先進的社區和 NVIDIA 構建的模型。 NVIDIA 使用 TensorRT-LLM 對這些模型進行優化，并以。nemo 文件的形式提供，以便輕松進行自定義和部署。 NVIDIA AI 基礎模型和端點提供對社區和 NVIDIA 構建的一系列精心策劃的生成式 AI 模型的訪問權限，以便在企業應用程序中體驗、自定義和部署。如果您尚未嘗試使用領先的模型，例如 Nemotron-3, Mixtral 8X7B, Lama 70B 以及穩定擴散，請在 NVIDIA AI Playground 中進行訓練。 Mamba-Chat 生成式 AI 模型由 Haven 發布，是一種先進的語言模型，

Source

]]>

模型星期一：使用優化的 DePlot 模型查詢圖形

Mon, 22 Jan 2024 08:55:13 +0000

我們將在全年的每個星期一發布新模型。本周，我們發布了NVIDIA 優化的 DePlot 模型，您可以直接在瀏覽器中體驗。 NVIDIA 基礎模型和端點提供對社區和 NVIDIA 構建的一系列精心策劃的生成式 AI 模型的訪問權限，以便在企業應用程序中體驗、自定義和部署。如果您還沒有嘗試過領先的模型，如 NeMo-8B-QA, Mixtral 8X7B, Llama 2 (Jaguar 2), 和 Stable Diffusion, 現在可以在 NVIDIA AI Playground 中體驗。視覺語言推理的一次飛躍：通過與大型語言模型 (LLM) 的結合，DePlot 能夠理解和解釋圖表與圖形。這種方法與之前經過端到端訓練的多模態 LLM 不同，它將問題分解為以下步驟：具體來說，在第一步中，DePlot 是指圖像到文本的 Transformer 模型，

Source

]]>