NVIDIA Flare – NVIDIA 技術博客

借助 NVIDIA FLARE 實現可擴展聯邦學習，提升 LLM 性能

Thu, 29 Feb 2024 07:02:21 +0000

隨著人工智能技術的不斷發展，大型語言模型(LLM) 的有效數據管理成為一個重要挑戰。數據是模型性能的核心。盡管大多數先進的機器學習算法以數據為中心，但由于各種因素（如隱私、監管、地緣政治、版權問題和移動大型數據集所需的巨大努力），并非所有必要數據都可以集中。本文探討了如何利用聯邦學習(FL)，由NVIDIA FLARE提供支持，以簡單且可擴展的方式應對這些挑戰。這些功能支持監督式微調和參數效率的精細調整，從而增強模型的準確性和穩健性。在許多 LLM 任務中，需要從多個來源獲取數據是一種常見場景。例如，為醫學研究收集來自不同醫院的報告，或從各種機構收集金融數據進行分析。集中這些數據可能不切實際，也可能受到隱私問題、法規和其他障礙的限制。聯合學習提供了一個精美的解決方案。 FL 已成為解決這些數據挑戰的技術。

Source

]]>

使用分布式數據集上的聯合學習使 LLM 適應下游任務

Mon, 10 Jul 2023 03:31:27 +0000

大型語言模型（ LLM ），如 GPT，由于其理解和生成類人文本的能力，已成為自然語言處理（ NLP ）中的革命性工具。這些模型基于大量不同的數據進行訓練，使其能夠學習模式、語言結構和上下文關系。它們是基礎模型，可以針對廣泛的下游任務進行定制，具有高度的通用性。諸如分類之類的下游任務可以包括基于預定義標準對文本進行分析和分類，這有助于諸如情緒分析或垃圾郵件檢測之類的任務。在封閉式問答（ QA ）中，他們可以根據給定的上下文提供精確的答案。在生成任務中，它們可以生成類似人類的文本，例如故事寫作或詩歌創作。即使是頭腦風暴， LLM 也可以利用其龐大的知識庫產生創造性和連貫性的想法。 LLM 的適應性和多功能性使其成為廣泛應用的寶貴工具，使企業、研究人員和個人能夠以顯著的效率和準確性完成各種任務。這篇文章向您展示了 LLM 如何使用分布式數據集和聯合學習來適應下游任務，

Source

]]>

聯合學習在傳統機器學習方法中的應用

Thu, 22 Jun 2023 06:35:14 +0000

在大數據和分布式計算時代，傳統的機器學習方法面臨著一個重大挑戰：當數據分散在多個設備或豎井中時，如何協同訓練模型。這就是聯合學習發揮作用的地方，它提供了一個很有前途的解決方案，將模型訓練與直接訪問原始訓練數據脫鉤。聯合學習最初旨在實現去中心化數據上的協作深度學習，其關鍵優勢之一是其通信效率。這種相同的范式可以應用于傳統的 ML 方法，如線性回歸、 SVM 、 k-means 聚類，以及基于樹的方法，如隨機森林和 boosting 。開發傳統 ML 方法的聯合學習變體需要在幾個層面上進行仔細考慮：值得注意的是聯邦的和分布式的與深度學習相比，傳統方法的機器學習可能不那么獨特。對于某些算法和實現，這些術語可以是等效的。在圖 1 中，每個客戶端構建一個唯一的增強樹，該樹由服務器聚合為樹的集合，然后重新分發給客戶端進行進一步的訓練。

Source

]]>

借助 NVIDIA FLARE 實現的聯合學習，提升您的人工智能工作流程

Wed, 14 Jun 2023 05:05:37 +0000

在工作流程中利用人工智能的企業面臨的主要挑戰之一是管理支持大規模培訓和部署機器學習（ ML ）模型所需的基礎設施。為此，NVIDIA FLARE平臺提供了一個解決方案：聯合學習，使得跨企業管理復雜的人工智能工作流變得更加容易。 NVIDIA FLARE 2.3.0 是 NVIDIA 聯合學習平臺的最新版本，其中包含了令人興奮的新功能和增強功能，如：這篇文章詳細介紹了這些功能，并探討了它們如何幫助您的組織提升人工智能工作流程，并通過機器學習獲得更好的結果。有了這個版本，您現在可以使用 IaC 無縫管理您的多云基礎設施，利用不同云提供商的優勢，并分配您的工作負載以提高效率和可靠性。 IaC 使您能夠自動化基礎設施的管理和部署，從而節省時間并降低人為錯誤的風險。 NVIDIA FLARE 2.3.0 支持在 Microsoft Azure 和 AWS…

Source

]]>

使用聯合學習橋接金融服務中的數據孤島

Tue, 16 Aug 2022 03:10:00 +0000

在機器學習（ ML ）過程中，無法確保數據隱私，這往往阻礙了人工智能（ AI ）在金融服務中充分發揮潛力。例如，傳統的 ML 方法假設所有數據都可以移動到中央存儲庫。在處理數據主權和安全考慮或個人識別信息等敏感數據時，這是一個不切實際的假設。更實際地說，它忽略了數據出口挑戰和創建大型池數據集的巨大成本。對于訓練 ML 模型有價值的大量內部數據集仍然沒有使用。金融服務行業的公司如何利用自己的數據，同時確保隱私和安全？這篇文章介紹了聯合學習，并解釋了它對處理敏感數據集的企業的好處。我們介紹了在金融服務中使用聯邦學習的三種方法，并提供了關于今天開始的提示。聯合學習是一種 ML 技術，它可以從多個孤立的數據集中提取見解，而無需共享數據或將數據移動到中央存儲庫或服務器中。例如，假設您有多個要用于訓練 AI 模型的數據集。

Source

]]>

MONAI 如何推動醫學人工智能工作流的開放研究

Tue, 02 Aug 2022 06:50:00 +0000

將強大的人工智能工具交給世界領先的醫學研究人員，這是前所未有的重要。這就是為什么 NVIDIA 投資建立了一個與 MONAI ，人工智能的醫療開放網絡。 MONAI 通過提供加速圖像注釋、訓練最先進的深度學習模型和創建有助于推動研究突破的人工智能應用程序的工具，正在推動醫學成像的開放式創新。開發特定領域的人工智能可能具有挑戰性，因為缺乏最佳實踐和開放藍圖會造成從研發到臨床評估和部署的各種障礙。研究人員需要一個共同的基礎來加快醫學人工智能研究創新的步伐。創建項目 MONAI 背后的核心原則是將醫生與數據科學家聯合起來，以釋放醫學數據的力量。 MONAI 是一個由學術界和業界領袖建立的協作開源倡議，旨在建立和標準化醫療成像深度學習的最佳實踐。由成像研究社區創建，為成像研究社區， MONAI 正在加速醫學人工智能工作流的深度學習模型和可部署應用程序的創新。

Source

]]>

使用 NVIDIA Flare 2.1 測試新型分布式應用程序

Thu, 23 Jun 2022 04:44:00 +0000

NVIDIA FLARE （ NVIDIA Federated Learning Application Runtime Environment ， NVIDIA 聯邦學習應用程序運行時環境）是一個用于協作計算的開源 Python SDK 。 FLARE 設計有一個組件化體系結構，允許研究人員和數據科學家將機器學習、深度學習或一般計算工作流調整為聯合范式，以實現安全、隱私保護的多方協作。此體系結構提供了用于安全地配置聯合、建立安全通信以及定義和編排分布式計算工作流的組件。 FLARE 在一個可擴展的 API 中提供了這些組件，該 API 允許定制以適應現有的工作流或輕松試驗新的分布式應用程序。圖 1 顯示了具有基礎 API 組件的高級 FLARE 體系結構，包括用于保護隱私和安全管理平臺的工具。在此基礎之上是聯邦學習應用程序的構建塊，

Source

]]>