retrieval augmented generation (RAG) – NVIDIA 技術博客

構建由 LLM 提供支持的 API Agent 來執行任務

Wed, 21 Feb 2024 04:27:48 +0000

長期以來，開發者一直在構建 Web 應用程序等界面，使用戶能夠利用正在構建的核心產品。要了解如何在您的大型語言模型(LLM) 應用程序中實現這一點，請參閱之前的博文，為數據分析構建由 LLM 提供支持的數據代理。在本文中，我將討論一種將自由形式對話添加為具有 API 的另一個接口的方法。該方法有助于實現與任何 API 進行細致入微的對話式交互的解決方案。如果您想了解關于 LLM 代理的基本知識以及如何構建它們，請閱讀LLM 智能體簡介和構建您的首個 LLM 智能體應用。 API 或執行代理是為執行目標而設計的。這些代理通過使用一組預定義的執行函數來執行用戶請求的任務或一組任務。基于數據源回答用戶的問題是其中的一個重要部分。另一個重要部分是執行用戶(人類)或另一個代理(機器)的需求。傳統上，這是通過 API 和某種形式的應用邏輯和交互層(例如 Web…

Source

]]>

構建 LLM 支持的數據代理以進行數據分析

Tue, 20 Feb 2024 05:19:12 +0000

AI 智能體是一個由規劃功能、內存和工具組成的系統，用于執行用戶請求的任務。對于數據分析或與復雜系統交互等復雜任務，您的應用可能依賴于不同類型智能體之間的協作。有關更多背景信息，請參閱 LLM 智能體簡介和構建您的首個 LLM 智能體應用。本文介紹了構建準確的 LLM 應用(可在查詢時處理細致入微的數據分析任務)所需的代理類型。本文將介紹構建數據分析代理應用(包括代碼片段)的示例用例。最后，本文將介紹 AI 開發者在優化和構建 LLM 代理應用時需要考慮的一些注意事項。首先，本節介紹兩種主要類型的 LLM 代理及其工作原理 – 數據代理和 API 或執行代理。我還將介紹代理集群用例，其中涉及多個代理合作解決問題。請注意，這些代理類型在某種程度上代表頻譜的端部。可以為特定用例創建混合的專用代理。數據代理通常專為提取目標而設計。換言之，

Source

]]>

新的 NVIDIA NeMo 框架功能和 NVIDIA H200 強效助力 LLM 訓練性能和通用性

Mon, 04 Dec 2023 05:37:31 +0000

AI 在規模、復雜性和多樣性方面的快速增長推動了對大型語言模型 (LLM) 訓練性能的不斷需求。要提供出色的性能，需要能夠在整個數據中心規模上高效地訓練模型。這是通過技術堆棧的每一層 — 包括芯片、系統和軟件 — 的卓越工藝來實現的。我們的 NVIDIA NeMo 框架是一個端到端的云原生框架，旨在構建、自定義和部署生成式 AI 模型。它整合了一系列先進的并行技術，以實現大規模 LLM 的高效訓練。實際上，NeMo 支持 NVIDIA 最近在 MLPerf 訓練行業標準基準測試中提交的出色 GPT-3 1750 億參數性能數據，每個 H100 GPU 可實現高達 797 TFLOPS 的性能。此外，在 NVIDIA 提交的最大規模測試中，使用了前所未有的 10752 個 H100 Tensor Core GPU，實現了創紀錄的性能和近線性的性能擴展。

Source

]]>

使用 NVIDIA 檢索 QA 嵌入模型構建企業檢索增強生成應用

Thu, 30 Nov 2023 06:31:11 +0000

大型語言模型 (LLM) 對人類語言和編程語言的深刻理解正在改變 AI 格局。對于新一代企業生產力應用程序而言，它們至關重要，可提高用戶在編程、文案編輯、頭腦風暴和回答各種主題的問題等任務中的效率。然而，這些模型通常難以處理實時事件和特定知識領域，從而導致不準確之處。微調這些模型可以增強其知識，但成本高昂，并且需要定期更新。檢索增強生成（RAG）通過將信息檢索與 LLM 結合，為開放領域的問答應用提供解決方案。RAG 為 LLM 提供大量可更新的知識，有效解決了這些限制（圖 1）。NVIDIA NeMo 框架中的 NVIDIA NeMo Retriever 優化了 RAG 的嵌入和檢索部分，以提供更高的準確性和更高效的響應。本文概述了 RAG 工作流組件的工作原理，以及與創建支持 RAG 的 AI 應用相關的企業挑戰(例如商業可行性)。

Source

]]>

增強網絡安全：大型語言模型和生成式 AI 如何改變數字安全

Mon, 27 Nov 2023 07:43:22 +0000

基于身份的攻擊呈上升趨勢，網絡釣魚仍然是最常見的和第二昂貴的攻擊向量。一些攻擊者正在使用 AI 制作更令人信服的網絡釣魚消息，并部署機器人來繞過旨在發現可疑行為的自動防御。與此同時，企業應用程序的持續增長給 IT 團隊帶來了挑戰，他們必須支持、保護和管理這些應用程序，而且通常不會增加人員。連接設備的數量不斷增加，由于攻擊面的增加帶來了安全風險。每個設備相關的潛在漏洞使這一問題更加復雜。雖然有許多安全工具和應用程序可用于幫助企業抵御攻擊，但集成和管理大量工具會增加成本、復雜性和風險。網絡安全是三大挑戰之一，僅次于環境可持續發展和技術現代化。生成式 AI 可以為網絡安全帶來變革。它可以幫助安全分析師更快地找到完成工作所需的信息，生成合成數據以訓練 AI 模型以準確識別風險，并運行假設場景以更好地應對潛在威脅。網絡安全是一個數據問題，

Source

]]>

掌握 LLM 技術：LLMOps

Wed, 15 Nov 2023 06:39:19 +0000

企業比以往更依賴數據和 AI 來創新、為客戶創造價值并保持競爭力。機器學習 (ML) 的采用催生了對工具、流程和組織原則的需求，這些需求是為了管理那些可靠、經濟高效且能夠大規模運行的代碼、數據和模型。這通常被稱為機器學習操作（MLOps）。世界正在迅速進入一個由基礎模型，尤其是大型語言模型 (LLM) 提供動力支持的新生成式 AI 時代。ChatGPT 的發布進一步加速了這一轉變。生成式 AI 操作 (GenAIOps) 和大型語言模型操作 (LLMOps) 的新專業領域隨著 MLOps 的演變而出現，旨在解決在生產環境中開發和管理生成式 AI 和 LLM 驅動的應用所面臨的挑戰。在本文中，我們概述了生成式 AI 應用開發之旅，定義了 GenAIOps 和 LLMOps 的概念，并將其與 MLOps 進行了比較。

Source

]]>