全球絕大多數數據仍未得到充分利用，企業希望通過創建新一波生成式AI應用程序來從這些數據中創造價值，從而產生變革性的業務影響。檢索增強生成（RAG）流程是其中的關鍵部分，使用戶能夠與大量數據對話，并將手冊、政策文檔等轉換為交互式生成式 AI 應用程序。
然而，企業在實施 RAG 流程時面臨一些常見挑戰。同時處理結構化和非結構化數據很難，而且處理和檢索數據需要大量計算。在 RAG 流程中構建隱私和安全性也很重要。
為了解決這一問題，NVIDIA 和 Oracle 攜手合作，展示了 RAG 工作流的多個部分如何利用 Oracle 云基礎設施（OCI）上的 NVIDIA 加速計算平臺。這項方法可以幫助企業更有效地利用結構化和非結構化數據，從而提高生成式 AI 輸出的質量和可靠性。
本文將深入探討最近在 Oracle CloudWorld 2024 上演示的 RAG 管道的每個組件：
- NVIDIA GPU 可從 Oracle 自主數據庫中的大型數據集加速批量生成向量嵌入。
- 借助 NVIDIA cuVS 庫加速生成 Oracle Database 23ai AI 向量搜索的向量索引。
- 使用高性能 LLM 推理NVIDIA NIMOCI 上
我們還解釋了如何開始使用這些令人興奮的功能。
使用 NVIDIA GPUs 和 Oracle 自主數據庫進行嵌入生成
在當今數據豐富的企業環境中，有效地利用大量文本數據進行生成式AI是提高效率、降低成本，并最終提高生產力的關鍵。
NVIDIA 與 Oracle 合作，展示客戶如何通過 Oracle Machine Learning (OML) Notebooks 在 Autonomous Database 中集成訪問 NVIDIA GPUs。這項新發布的功能使 OML 用戶能夠使用 Python 直接從 Oracle 數據庫表將數據加載到 OCI NVIDIA GPU 加速的虛擬機 (VM) 實例中，然后使用 GPU 生成向量嵌入，并將這些向量存儲在 Oracle 數據庫中，以便使用 AI 向量搜索進行高效搜索。用戶可以自動完成 GPU 實例的 provision 和數據的傳輸，從而實現 Autonomous Database 用戶的無縫訪問。
加速向量搜索索引和 Oracle Database 23ai
NVIDIA cuVS 是一個開源庫，用于 GPU 加速的向量搜索和聚類。cuVS 的關鍵功能之一是能夠顯著縮短索引構建時間，這是向量搜索的關鍵組件。
NVIDIA 與 Oracle 合作，演示了一種概念驗證，用于加速 Hierarchical Navigable Small World（HNSW）算法向量索引構建。這展示了 cuVS 如何構建基于圖形的索引，該索引在 GPU 上針對速度進行了優化，然后將圖形轉換為 Oracle 數據庫上與 HNSW 兼容的索引。與僅使用 CPU 相比，GPU 與 CPU 搭配使用的最終結果可以加快整體索引生成速度。cuVS 庫的一項主要功能是能夠將索引創建卸載到 GPU 并部署到 CPU。
快速創建向量索引對于支持大量 AI 向量工作負載至關重要，尤其是在必須處理和刷新大量企業數據以保持開箱即用的 LLMs 根據最新信息進行更新時。在 GPU 上構建 HNSW 索引并將其部署到 Oracle 數據庫可以提高 AI 工作負載的性能并降低其成本。
在 OCI 上使用 NIM 進行高性能 LLM 推理
NVIDIA NIM 為跨云、數據中心和工作站的預訓練和定制 AI 模型提供用于自行托管 GPU 加速推理微服務的容器。NIM 微服務對于企業高效、安全地部署生成式 AI 模型特別有用。NIM 提供專為 NVIDIA 加速基礎架構設計的優化微服務，實現與現有工具和應用程序的順利集成。
無論是在本地還是在 Kubernetes 托管的云環境中，開發者都可以使用最少的代碼快速部署 LLM。NIM 還提供開箱即用的頂級性能，從而降低延遲并提高吞吐量，從而簡化實時 AI 部署，同時確保安全的操作。
在 Oracle 云基礎設施上部署 NVIDIA NIM 可為企業帶來以下主要優勢：
- 通過可擴展的低延遲、高吞吐量推理提高TCO
- 借助預構建的云原生微服務縮短上市時間
- 使用自托管模型部署維護應用程序和數據的安全性和控制力
NIM 可以通過兩種方式部署在 OCI 上。第一種方式使用 NVIDIA GPU 加速的裸機實例或 VM，這提供了專用服務器訪問，以實現強大的隔離和更高的性能。首先，只需登錄，創建 NVIDIA GPU 加速實例，并通過 SSH 安全連接。然后，從 NVIDIA API Catalog 下載 NIM，啟動 Docker 容器，然后直接從計算實例調用模型。
第二個選項使用適用于 Kubernetes 的 Oracle 容器引擎 (OKE)，使用 GitHub 上通過 NVIDIA/nim-deploy 提供的 Helm 圖表，在 OCI 上輕松部署、管理和快速擴展容器化應用程序，例如 NIM。
在 Oracle CloudWorld 演示中，我們與 OCI 團隊合作，展示了在使用高級并發（批量大小）時，與現有的開源替代方案相比，為 LLM 使用 NIM 如何幫助客戶實現更高的吞吐量。這種性能提升在文本生成和翻譯用例中尤為明顯。
視頻 2 在示例端到端 RAG 工作流中展示了這種整體方法，該工作流查詢存儲在 Oracle Database 23ai 中的 Oracle CloudWorld 2024 會話數據。這是一個示例，展示了開箱即用的 LLM 如何通過托管在 OCI 上的 NVIDIA 加速計算平臺從 RAG 工作流中受益。它將具有嵌入和重新排序模型類型的 NeMo Retriever NIM 微服務、Llama 3.1 405B NIM 微服務以及 NVIDIA H100 Tensor Core GPUs 結合在一起。
開始使用
實施端到端 RAG 工作流涉及許多因素。NVIDIA 與 OCI 和 Oracle 數據庫團隊合作，展示了如何使用 NVIDIA GPUs 和軟件加速批量生成向量嵌入、HNSW 索引創建和推理元素。通過關注 RAG 工作流中計算量最大的部分，我們展示了使用 Oracle Database 23ai 和 OCI 的組織如何越來越多地利用 NVIDIA 加速計算平臺提供的性能提升。這一整體方法將幫助客戶使用 AI 來利用 Oracle 數據庫中存儲的海量數據。
詳細了解 cuVS。要試用 NVIDIA NIM，請訪問 ai.nvidia.com 并注冊 NVIDIA 開發者計劃，以即時訪問微服務。你還可以開始在 Autonomous Database、Oracle Database 23ai AI矢量搜索和 Oracle Database 23ai Free 上使用支持 NVIDIA GPU 的筆記。
?
