Nave Algarici – NVIDIA 技術博客

使用重排序微服務提升信息檢索準確性和降低成本

Thu, 06 Mar 2025 05:36:53 +0000

需要高性能信息檢索的應用涉及各個領域，包括搜索引擎、知識管理系統、AI 代理和 AI 助手。這些系統需要準確且計算高效的檢索流程，以提供精確的見解、增強用戶體驗并保持可擴展性。檢索增強生成 (RAG) 用于豐富結果，但其有效性從根本上取決于底層檢索機制的精度。基于 RAG 的系統的運營成本由兩個主要因素驅動：計算資源和檢索精度欠佳導致的不準確成本。應對這些挑戰需要在不影響性能的情況下優化檢索工作流。重新排序模型有助于提高檢索準確性并降低總體支出。然而，盡管有可能對模型進行重新排序，但由于擔心信息檢索工作流程會增加復雜性和感知到的邊際收益，這些模型一直未得到充分利用。在本文中，我們公布了 NVIDIA NeMo Retriever 重排序模型的重大性能進步，展示了它如何重新定義計算相關性得分在現代流程中的作用。通過詳細的基準測試，我們將重點介紹成本 – 性能權衡，

Source

]]>

開發具有高效數據存儲的多語種和跨語言信息檢索系統

Tue, 17 Dec 2024 04:46:18 +0000

高效的文本檢索對于搜索、問答、語義文本相似性、摘要和商品推薦等各種信息檢索應用至關重要。它還在檢索增強生成（RAG）技術中發揮著關鍵作用，該技術使大語言模型（LLMs）能夠在不修改基礎參數的情況下訪問外部上下文。雖然 RAG 在提高 LLM 生成的響應質量方面非常有效，但由于主要使用英語數據集進行訓練，許多嵌入模型仍然難以檢索多種語言的正確數據。這限制了以其他語言生成準確且信息豐富的文本回復，阻礙了與全球受眾的有效溝通。多語種信息檢索可提高生成文本的事實準確性和一致性，并實現本地化的上下文感知響應，從而消除語言障礙，使信息在全球范圍內更易于獲取。從改善臨床醫生與患者之間的溝通和故障排除技術問題，到提供個性化零售體驗，此功能可解鎖各行各業的各種應用。然而，為大規模數據平臺創建此類系統會面臨獨特的挑戰，例如管理海量數據、確保低延遲檢索，

Source

]]>

評估適用于企業級 RAG 的 Retriever

Fri, 23 Feb 2024 06:58:35 +0000

關于設計和評估的對話檢索增強生成(RAG) 系統是一個漫長而多方面的討論。即使我們單獨研究檢索，開發者也會有選擇地使用許多技術，例如查詢分解、重寫、構建軟過濾器等，以提高其 RAG 流程的準確性。雖然技術因系統而異，但嵌入模型通常是 RAG 中每個檢索流程的核心。嵌入，尤其是密集嵌入，用于表達文本的語義結構。由于 RAG 中的所有檢索器都有一個關鍵的必須求解，以理解原始文本的語義，因此擁有系統的評估過程來選擇正確的過程至關重要。我們展示了如何使用流行的庫，如scikit-learn和XGBoost，將聯邦線性模型、k-means 聚類、非線性 SVM、隨機森林和 XGBoost 應用于協作學習。在本文中，您將學習：如果您不熟悉檢索器在 RAG 中的作用，請查看這篇博文介紹了如何使用 NVIDIA Retrieval QA Embedding 模型構建企業…

Source

]]>

使用 NVIDIA 檢索 QA 嵌入模型構建企業檢索增強生成應用

Thu, 30 Nov 2023 06:31:11 +0000

大型語言模型 (LLM) 對人類語言和編程語言的深刻理解正在改變 AI 格局。對于新一代企業生產力應用程序而言，它們至關重要，可提高用戶在編程、文案編輯、頭腦風暴和回答各種主題的問題等任務中的效率。然而，這些模型通常難以處理實時事件和特定知識領域，從而導致不準確之處。微調這些模型可以增強其知識，但成本高昂，并且需要定期更新。檢索增強生成（RAG）通過將信息檢索與 LLM 結合，為開放領域的問答應用提供解決方案。RAG 為 LLM 提供大量可更新的知識，有效解決了這些限制（圖 1）。NVIDIA NeMo 框架中的 NVIDIA NeMo Retriever 優化了 RAG 的嵌入和檢索部分，以提供更高的準確性和更高效的響應。本文概述了 RAG 工作流組件的工作原理，以及與創建支持 RAG 的 AI 應用相關的企業挑戰(例如商業可行性)。

Source

]]>