Isabel Hulseman – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 12 Mar 2025 05:43:42 +0000 zh-CN hourly 1 196178272 使用重排序微服務提升信息檢索準確性和降低成本 http://www.open-lab.net/zh-cn/blog/how-using-a-reranking-microservice-can-improve-accuracy-and-costs-of-information-retrieval/ Thu, 06 Mar 2025 05:36:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=13131 Continued]]> 需要高性能信息檢索的應用涉及各個領域，包括搜索引擎、知識管理系統、AI 代理和 AI 助手。這些系統需要準確且計算高效的檢索流程，以提供精確的見解、增強用戶體驗并保持可擴展性。檢索增強生成 (RAG) 用于豐富結果，但其有效性從根本上取決于底層檢索機制的精度。 基于 RAG 的系統的運營成本由兩個主要因素驅動：計算資源和檢索精度欠佳導致的不準確成本。應對這些挑戰需要在不影響性能的情況下優化檢索工作流。重新排序模型有助于提高檢索準確性并降低總體支出。然而，盡管有可能對模型進行重新排序，但由于擔心信息檢索工作流程會增加復雜性和感知到的邊際收益，這些模型一直未得到充分利用。 在本文中，我們公布了 NVIDIA NeMo Retriever 重排序模型的重大性能進步，展示了它如何重新定義計算相關性得分在現代流程中的作用。通過詳細的基準測試，我們將重點介紹成本 – 性能權衡，

Source

]]> 13131 使用 NVIDIA NIM 構建基于 VLM 的簡單多模態信息檢索系統 http://www.open-lab.net/zh-cn/blog/building-a-simple-vlm-based-multimodal-information-retrieval-system-with-nvidia-nim/ Wed, 26 Feb 2025 06:30:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=13023 Continued]]> 在當今數據驅動的世界中，即使是從少量數據中檢索準確信息的能力，對于尋求精簡、有效的快速部署、原型設計或實驗解決方案的開發者來說也至關重要。信息檢索領域的主要挑戰之一是管理非結構化數據集中的各種模式，包括文本、PDF、圖像、表格、音頻、視頻等。 多模態 AI 模型通過同時處理多個數據模式來應對這一挑戰，以不同的形式生成連貫一致的全面輸出。 NVIDIA NIM 微服務可簡化 AI 基礎模型 在語言、 計算機視覺 、語音、生物學等領域的安全可靠部署。 NIM 微服務可隨時隨地部署在 NVIDIA 加速基礎設施上，并提供行業標準 API，以快速集成應用和熱門 AI 開發框架 (包括 LangChain 和 LlamaIndex)。 本文將幫助您著手構建基于視覺語言模型（VLM）的多模態信息檢索系統，該系統能夠回答涉及文本、圖像和表格的復雜查詢。

Source

]]> 13023 開發具有高效數據存儲的多語種和跨語言信息檢索系統 http://www.open-lab.net/zh-cn/blog/develop-multilingual-and-cross-lingual-information-retrieval-systems-with-efficient-data-storage/ Tue, 17 Dec 2024 04:46:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=12516 Continued]]> 高效的文本檢索對于搜索、問答、語義文本相似性、摘要和商品推薦等各種信息檢索應用至關重要。它還在檢索增強生成（RAG）技術中發揮著關鍵作用，該技術使 大語言模型（LLMs） 能夠在不修改基礎參數的情況下訪問外部上下文。 雖然 RAG 在提高 LLM 生成的響應質量方面非常有效，但由于主要使用英語數據集進行訓練，許多嵌入模型仍然難以檢索多種語言的正確數據。這限制了以其他語言生成準確且信息豐富的文本回復，阻礙了與全球受眾的有效溝通。 多語種信息檢索可提高生成文本的事實準確性和一致性，并實現本地化的上下文感知響應，從而消除語言障礙，使信息在全球范圍內更易于獲取。從改善臨床醫生與患者之間的溝通和故障排除技術問題，到提供個性化零售體驗，此功能可解鎖各行各業的各種應用。 然而，為大規模數據平臺創建此類系統會面臨獨特的挑戰，例如管理海量數據、確保低延遲檢索，

Source

]]> 12516 借助 NVIDIA NIM 智能體藍圖創建客戶服務 AI 虛擬助理的三大核心組件 http://www.open-lab.net/zh-cn/blog/three-building-blocks-for-creating-ai-virtual-assistants-for-customer-service-with-an-nvidia-nim-agent-blueprint/ Wed, 23 Oct 2024 05:13:49 +0000 http://www.open-lab.net/zh-cn/blog/?p=11694 Continued]]> 在當今快節奏的商業環境中，提供卓越的客戶服務已不再是一種好事情，而是一種必要條件。無論是解決技術問題、解決計費問題，還是提供服務更新，客戶都期望在方便時得到快速、準確和個性化的響應。然而，實現這種服務水平面臨重大挑戰。 傳統方法，例如靜態腳本或手動流程，通常在提供個性化和實時支持方面存在不足。此外，許多客戶服務運營依賴于敏感和零碎的數據，這些數據受嚴格的數據治理和隱私法規的約束。隨著生成式 AI 的興起，公司旨在通過提高運營效率、降低成本和最大限度地提高投資回報率（ROI）來革新客戶服務。 將 AI 集成到現有系統會帶來透明度、準確性和安全性方面的挑戰，這些挑戰可能會阻礙采用并中斷工作流程。為此，公司正在利用由生成式 AI 提供支持的虛擬助理來管理各種任務，進而縮短響應時間并釋放資源。 本文概述了開發者如何使用 AI 虛擬助理 NVIDIA NIM 智能體藍圖 （NVIDIA…

Source

]]> 11694 新視頻：什么在運行 ChatGPT ？ http://www.open-lab.net/zh-cn/blog/new-video-what-runs-chatgpt/ Mon, 12 Jun 2023 05:30:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=7226 Continued]]> 幾年前，NVIDIA 創始人兼首席執行官黃仁勛親自交付了世界上第一臺NVIDIA DGX AI 系統到 OpenAI 。至今，OpenAI 的 ChatGPT 已經在全球范圍內大受歡迎，這凸顯了人工智能（AI）以及如何將其應用于各行各業，無論是小型企業還是大型企業。 現在，你有沒有停下來思考一下托管和支持 ChatGPT 所需的技術和基礎設施？ 在這段視頻中，微軟 Azure 首席技術官 Mark Russinovich 解釋了他們專門構建的人工智能超級計算機基礎設施背后的技術堆棧。它是由 NVIDIA、Microsoft Azure 和 OpenAI 合作開發的，用于托管 ChatGPT 和其他大型語言模型（LLMs）以任何規模。 視頻 1. 什么在運行 ChatGPT ？微軟人工智能超級計算機內幕|馬克·

Source

]]> 7226 人人超碰97caoporen国产