Vivienne Zhang – NVIDIA 技術博客

掌握 LLM 技術：評估

Wed, 29 Jan 2025 05:34:32 +0000

評估大語言模型（LLMs）和檢索增強生成（RAG）系統是一個復雜而微妙的過程，反映了這些系統的復雜性和多面性。與傳統機器學習（ML）模型不同，LLMs 會生成各種不同且往往不可預測的輸出，因此無法滿足標準評估指標的需求。主要挑戰包括許多任務缺乏確定的真值、數據污染的風險，以及模型對提示變化和解碼策略的敏感度。此外，LLMs 通常會生成高質量的輸出，甚至可以超越低質量的人類引用，從而無法滿足基于引用的傳統指標的需求。在本文中，我們將探討用于評估 LLMs 和 RAG 系統準確性和可靠性的可靠評估技術和最佳實踐。在生成式 AI 應用的開發過程中，嚴格的評估對于確保系統有效性和可靠性至關重要。此過程具有多個關鍵功能，包括通過確認 AI 符合預期并提供有意義的交互來驗證用戶滿意度。評估還可確保輸出一致性，驗證生成的內容在邏輯上是否一致且符合上下文。

Source

]]>

使用 NVIDIA Nemotron-4 340B，利用我們最新的開放式模型生成合成數據

Tue, 18 Jun 2024 08:26:53 +0000

自從引入并隨后廣泛采用大型語言模型（LLM）以來，數據一直是企業構建準確安全的人工智能系統的生命線。一家公司的數據代表了其累積的知識，可以通過各種方式加以利用，從定制（監督微調、參數高效微調、持續預訓練等）到訓練全新的特定領域小型語言模型（SLM）。數據雖然是現代人工智能管道中最關鍵的部分之一，但在創新 LLM 和 SLM 的開發過程中，傳統上成本高昂且受到限制的是從付費人工注釋到導航大量特定領域數據的來源，當前生成高質量數據的過程是一項艱巨的任務。通過一個稱為合成數據生成（SDG）的過程，該過程將在博客的其余部分中更仔細地定義，企業可以通過利用 LLM 創建大量定制的高質量數據來增強現有的數據存儲。 NVIDIA 宣布了一套專門為 SDG 構建的新模型系列——Nemotron-4 340B family，包括最先進的 Reward Model 和一款 Instruct 模型，

Source

]]>

NVIDIA AI Foundation 模型：使用生產就緒型 LLM 構建自定義企業聊天機器人和 Co-Pilot

Wed, 15 Nov 2023 07:01:39 +0000

大型語言模型（LLM）正在革新數據科學領域，特別是在自然語言理解、AI 以及機器學習方面。針對特定領域的見解量身打造的自定義 LLM 在企業應用程序中的吸引力越來越大。 NVIDIA NeMo Megatron-3 8B 系列基礎模型是一款功能強大的新工具，用于構建生產就緒型生成式 AI。從客戶服務 AI 聊天機器人到尖端 AI 產品，它在企業中促進創新的應用廣泛。這些新的基礎模型 NVIDIA NeMo 端到端框架，用于構建、自定義和部署為企業量身打造的 LLM。企業現在可以使用這些工具快速、經濟高效地大規模開發 AI 應用程序。這些應用程序可以在云、數據中心以及 Windows 臺式機和筆記本電腦上運行。 Nemotron-3 8B 系列可在 Azure AI 模型目錄、HuggingFace 和 NVIDIA NGC 的 NVIDIA AI…

Source

]]>