Agentic AI 是新一波生成式 AI 浪潮，是一種范式轉變，通過使 AI 系統能夠自主行動并實現復雜的目標，具有變革行業的潛力。智能體 AI 將 大語言模型 (Large Language Models，LLMs) 的強大功能與高級推理和規劃功能相結合，為醫療健康、金融、制造和物流等各行各業帶來無限可能。
智能體 AI 系統將感知、推理和行動相結合，以有效地與其環境交互。它從數據庫和外部來源收集信息，分析目標并制定實現目標的策略。
系統的操作模塊可執行決策，同時保留過去交互的內存，以支持長期任務和個性化響應。借助多智能體協作，智能體可以共享信息并高效協調復雜的任務。
AI 智能體還配備了反饋機制，可創建 數據飛輪 ，并將通過交互生成的數據輸入到系統中，以增強模型。這使得系統能夠隨著時間的推移提高運營效率并做出更明智的決策。
這些系統的核心是基礎模型，這些模型可提供語言理解、決策、推理和指令遵循等功能。
適用于代理 AI 的領先 LLM?
今天，NVIDIA 宣布推出 Llama Nemotron 系列代理 AI 模型，可為各種代理任務提供更高的準確性、出色的計算效率和開放的許可證，供企業使用。在本文中，我們將深入探討此模型系列如何在各種代理 AI 任務中實現領先的準確性。
NVIDIA 一直在為各種基準測試開發排行榜模型，包括用于聊天的 Arena Hard 、用于指令遵循的 IFEval ，以及通過利用 NVIDIA 調整技術在其大小類別中進行函數調用的 BFCL 。
簡化代理 AI 系統并將其推向市場
NVIDIA 正在通過整合這些模型的優勢來簡化 AI 智能體的開發，從而提供支持各種任務的單個模型。Llama Nemotron 擅長處理關鍵代理任務，因此單個模型可以通過替換多個專用模型來簡化工程流程。
您可以使用專有數據輕松定制這些模型，以使用 NVIDIA NeMo 滿足特定領域和任務的需求，通過 NeMo Aligner 進行調整以遵循指令并生成人類首選響應，并使用 NVIDIA AI Blueprints （以 NVIDIA NIM 和 NeMo 微服務為基礎）快速開發 AI 智能體。
這些模型還可用作便攜式 NIM 微服務 ，在 NVIDIA 加速的基礎設施上提供最大推理吞吐量。
已針對計算效率進行優化?
Llama Nemotron 系列已針對各種計算資源進行優化，可確保在不同環境中實現出色性能：
- Nano： 在 NVIDIA RTX AI PC 和工作站上針對準確性和性能進行優化的模型，可為 PC 應用程序開發者提供代理工作流。
- Super： 高精度 模型，可在單個 GPU 上提供出色的吞吐量。
- Ultra：高精度模型 ，專為要求高性能的數據中心級應用而設計。
其他適用于智能體 AI 系統的整合模型包括：
- 檢索： MTEB 排行榜上名列前茅的嵌入 和重新排名模型使用專有數據提供最精確的上下文感知型響應。
- 獎勵： Top RewardBench 排行榜模型 llama-3.1-nemotron-70b-reward 為評估符合人類偏好的 LLM 提供了卓越的功能。
為模型對齊整理高質量數據?
高質量訓練數據對于自定義 LLM 響應的準確性和質量至關重要，但穩健的數據集可能成本高昂且難以創建。
合成數據通過生成大規模數據來應對這些挑戰，而這些數據可以通過進一步整理來提高質量。 NVIDIA NeMo Curator 通過大規模下載、提取、清理、過濾、重復數據消除和混合原始數據，幫助構建高質量的多模態訓練數據。
最近發布的先進 NVIDIA Llama 3.1 Nemotron 70B Instruct 模型使用真實數據和合成數據、 NVIDIA Llama 3.1 Nemotron Reward 模型和 NeMo Aligner 根據人類偏好進行了調整。
在基準測試中實現出色的 LLM 準確性
NVIDIA 正在利用 Llama 系列、最受歡迎的開放模型和 NVIDIA 的定制技術，為各種代理 AI 任務 (包括指令遵循、工具調用、聊天、編碼和數學運算) 構建最先進的準確性模型。
這些模型經過剪枝以降低延遲并提高計算效率，然后使用具有蒸餾的高質量數據集和對齊方法進行重新訓練，以提高跨任務的準確性。這將產生較小的模型，具有較高的準確性和吞吐量。
用于 nvidia/Minitron-4B-Base 模型的 NVIDIA 剪枝和蒸餾技術具有教師校正步驟 ， 該步驟可將任何模型轉換為具有自定義訓練數據的教師模型，然后進行結構化剪枝和知識蒸餾。有關更多信息，請參閱如何剪枝和蒸餾 Llama-3.1 8B 到 NVIDIA Llama-3.1-Minitron 4B 模型。
使用 NeMo Aligner 的 NVIDIA 對齊 recipe 幫助該模型在指令跟隨、函數調用和數學運算等智能體系統的基本功能方面實現了出色的 SOTA 準確性。
借助神經架構搜索構建高效的 LLMs
代理系統必須具備高效的計算能力，才能實時處理復雜的任務。但是，LLM 的大量計算需求可能會阻礙其在這些復雜系統中的部署，而這些系統卻無法通過優化來仔細平衡性能和資源限制。克服這些挑戰需要開發精簡的硬件優化型模型架構，在保持高性能的同時，確保實用且可擴展的部署。
NVIDIA 最近開發了 神經架構搜索 (Neural Architecture Search, NAS) 方法和相關訓練技術，用于創建專為高效推理優化的 Transformer 模型。
NAS 代表了一種變革性的方法，用于設計 LLM，以在特定硬件平臺上優化性能。傳統上，許多 LLM 都采用由重復相同的塊組成的統一結構構建而成，而 NAS 通過探索廣泛的設計空間和各種非標準 Transformer 塊，提供了一種更加細致入微的方法：
- 替代注意力機制
- 具有不同效率水平的多樣化前饋網絡（FFN）塊
- 完全消除某些構建塊
此方法的核心組件是塊蒸餾，它通過使用師生框架來高效訓練不同的塊變體。教師模型提供輸入 – 輸出映射，學生塊經過訓練以進行模仿。
名為 Puzzle 的算法用于對替代建筑組件進行評估和排名，類似于組裝一個謎題，其中每個組件代表不同的塊變體。此過程可在廣闊的設計空間中導航，以識別能夠平衡準確性與內存和吞吐量等嚴格限制的模型。
- 制作益智游戲： 并行將塊級局部蒸餾應用于每種可替代的遮罩替代品，并對其質量和推理成本進行評分，以構建塊庫。
- 組裝解謎架構： 使用混合整數編程組裝異構架構，該架構可在吞吐量、延遲和內存使用等限制條件下優化質量。
- 上訓練：重新組合的架構使用全局知識蒸餾進行訓練，以增強塊間兼容性。
通過在評分和訓練過程中結合知識蒸餾（Knowledge Distillation， KD）損失，該方法可縮小優化模型與對應參考模型之間的準確性差距，同時所需的訓練成本僅為一小部分。
在使用 NVIDIA NeMo Aligner 完成一系列高級微調步驟后，生成的模型可提供符合人類偏好的響應，在目標 NVIDIA GPU 上顯著提高推理吞吐量，并在與代理工作負載相關的領域提供出色的性能。
NeMo Aligner 是一個可擴展的高效模型對齊工具包，具有先進的算法，例如從人類反饋中進行強化學習 (RLHF)、直接偏好優化 (DPO) 和 SteerLM。
這種方法導致了 Llama Nemotron Super 和 Llama Nemotron Ultra 模型的開發。
打開 LLM?
Llama Nemotron 模型提供了一種由 NVIDIA 開源許可證提供支持的商業上可行的解決方案，使企業能夠定制這些模型，并在保持數據控制的同時滿足其用例和需求。
開放式許可證還提供了在不同環境 (無論是本地、云端還是邊緣) 中部署這些強大模型的靈活性，確保企業可以在最適合其運營需求和戰略目標的環境中利用 Llama Nemotron 模型的優勢。
入門指南?
借助適用于代理式 AI 的新 NVIDIA AI 藍圖，簡化自定義 AI 智能體的開發和部署，這些智能體可以推理、規劃并采取行動。
注冊以在 新的 Llama Nemotron 模型 作為使用 API 端點的 NIM 微服務提供時接收有關這些模型的通知。它們可以從 NVIDIA NGC 和 Hugging Face 下載，也可以使用 NVIDIA NeMo 進行定制。
?
