Sean Lopp – NVIDIA 技術博客

部署 NVIDIA AI Blueprint 實現成本高效的大語言模型路由

Wed, 26 Mar 2025 05:59:02 +0000

自 2022 年 11 月 ChatGPT 發布以來，大語言模型 (LLMs) 的能力激增，可用模型數量呈指數級增長。隨著此次擴展，LLMs 在成本、性能和專業領域的差異很大。例如，小型通用模型可以高效處理文本摘要等簡單任務。相比之下，代碼生成等復雜操作可受益于具有高級推理能力和擴展測試時計算的大型模型。對于 AI 開發者和 MLOps 團隊而言，挑戰在于為每個提示選擇合適的模型 – 平衡準確性、性能和成本。一個一刀切的方法效率低下，導致不必要的支出或結果欠佳。為了解決這個問題，適用于 LLM 路由器的 NVIDIA AI Blueprint 為多 LLM 路由提供了一個經過成本優化的加速框架。它無縫集成了 NVIDIA 工具和工作流，可將提示動態路由到最合適的 LLM，為企業級 LLM 運營提供強大的基礎。 LLM 路由器的主要特性包括：

Source

]]>

使用 NVIDIA AgentIQ 開源工具包改進 AI 代碼生成

Tue, 18 Mar 2025 05:17:03 +0000

隨著 NVIDIA AgentIQ (用于連接和優化 AI 智能體團隊的開源庫) 的發布，開發者、專業人士和研究人員可以創建自己的代理式 AI 應用。本教程通過 AI 代碼生成示例，向您展示如何在 AgentIQ 中開發應用。我們將使用 LangGraph 和推理模型構建測試驅動的編碼代理，以擴展測試時計算。在預訓練、后訓練和推理中， Scaling laws 正在推動更智能的 AI 系統的發展。大語言模型 (LLMs) 的大規模預訓練提供了令人印象深刻的結果，但進一步擴展具有挑戰性。自主 AI 智能體和測試時計算方法 (例如 Deepseek-R1 使用的方法) 通過擴展后訓練和推理計算提供了顯著的改進。在為邏輯、數學或編碼等復雜任務構建 agentic 工作流時，這一點勢在必行。這些新穎的擴展方法更易于與 AgentIQ 結合使用，因為組織可以更好地設計、測試、

Source

]]>