AI agent – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。Wed, 12 Mar 2025 06:31:30 +0000zh-CN
hourly
1 196178272衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能
http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/
Mon, 03 Mar 2025 06:18:06 +0000http://www.open-lab.net/zh-cn/blog/?p=13146Continued]]>保護 AI 智能體和其他對話式 AI 應用,以確保安全、品牌和可靠的行為,這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護,以評估和優化 Guardrail 性能。 在本文中,我們將探索用于測量和優化 AI 護欄有效性的技術,確保您的 AI 應用在仔細定義的邊界內運行,同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個 評估工具 ,用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外,該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具,重點介紹每個指標在優化 AI 應用方面發揮的作用。 隨著企業不斷突破 AI 的極限,平衡性能和成本效益已成為重中之重。
]]>13020基于 Marco 多 AI 智能體框架的可配置圖形任務求解在芯片設計中的應用
http://www.open-lab.net/zh-cn/blog/configurable-graph-based-task-solving-with-the-marco-multi-ai-agent-framework-for-chip-design/
Tue, 25 Feb 2025 06:55:04 +0000http://www.open-lab.net/zh-cn/blog/?p=13033Continued]]>芯片和硬件設計因其復雜性和先進的技術而面臨眾多挑戰。這些挑戰導致在合成、驗證、物理設計和可靠性循環期間優化性能、功耗、面積和成本(PPAC)的周轉時間(TAT)更長。 大語言模型(LLMs)已顯示出大規模理解和生成自然語言的出色能力,從而為各種領域帶來許多潛在應用和優勢。成功地將基于 LLMs 的 AI 智能體用于硬件設計,可以大幅減少 TAT,從而縮短產品周期、降低成本、提高設計可靠性,并降低代價高昂的錯誤風險。 圖 1. Marco 框架概述 我們介紹了擬議的 Marco 框架,其中包括基于圖形的任務求解、子任務的智能體配置,以及每個 AI 智能體的實時技能/工具配置。 圖 1 展示了基于動態和靜態可配置圖形的任務求解,可靈活集成芯片設計知識 (例如電路、定時等)。 在任務圖中,每個節點代表一個子任務,
]]>12684如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體
http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/
Thu, 16 Jan 2025 06:23:28 +0000http://www.open-lab.net/zh-cn/blog/?p=12699Continued]]>AI 代理為 企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間,從而提高效率和客戶滿意度,幫助組織保持競爭力。 但是,除了這些優勢之外, AI 智能體也存在風險 。 大語言模型(LLMs) 容易生成不當內容或離題內容,并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力,實施可靠的 AI 安全措施至關重要。 本教程為 AI 構建者提供了切實可行的步驟,以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ,一種可擴展的鐵路編排平臺,包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型: 通過本教程,您將學習如何部署 AI 智能體,在保持客戶信任和品牌完整性的同時提供快速、準確的響應。
]]>12699Llama Nemotron 模型提升智能體 AI 工作流的準確性和效率
http://www.open-lab.net/zh-cn/blog/llama-nemotron-models-accelerate-agentic-ai-workflows-with-accuracy-and-efficiency/
Mon, 06 Jan 2025 08:52:07 +0000http://www.open-lab.net/zh-cn/blog/?p=12596Continued]]>Agentic AI 是新一波生成式 AI 浪潮,是一種范式轉變,通過使 AI 系統能夠自主行動并實現復雜的目標,具有變革行業的潛力。智能體 AI 將 大語言模型 (Large Language Models,LLMs) 的強大功能與高級推理和規劃功能相結合,為醫療健康、金融、制造和物流等各行各業帶來無限可能。 智能體 AI 系統將感知、推理和行動相結合,以有效地與其環境交互。它從數據庫和外部來源收集信息,分析目標并制定實現目標的策略。 系統的操作模塊可執行決策,同時保留過去交互的內存,以支持長期任務和個性化響應。借助多智能體協作,智能體可以共享信息并高效協調復雜的任務。 AI 智能體還配備了反饋機制,可創建 數據飛輪 ,并將通過交互生成的數據輸入到系統中,以增強模型。這使得系統能夠隨著時間的推移提高運營效率并做出更明智的決策。 這些系統的核心是基礎模型,
]]>12044使用 NVIDIA NIM 構建您的人工在環 AI 智能體首秀
http://www.open-lab.net/zh-cn/blog/build-your-first-human-in-the-loop-ai-agent-with-nvidia-nim/
Thu, 21 Nov 2024 06:39:19 +0000http://www.open-lab.net/zh-cn/blog/?p=12153Continued]]>由 大語言模型(LLMs) 提供支持的 AI 智能體 可幫助組織簡化和減少手動工作負載。這些智能體使用多層迭代推理來分析問題、設計解決方案,并使用各種工具執行任務。與傳統聊天機器人不同,LLM 提供支持的智能體能夠有效理解和處理信息,從而實現復雜任務的自動化。為避免特定應用中的潛在風險,在使用自主 AI 智能體時,保持人工監督仍然至關重要。 在本文中,您將學習如何使用 NVIDIA NIM 微服務 (一種針對 AI 推理優化的加速 API)構建人類在環 AI 智能體。該博文介紹了一個社交媒體用例,展示了這些多功能 AI 智能體如何輕松處理復雜任務。借助 NIM 微服務,您可以將高級 LLM(如 Llama 3.1-70B-Instruct 和 Falcon 180B 等)無縫集成到工作流中,從而提供 AI 驅動任務所需的可擴展性和靈活性。無論您是使用 PyTorch、
]]>10910使用 NVIDIA NIM 和 NVIDIA VIA 微服務構建 VLM 驅動的視覺 AI 代理
http://www.open-lab.net/zh-cn/blog/build-vlm-powered-visual-ai-agents-using-nvidia-nim-and-nvidia-via-microservices/
Mon, 29 Jul 2024 07:09:19 +0000http://www.open-lab.net/zh-cn/blog/?p=10806Continued]]>傳統的視頻分析應用程序及其開發工作流通常基于固定功能且受限的模型構建,這些模型旨在僅檢測和識別一組選定的預定義對象。 借助生成式 AI、NVIDIA NIM 微服務和基礎模型,您現在可以使用更少的模型構建具有廣泛感知和豐富語境理解的應用程序。 新型生成式 AI 模型即視覺語言模型 (VLM) 為視覺 AI 智能體提供支持,這些智能體可以理解自然語言提示并執行視覺問答。視覺 AI 智能體 解鎖了完全的應用可能性,顯著簡化了應用開發工作流程,并提供了變革性的新感知功能,如圖像或視頻摘要、交互式視覺問答和視覺警報。 這些視覺 AI 智能體將部署在工廠、倉庫、零售商店、機場、交通交叉路口等地。它們將幫助運營團隊使用從自然交互中生成的更豐富的見解做出更明智的決策。 NVIDIA NIM 和 NVIDIA VIA 微服務旨在加速視覺 AI 代理的開發。在本文中,