AI agent – NVIDIA 技術博客

AI agent – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 12 Mar 2025 06:31:30 +0000 zh-CN hourly 1 196178272 衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用，以確保安全、品牌和可靠的行為，這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護，以評估和優化 Guardrail 性能。在本文中，我們將探索用于測量和優化 AI 護欄有效性的技術，確保您的 AI 應用在仔細定義的邊界內運行，同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個評估工具，用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外，該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具，重點介紹每個指標在優化 AI 應用方面發揮的作用。隨著企業不斷突破 AI 的極限，平衡性能和成本效益已成為重中之重。

]]>

13146

使用 DeepSeek-R1 NIM 構建具有專家推理功能的 AI 智能體 http://www.open-lab.net/zh-cn/blog/build-ai-agents-with-expert-reasoning-capabilities-using-deepseek-r1-nim/ Fri, 28 Feb 2025 06:27:48 +0000 http://www.open-lab.net/zh-cn/blog/?p=13149 Continued]]> AI 智能體正在通過實現流程自動化、優化決策制定和簡化操作來改變業務運營。其有效性取決于專家推理，從而實現更明智的規劃和高效執行。代理式 AI 應用可以從 DeepSeek-R1 等模型的功能中受益。DeepSeek-R1 專為解決需要高級 AI 推理的問題而構建，是一個包含 671 億個參數的開放式專家混合模型 (MoE)。經過強化學習 (RL) 技術的訓練，該模型能夠激勵準確、結構化的推理鏈，在邏輯推理、多步驟問題解決和結構化分析方面表現出色。 DeepSeek-R1 通過 chain-of-thought (CoT) 推理將復雜問題分解為多個步驟，使其能夠更準確、更深入地處理復雜問題。為此，DeepSeek-R1 使用 test-time scaling，這是一種新的 scaling law，通過在推理過程中分配額外的計算資源來增強模型的功能和演能力。但是，

]]>

13149

圖像和視頻理解的視覺語言模型提示工程實踐指南 http://www.open-lab.net/zh-cn/blog/vision-language-model-prompt-engineering-guide-for-image-and-video-understanding/ Wed, 26 Feb 2025 06:49:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=13030 Continued]]> 視覺語言模型 (VLMs) 正在以極快的速度發展。2020 年，首批 VLMs 通過使用視覺編碼器將視覺理解引入大語言模型 (LLMs) ，徹底改變了生成式 AI 格局。這些初始 VLMs 能力有限，只能理解文本和單張圖像輸入。幾年后，VLM 現在能夠理解多圖像和視頻輸入，以執行高級視覺語言任務，例如視覺問答 (VQA)、字幕、搜索和摘要。通過調整提示和模型權重，可以提高特定用例的 VLM 準確性。可以使用 PEFT 等高效技術微調模型權重，但仍需要足夠的數據和計算。但是， prompt engineering 和上下文學習也可用于提高輸出質量，并且與在運行時調整模型的文本輸入一樣簡單。本文將為您介紹 VLM 的演變，以及如何有效地提示 VLM 以用于了解單張圖像、多張圖像和視頻的用例。如需了解有關 VLM 和視覺 AI 智能體的更多信息，

]]>

13030

在 NVIDIA GPU 上訓練的 Microsoft Phi SLM 的多模態最新進展 http://www.open-lab.net/zh-cn/blog/latest-multimodal-addition-to-microsoft-phi-slms-trained-on-nvidia-gpus/ Wed, 26 Feb 2025 06:19:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13020 Continued]]> 大語言模型（LLMs）已滲透到各行各業，并改變了技術潛力。但是，由于規模龐大，它們對于許多公司目前面臨的資源限制來說并不切實際。小語言模型（SLMs）的興起通過創建資源占用更小的模型，將質量和成本聯系起來。SLMs 是語言模型的一個子集，這些模型傾向于專注于特定領域，并使用更簡單的神經架構構建。隨著模型的發展模仿人類感知周圍環境的方式，模型必須接受多種形式的多模態數據。 Microsoft 宣布在 Phi 系列中推出新一代開放式 SLM，并新增兩項功能： Phi-4-multimodal 是第一個加入該系列的多模態模型，接受文本、音頻和圖像數據輸入。這些模型足夠小，可以在設備上部署。此版本基于 2024 年 12 月發布的 Phi-4 14B 參數 SLM 的研究版本構建而成，可用于兩個新的較小模型的商業用途。

]]>

13020

基于 Marco 多 AI 智能體框架的可配置圖形任務求解在芯片設計中的應用 http://www.open-lab.net/zh-cn/blog/configurable-graph-based-task-solving-with-the-marco-multi-ai-agent-framework-for-chip-design/ Tue, 25 Feb 2025 06:55:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13033 Continued]]> 芯片和硬件設計因其復雜性和先進的技術而面臨眾多挑戰。這些挑戰導致在合成、驗證、物理設計和可靠性循環期間優化性能、功耗、面積和成本（PPAC）的周轉時間（TAT）更長。大語言模型（LLMs）已顯示出大規模理解和生成自然語言的出色能力，從而為各種領域帶來許多潛在應用和優勢。成功地將基于 LLMs 的 AI 智能體用于硬件設計，可以大幅減少 TAT，從而縮短產品周期、降低成本、提高設計可靠性，并降低代價高昂的錯誤風險。圖 1. Marco 框架概述我們介紹了擬議的 Marco 框架，其中包括基于圖形的任務求解、子任務的智能體配置，以及每個 AI 智能體的實時技能/工具配置。圖 1 展示了基于動態和靜態可配置圖形的任務求解，可靈活集成芯片設計知識 (例如電路、定時等)。在任務圖中，每個節點代表一個子任務，

]]>

13033

使用 DeepSeek-R1 和推理時間縮放實現自動化 GPU 內核生成 http://www.open-lab.net/zh-cn/blog/automating-gpu-kernel-generation-with-deepseek-r1-and-inference-time-scaling/ Thu, 13 Feb 2025 03:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=12838 Continued]]> 隨著 AI 模型擴展其功能以解決更復雜的挑戰，一種稱為“ 測試時擴展 ”或“ 推理時擴展 ”的新擴展法則正在出現。該技術也稱為 AI 推理或長時思考技術，通過在推理過程中分配額外的計算資源來評估多種可能的結果，然后選擇最佳結果 (neural network)，從而提高模型性能。這使得 AI 能夠以類似于人類剖析復雜問題并單獨解決這些問題以達成最終解決方案的方式，制定戰略并系統化地解決復雜問題。在本文中，我們將介紹 NVIDIA 工程師完成的一項實驗，他們在推理過程中使用最新的開源模型之一 DeepSeek-R1 模型以及額外的計算能力來解決復雜的問題。該實驗旨在自動生成 GPU 注意力內核，這些內核在數值上是正確的，并針對不同的注意力類型進行了優化，而無需任何顯式編程。事實證明，在某些情況下，最終結果優于由技術精湛的工程師開發的優化內核。

]]>

12838

構建 AI 銷售助理的經驗教訓 http://www.open-lab.net/zh-cn/blog/lessons-learned-from-building-an-ai-sales-assistant/ Tue, 21 Jan 2025 06:00:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=12684 Continued]]> 在 NVIDIA，銷售運營團隊為銷售團隊提供將先進的硬件和軟件推向市場所需的工具和資源。通過 NVIDIA 的各種技術來管理這一點是許多企業都面臨的復雜挑戰。通過與我們的銷售團隊合作，我們發現他們依賴于內部和外部文檔，通常會瀏覽多個存儲庫來查找信息。現在想象一下，一款 AI 銷售工具可以幫您完成所有這些工作。本文將探討 NVIDIA 如何使用大語言模型 (LLMs) 和檢索增強生成 (RAG) 技術構建 AI 銷售助理，以簡化銷售工作流，并解決挑戰、核心解決方案組件和關鍵經驗教訓。有關更多信息，請參閱 Explore Retrieval Models 。了解如何打造出色的 AI 銷售助理。從直觀的多回合聊天平臺開始，該平臺由 Llama 3.1 70B 等功能強大的 LLM 提供支持。通過 Perplexity API 實現 RAG 和…

]]>

12684

如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體 http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/ Thu, 16 Jan 2025 06:23:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12699 Continued]]> AI 代理為企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間，從而提高效率和客戶滿意度，幫助組織保持競爭力。但是，除了這些優勢之外， AI 智能體也存在風險。大語言模型（LLMs）容易生成不當內容或離題內容，并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力，實施可靠的 AI 安全措施至關重要。本教程為 AI 構建者提供了切實可行的步驟，以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ，一種可擴展的鐵路編排平臺，包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型：通過本教程，您將學習如何部署 AI 智能體，在保持客戶信任和品牌完整性的同時提供快速、準確的響應。

]]>

12699

Llama Nemotron 模型提升智能體 AI 工作流的準確性和效率 http://www.open-lab.net/zh-cn/blog/llama-nemotron-models-accelerate-agentic-ai-workflows-with-accuracy-and-efficiency/ Mon, 06 Jan 2025 08:52:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=12596 Continued]]> Agentic AI 是新一波生成式 AI 浪潮，是一種范式轉變，通過使 AI 系統能夠自主行動并實現復雜的目標，具有變革行業的潛力。智能體 AI 將大語言模型 (Large Language Models，LLMs) 的強大功能與高級推理和規劃功能相結合，為醫療健康、金融、制造和物流等各行各業帶來無限可能。智能體 AI 系統將感知、推理和行動相結合，以有效地與其環境交互。它從數據庫和外部來源收集信息，分析目標并制定實現目標的策略。系統的操作模塊可執行決策，同時保留過去交互的內存，以支持長期任務和個性化響應。借助多智能體協作，智能體可以共享信息并高效協調復雜的任務。 AI 智能體還配備了反饋機制，可創建數據飛輪，并將通過交互生成的數據輸入到系統中，以增強模型。這使得系統能夠隨著時間的推移提高運營效率并做出更明智的決策。這些系統的核心是基礎模型，

]]>

12596

借助 WebAssembly 實現沙箱 Agentic AI 工作流 http://www.open-lab.net/zh-cn/blog/sandboxing-agentic-ai-workflows-with-webassembly/ Mon, 16 Dec 2024 05:04:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=12521 Continued]]> 代理 AI 工作流通常涉及執行由大語言模型 (LLM) 生成的代碼，以執行創建數據可視化等任務。但是，此代碼應在安全環境中清理和執行，以降低提示注入的風險和返回代碼中的錯誤。使用正則表達式和受限運行時清理 Python 是不夠的，而且虛擬機的 Hypervisor 隔離需要大量的開發和資源。本文將介紹如何使用 WebAssembly (Wasm) (一種基于堆棧的虛擬機的二進制指令格式)，利用瀏覽器沙盒實現操作系統和用戶隔離。這提高了應用的安全性，且不會產生重大開銷。 LLM 應用開發的近期變化之一是公開工具，即 LLM 可以調用并使用響應的函數、應用或 API。例如，如果應用需要了解特定地點的天氣，它可以調用天氣 API，并使用結果制定適當的響應。 Python 代碼執行是用于擴展 LLM 應用的強大工具。LLM 擅長編寫 Python 代碼，

]]>

12521

借助 2D 和 3D 數字人虛擬形象擴展 AI 智能體界面選項 http://www.open-lab.net/zh-cn/blog/expanding-ai-agent-interface-options-with-2d-and-3d-digital-human-avatars/ Fri, 22 Nov 2024 07:29:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=12044 Continued]]> 在與生成式 AI 應用程序交互時，用戶有多種通信選項 – 文本、語音或通過數字化的虛擬形象。傳統聊天機器人或 Copilot 應用具有文本界面，用戶可在其中輸入查詢并接收基于文本的響應。對于免持通信，語音人工智能技術如自動語音識別 (ASR) 和文本轉語音 (TTS) 促進了口頭互動，非常適合電話客戶服務等場景。此外，將數字化虛擬形象與語音能力相結合，可為用戶提供更具動態性的界面，以便用戶以直觀方式與應用互動。根據 Gartner 的預測，到 2028 年，擁有 500 名以上員工的組織中，45% 的組織將利用員工人工智能虛擬形象來擴展人力資本能力。1 數字虛擬形象的風格差異很大，一些用例受益于逼真的 3D 或 2D 虛擬形象，而其他用例使用風格化或卡通化的虛擬形象時效果更好。要開始創建逼真的數字人，

]]>

12044

使用 NVIDIA NIM 構建您的人工在環 AI 智能體首秀 http://www.open-lab.net/zh-cn/blog/build-your-first-human-in-the-loop-ai-agent-with-nvidia-nim/ Thu, 21 Nov 2024 06:39:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=12153 Continued]]> 由大語言模型（LLMs）提供支持的 AI 智能體可幫助組織簡化和減少手動工作負載。這些智能體使用多層迭代推理來分析問題、設計解決方案，并使用各種工具執行任務。與傳統聊天機器人不同，LLM 提供支持的智能體能夠有效理解和處理信息，從而實現復雜任務的自動化。為避免特定應用中的潛在風險，在使用自主 AI 智能體時，保持人工監督仍然至關重要。在本文中，您將學習如何使用 NVIDIA NIM 微服務（一種針對 AI 推理優化的加速 API）構建人類在環 AI 智能體。該博文介紹了一個社交媒體用例，展示了這些多功能 AI 智能體如何輕松處理復雜任務。借助 NIM 微服務，您可以將高級 LLM（如 Llama 3.1-70B-Instruct 和 Falcon 180B 等）無縫集成到工作流中，從而提供 AI 驅動任務所需的可擴展性和靈活性。無論您是使用 PyTorch、

]]>

12153

AI 智能體與 OODA 循環策略合力優化數據中心運營效率 http://www.open-lab.net/zh-cn/blog/optimizing-data-center-performance-with-ai-agents-and-the-ooda-loop-strategy/ Tue, 17 Sep 2024 07:20:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=11255 Continued]]> 對于任何數據中心來說，操作大型、復雜的 GPU 集群都不是件容易的事情！這其中存在著巨大的復雜性。在加速計算數據中心，冷卻、電源、網絡，甚至諸如風扇更換周期等無害的事情都必須得到有效管理和良好治理。管理所有這些需要加速了解來自計算堆棧每一層的 PB 級遙測數據。現在，假設您能夠直接與數據中心聊天，檢查 GPU 集群的可靠性。考慮一下這樣的問題：“在我們數據中心中最頻繁更換的前 5 個部件中，哪一個具有最大的供應鏈風險？” 也許您的任務更復雜，例如：“檢查每個 GPU 集群，并分配最相關的技術人員來解決 5% 的最大故障風險集群。” 為了回答這些類型的問題等，我們的 NVIDIA 團隊啟動了一個名為 LLo11yPop (LLM + Observability) 的項目，開發使用 OODA 循環（觀察、方向、決策、行動）的可觀察性 AI 智能體框架。在本文中，

]]>

11255

利用 NVIDIA NIM 微服務和 LangChain 構建智能代理系統 http://www.open-lab.net/zh-cn/blog/building-ai-agents-with-nvidia-nim-microservices-and-langchain/ Wed, 07 Aug 2024 03:05:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=10910 Continued]]> NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，現在支持對 Llama 3.1 等模型進行工具調用。它還與 LangChain 集成，為您提供用于構建代理工作流程的生產就緒型解決方案。NIM 微服務為 Llama 3.1 等開源模型提供最佳性能，并且可以在 LangChain 應用中通過 NVIDIA API 目錄免費測試。借助 Llama 3.1 NIM 微服務，您可以為生產部署構建具有高級功能的生成式 AI 應用。您可以使用具有先進代理功能的加速開放模型，構建更復雜、更可靠的應用。有關更多信息，請參閱跨 NVIDIA 平臺為 Llama 3.1 提供強效助力。 NIM 提供了一個與 OpenAI 兼容的工具，可以通過調用 API 實現熟悉性和一致性。現在，您可以將工具與 LangChain 綁定到 NIM 微服務，以創建結構化輸出，

]]>

10910

使用 NVIDIA NIM 和 NVIDIA VIA 微服務構建 VLM 驅動的視覺 AI 代理 http://www.open-lab.net/zh-cn/blog/build-vlm-powered-visual-ai-agents-using-nvidia-nim-and-nvidia-via-microservices/ Mon, 29 Jul 2024 07:09:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=10806 Continued]]> 傳統的視頻分析應用程序及其開發工作流通常基于固定功能且受限的模型構建，這些模型旨在僅檢測和識別一組選定的預定義對象。借助生成式 AI、NVIDIA NIM 微服務和基礎模型，您現在可以使用更少的模型構建具有廣泛感知和豐富語境理解的應用程序。新型生成式 AI 模型即視覺語言模型 (VLM) 為視覺 AI 智能體提供支持，這些智能體可以理解自然語言提示并執行視覺問答。視覺 AI 智能體解鎖了完全的應用可能性，顯著簡化了應用開發工作流程，并提供了變革性的新感知功能，如圖像或視頻摘要、交互式視覺問答和視覺警報。這些視覺 AI 智能體將部署在工廠、倉庫、零售商店、機場、交通交叉路口等地。它們將幫助運營團隊使用從自然交互中生成的更豐富的見解做出更明智的決策。 NVIDIA NIM 和 NVIDIA VIA 微服務旨在加速視覺 AI 代理的開發。在本文中，

]]>

10806

人人超碰97caoporen国产