]]>13039定義 LLM 紅色團隊
http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/
Tue, 25 Feb 2025 07:04:29 +0000http://www.open-lab.net/zh-cn/blog/?p=13036Continued]]>在一項活動中,人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入,以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年,并已迅速發展成為一種常見的行業實踐,也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊? NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。 由于目標是定義和理解相對較新的活動,因此該研究采用了有根據的理論方法,在數千分鐘的視頻錄制中,以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家,
]]>13036如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體
http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/
Thu, 16 Jan 2025 06:23:28 +0000http://www.open-lab.net/zh-cn/blog/?p=12699Continued]]>AI 代理為 企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間,從而提高效率和客戶滿意度,幫助組織保持競爭力。 但是,除了這些優勢之外, AI 智能體也存在風險 。 大語言模型(LLMs) 容易生成不當內容或離題內容,并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力,實施可靠的 AI 安全措施至關重要。 本教程為 AI 構建者提供了切實可行的步驟,以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ,一種可擴展的鐵路編排平臺,包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型: 通過本教程,您將學習如何部署 AI 智能體,在保持客戶信任和品牌完整性的同時提供快速、準確的響應。
]]>12389探索采用自主 AI 和 NVIDIA 機密計算的超級協議案例
http://www.open-lab.net/zh-cn/blog/exploring-the-case-of-super-protocol-with-self-sovereign-ai-and-nvidia-confidential-computing/
Thu, 14 Nov 2024 07:06:03 +0000http://www.open-lab.net/zh-cn/blog/?p=12032Continued]]>機密和自主的 AI 是一種新的 AI 開發、訓練和推理方法,其中用戶的數據是去中心化的、私有的,并由用戶自己控制。本文將探討如何通過使用區塊鏈技術的去中心化來擴展 Confidential Computing(CC)的功能。 通過使用個人 AI 智能體,可以非常清楚地看到所解決的問題。這些服務可幫助用戶完成許多任務,包括撰寫電子郵件、準備報稅和查看醫療記錄。毋庸置疑,所處理的數據是敏感的個人數據。 在集中式系統中,這些數據由人工智能服務提供商在云中處理,通常不透明。當用戶的數據離開設備時,他們將失去對自己數據的控制,而這些數據可能會被用于訓練、泄露、出售或以其他方式被誤用。屆時無法追蹤個人數據。 這種信任問題阻礙了 AI 行業發展的某些特定方面,尤其是對于尚未獲得聲譽或證據來支持其真實意圖的初創公司和 AI 開發者而言。
]]>11506NVIDIA 在領先的網絡安全會議上展示 AI 安全專業知識
http://www.open-lab.net/zh-cn/blog/nvidia-presents-ai-security-expertise-at-leading-cybersecurity-conferences/
Wed, 18 Sep 2024 07:46:54 +0000http://www.open-lab.net/zh-cn/blog/?p=11377Continued]]>每年 8 月,成千上萬的安全專業人員都會參加最前沿的安全會議 Black Hat USA 和 DEF CON。這一年,NVIDIA AI 安全專家參加了這些活動,分享我們的工作,并向社區其他成員學習。 本文概述了這些貢獻,包括關于快速發展的 AI 環境的主題演講、對抗性機器學習訓練、關于大型語言模型(LLM)安全性的演講等。這項工作有助于為安全社區提供必要的知識,以便他們以安全為理念有效部署 AI 系統。 Black Hat 是一項國際公認的網絡安全活動,提供相關的技術和信息安全研究。本年,圍繞生成式 AI 工具在安全生態系統中的應用可能性以及 AI 部署本身的安全性,討論聲不斷增長。 在 AI 峰會主題演講中,NVIDIA 網絡安全 AI 總監 Bartley Richardson 與 WWT 首席執行官 Jim Kavanaugh 共同分享了對迅速發展的 AI…