Cybersecurity – NVIDIA 技術博客

Cybersecurity – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 12 Mar 2025 06:27:27 +0000 zh-CN hourly 1 196178272 衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用，以確保安全、品牌和可靠的行為，這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護，以評估和優化 Guardrail 性能。在本文中，我們將探索用于測量和優化 AI 護欄有效性的技術，確保您的 AI 應用在仔細定義的邊界內運行，同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個評估工具，用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外，該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具，重點介紹每個指標在優化 AI 應用方面發揮的作用。隨著企業不斷突破 AI 的極限，平衡性能和成本效益已成為重中之重。

]]>

13146

代理自主級別與安全性 http://www.open-lab.net/zh-cn/blog/agentic-autonomy-levels-and-security/ Tue, 25 Feb 2025 07:08:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13039 Continued]]> 智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途：在實踐中，開發 AI 賦能的應用需要兩個關鍵組件：當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。然而，

]]>

13039

定義 LLM 紅色團隊 http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/ Tue, 25 Feb 2025 07:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13036 Continued]]> 在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

]]>

13036

如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體 http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/ Thu, 16 Jan 2025 06:23:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12699 Continued]]> AI 代理為企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間，從而提高效率和客戶滿意度，幫助組織保持競爭力。但是，除了這些優勢之外， AI 智能體也存在風險。大語言模型（LLMs）容易生成不當內容或離題內容，并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力，實施可靠的 AI 安全措施至關重要。本教程為 AI 構建者提供了切實可行的步驟，以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ，一種可擴展的鐵路編排平臺，包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型：通過本教程，您將學習如何部署 AI 智能體，在保持客戶信任和品牌完整性的同時提供快速、準確的響應。

]]>

12699

借助 WebAssembly 實現沙箱 Agentic AI 工作流 http://www.open-lab.net/zh-cn/blog/sandboxing-agentic-ai-workflows-with-webassembly/ Mon, 16 Dec 2024 05:04:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=12521 Continued]]> 代理 AI 工作流通常涉及執行由大語言模型 (LLM) 生成的代碼，以執行創建數據可視化等任務。但是，此代碼應在安全環境中清理和執行，以降低提示注入的風險和返回代碼中的錯誤。使用正則表達式和受限運行時清理 Python 是不夠的，而且虛擬機的 Hypervisor 隔離需要大量的開發和資源。本文將介紹如何使用 WebAssembly (Wasm) (一種基于堆棧的虛擬機的二進制指令格式)，利用瀏覽器沙盒實現操作系統和用戶隔離。這提高了應用的安全性，且不會產生重大開銷。 LLM 應用開發的近期變化之一是公開工具，即 LLM 可以調用并使用響應的函數、應用或 API。例如，如果應用需要了解特定地點的天氣，它可以調用天氣 API，并使用結果制定適當的響應。 Python 代碼執行是用于擴展 LLM 應用的強大工具。LLM 擅長編寫 Python 代碼，

]]>

12521

使用 NVIDIA NeMo Guardrails 實現內容審核和安全性檢查 http://www.open-lab.net/zh-cn/blog/content-moderation-and-safety-checks-with-nvidia-nemo-guardrails/ Fri, 06 Dec 2024 06:56:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=12389 Continued]]> 鑒于用戶生成的內容和這些系統管理的外部數據量龐大，內容審核在由生成式 AI 提供支持的檢索增強生成 (RAG) 應用中變得至關重要。基于 RAG 的應用使用大語言模型 (LLMs) 以及從各種外部來源進行的實時信息檢索，這可能會導致內容流更具動態性和不可預測性。隨著這些生成式 AI 應用成為企業通信的一部分，審核內容可確保 LLM 的響應安全可靠且合規。在嘗試在 RAG 應用中實現內容審核時，每個生成式 AI 開發者都應該問的主要問題是部署 AI 護欄以實時監控和管理內容。借助生成式 AI ，企業可以增強檢索增強型生成 (RAG) 應用的準確性和安全性。 NVIDIA NeMo Guardrails 提供工具包和微服務，可輕松將安全層集成到生產級 RAG 應用中。它旨在通過允許與第三方安全模型無縫集成來執行 LLM 輸出中的安全和策略指南。

]]>

12389

探索采用自主 AI 和 NVIDIA 機密計算的超級協議案例 http://www.open-lab.net/zh-cn/blog/exploring-the-case-of-super-protocol-with-self-sovereign-ai-and-nvidia-confidential-computing/ Thu, 14 Nov 2024 07:06:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=12032 Continued]]> 機密和自主的 AI 是一種新的 AI 開發、訓練和推理方法，其中用戶的數據是去中心化的、私有的，并由用戶自己控制。本文將探討如何通過使用區塊鏈技術的去中心化來擴展 Confidential Computing（CC）的功能。通過使用個人 AI 智能體，可以非常清楚地看到所解決的問題。這些服務可幫助用戶完成許多任務，包括撰寫電子郵件、準備報稅和查看醫療記錄。毋庸置疑，所處理的數據是敏感的個人數據。在集中式系統中，這些數據由人工智能服務提供商在云中處理，通常不透明。當用戶的數據離開設備時，他們將失去對自己數據的控制，而這些數據可能會被用于訓練、泄露、出售或以其他方式被誤用。屆時無法追蹤個人數據。這種信任問題阻礙了 AI 行業發展的某些特定方面，尤其是對于尚未獲得聲譽或證據來支持其真實意圖的初創公司和 AI 開發者而言。

]]>

12032

轉變電信網絡以管理和優化 AI 工作負載 http://www.open-lab.net/zh-cn/blog/transforming-telecom-networks-to-manage-and-optimize-ai-workloads/ Fri, 08 Nov 2024 08:18:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=12072 Continued]]> 今年年初，5G 全球連接數量接近 20 億，預計到 2028 年將達到 77 億。雖然 5G 帶來了更快的速度、更高的容量和更低的延遲，特別是在視頻和數據流量方面，但網絡運營商創造新收入的初步承諾仍然未能實現。大多數移動應用程序現在都已路由到云端。與此同時，基于傳統設計的無線接入網（RAN）和數據包核心解決方案隨著軟件增強和更高效的硬件不斷改進。這些運行傳統語音、數據和視頻工作負載的單一用途系統并沒有顯著增加電信公司的每個用戶的平均收入。相反，這些系統主要支持連接，并被視為運營支出，從而降低了投資回報。然而，這種方法即將改變。 ChatGPT 和快速大語言模型（LLM）創新讓我們初步了解了一種需要加速計算的新型應用，這就需要不同類型的多用途網絡來優化 AI 和生成式 AI 工作負載。最初，AI 網絡部署側重于繁重的訓練工作負載，這些工作負載是集中式的，并且需要大型數據中心。

]]>

12072

利用圖形神經網絡加速金融服務業欺詐檢測效率 http://www.open-lab.net/zh-cn/blog/supercharging-fraud-detection-in-financial-services-with-graph-neural-networks/ Mon, 28 Oct 2024 05:53:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=11788 Continued]]> 金融服務欺詐是一個巨大的問題。根據 NASDAQ 的數據，在 2023 年，銀行在支付、支票和信用卡欺詐方面預計會面臨 442 億美元的損失。不過，這不僅僅與資金有關。欺詐會損害公司的聲譽，并在阻止合法購買時讓客戶失望。這被稱為誤報。遺憾的是，這些錯誤發生的頻率比您想象的要多，因為傳統的欺詐檢測方法根本跟不上欺詐的復雜性。本文重點介紹信用卡交易欺詐，這是一種最常見的金融欺詐形式。雖然其他類型的欺詐（例如身份盜用、帳戶接管和反洗錢）也值得關注，但信用卡欺詐由于其交易量大、攻擊面廣，因此構成了一項獨特的挑戰，使其成為欺詐者的主要目標。據 Nilson 估計，到 2026 年，金融機構每年的信用卡損失預計將達到 430 億美元。傳統的欺詐檢測方法依賴于基于規則的系統或統計方法，在識別復雜的欺詐活動方面反應遲鈍，并且效率越來越低。隨著數據量的增長和欺詐策略的演變，

]]>

11788

利用 NVIDIA Morpheus 加速警報分流和 LLM 代理強化安全運營中心 http://www.open-lab.net/zh-cn/blog/augmenting-security-operations-centers-with-accelerated-alert-triage-and-llm-agents-using-nvidia-morpheus/ Thu, 24 Oct 2024 08:20:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=11631 Continued]]> 安全運營中心（SOC）分析師每天都會收到大量傳入的安全警報。為了確保其組織的持續安全，他們的任務是仔細檢查傳入的噪音，分揀出誤報，并找出可能是真正安全漏洞的指標。然而，警報的數量之多可能意味著泄露的重要早期指標被隱藏起來。更不用說流程本身，該流程通常是重復性的、耗時的且成本高昂。我們能否構建工作流程來緩解這些問題，同時仍然保持良好的甚至更好的安全級別？首先，我們研究了 NVIDIA Morpheus ，這是一種 GPU 加速的網絡安全 AI 框架，用于處理和分析高速數據流。特別是，我們關注數字指紋 AI 工作流，該工作流支持在網絡上進行大規模異常檢測。數字指紋工作流可以學習任何給定實體的正常行為特征，并將其表示為自動編碼器模型。當行為出現偏差時（例如，如果用戶顯示幾個新的地理位置），系統會生成與異常程度對應的 z 分數。傳統上，

]]>

11631

利用 NVIDIA Morpheus 加速警報分流和 LLM 代理強化安全運營中心 http://www.open-lab.net/zh-cn/blog/augmenting-security-operations-centers-with-accelerated-alert-triage-and-llm-agents-using-nvidia-morpheus-2/ Thu, 24 Oct 2024 04:46:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=11678 Continued]]> 安全運營中心（SOC）分析師每天都會收到大量傳入的安全警報。為了確保其組織的持續安全，他們的任務是仔細檢查傳入的噪音，分揀出誤報，并找出可能是真正安全漏洞的指標。然而，警報的數量之多可能意味著泄露的重要早期指標被隱藏起來。更不用說流程本身，該流程通常是重復性的、耗時的且成本高昂。我們能否構建工作流程來緩解這些問題，同時仍然保持良好的甚至更好的安全級別？首先，我們研究了 NVIDIA Morpheus ，這是一種 GPU 加速的網絡安全 AI 框架，用于處理和分析高速數據流。特別是，我們關注數字指紋 AI 工作流，該工作流支持在網絡上進行大規模異常檢測。數字指紋工作流可以學習任何給定實體的正常行為特征，并將其表示為自動編碼器模型。當行為出現偏差時（例如，如果用戶顯示幾個新的地理位置），系統會生成與異常程度對應的 z 分數。傳統上，

]]>

11678

借助 NVIDIA DOCA-OFED 讓您的網絡堆棧面向未來 http://www.open-lab.net/zh-cn/blog/future-proof-your-networking-stack-with-nvidia-doca-ofed/ Tue, 15 Oct 2024 04:33:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=11672 Continued]]> NVIDIA DOCA 軟件平臺釋放了 NVIDIA BlueField 網絡平臺的潛力，并為 NVIDIA BlueField 和 ConnectX 設備提供了所需的所有主機驅動程序。DOCA 針對峰值性能進行了優化，使用戶能夠滿足日益復雜的工作負載的需求。其模塊化結構提供了適應新興技術和更高數據吞吐量所需的靈活性。在最近發布的網絡軟件版本中，NVIDIA 從 MLNX_OFED 驅動和工具套件（適用于 InfiniBand 和 Ethernet 解決方案）過渡到 DOCA-OFED ，標志著獨立 MLNX_OFED 版本的結束。這一轉變反映了向集成在 NVIDIA DOCA 框架中的更加統一、可擴展和可編程的網絡堆棧的轉變。MLNX_OFED 的輕量級子集 MLNX_EN 的最終版本也將發布，未來功能將只能通過 DOCA 訪問。

]]>

11672

使用 NVIDIA NIM 漏洞分析代理藍圖快速分流容器安全性 http://www.open-lab.net/zh-cn/blog/rapidly-triage-container-security-with-the-vulnerability-analysis-nvidia-nim-agent-blueprint/ Tue, 08 Oct 2024 07:40:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=11444 Continued]]> 隨著 CVE 數據庫中報告的漏洞數量不斷加速增長，解決軟件安全問題變得更具挑戰性。評估單個容器的漏洞需要收集、理解和合成數百條信息。截至 2023 年底，報告的漏洞超過 20 萬個，傳統的掃描和修補方法已變得難以管理。企業越來越多地采用生成式 AI 來推動各個領域的創新。根據 IDC 的說法，漏洞檢測和解決將成為軟件交付領域的主要生成式 AI 用例。 Generative AI 可以改善漏洞防御，同時減輕安全團隊的負擔。組織已經開始探索如何將其用于自動化，但在企業級擴展需要一個復雜的 AI 系統。視頻 1 展示了 NVIDIA 如何使用生成式 AI 和檢索增強型生成技術 (RAG) 加速企業級軟件容器中的漏洞分析，并將評估和緩解 CVE 的時間從數小時或數天縮短到幾秒鐘。此 AI 智能體示例使 NVIDIA…

]]>

11444

利用 AI 和數據強化零信任網絡安全防御 http://www.open-lab.net/zh-cn/blog/harnessing-data-with-ai-to-boost-zero-trust-cyber-defense/ Thu, 26 Sep 2024 09:30:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=11506 Continued]]> 現代網絡威脅變得越來越復雜，給聯邦機構和關鍵基礎設施帶來了重大風險。根據 Deloitte 的說法，網絡安全是政府和公共部門的首要任務，這凸顯了在效率和速度方面適應日益數字化的世界的需求。威脅示例包括內部威脅、供應鏈漏洞、勒索軟件攻擊以及其他可能導致嚴重中斷和數據泄露的復雜網絡入侵。為了應對這些不斷演變的風險，政府機構保護敏感數據和關鍵系統的零信任安全策略至關重要。但在加強零信任實施方面，還有很多工作要做。網絡安全的核心是數據問題。隨著互聯用戶和設備數量的增加，組織生成的數據越來越多，無法有效地收集、管理和分析。如果我們無法在整個企業中 100% 觀察每個用戶和機器的數據，我們如何構建一個能夠檢測所有偏差的穩健模型？零信任策略假設默認情況下不信任任何實體，并且需要每個人進行驗證才能獲得訪問權限。然而，這種方法需要提高網絡上每個應用程序和用戶的可見性，

]]>

11506

NVIDIA 在領先的網絡安全會議上展示 AI 安全專業知識 http://www.open-lab.net/zh-cn/blog/nvidia-presents-ai-security-expertise-at-leading-cybersecurity-conferences/ Wed, 18 Sep 2024 07:46:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=11377 Continued]]> 每年 8 月，成千上萬的安全專業人員都會參加最前沿的安全會議 Black Hat USA 和 DEF CON。這一年，NVIDIA AI 安全專家參加了這些活動，分享我們的工作，并向社區其他成員學習。本文概述了這些貢獻，包括關于快速發展的 AI 環境的主題演講、對抗性機器學習訓練、關于大型語言模型（LLM）安全性的演講等。這項工作有助于為安全社區提供必要的知識，以便他們以安全為理念有效部署 AI 系統。 Black Hat 是一項國際公認的網絡安全活動，提供相關的技術和信息安全研究。本年，圍繞生成式 AI 工具在安全生態系統中的應用可能性以及 AI 部署本身的安全性，討論聲不斷增長。在 AI 峰會主題演講中，NVIDIA 網絡安全 AI 總監 Bartley Richardson 與 WWT 首席執行官 Jim Kavanaugh 共同分享了對迅速發展的 AI…

]]>

11377

人人超碰97caoporen国产