Edgeless Systems 推出了 Continuum AI，這是首款生成式 AI 框架，始終通過機密計算對提示進行加密，方法是將機密 VM 與 NVIDIA H100 GPU 和安全沙盒相結合。
該平臺的推出凸顯了 AI 部署的新時代，在這個時代，強大的 LLM 的優勢可以在不影響數據隱私和安全的情況下實現。Edgeless Systems 是一家德國網絡安全公司，致力于開發用于機密計算的開源軟件，該公司正在與 NVIDIA 合作，助力各行各業的企業滿懷信心地將 AI 集成到其運營中。
機密 LLM 平臺不僅僅是一項技術進步，而是邁向組織可以安全利用 AI (即使是最敏感數據) 的未來的關鍵一步。
Continuum 技術有兩個主要的安全目標。它首先保護用戶數據，同時還保護 AI 模型權重不受基礎設施、服務提供商和其他的影響。基礎設施包括給定 AI 應用運行所依賴的基本硬件和軟件堆棧，這也包括所有底層云平臺，就 ChatGPT 而言，這將是 Microsoft Azure。服務提供商是提供和控制實際 AI 應用的實體，就 ChatGPT 而言，這將是 OpenAI。
Continuum 的工作原理
Continuum 依賴于兩個核心機制：機密計算和高級沙箱。機密計算是一種基于硬件的技術，即使在處理過程中也能對數據進行加密。此外，機密計算使得驗證工作負載的完整性成為可能。
機密計算由 NVIDIA H100 Tensor Core GPU 和先進的沙盒技術提供支持，使客戶能夠保護用戶數據和 AI 模型。它通過創建一個將基礎設施和服務提供商與數據和模型分開的安全環境來實現這一點，該技術還包括熱門的 AI 推理服務，例如 NVIDIA Triton 推理服務器。
即使這些安全機制到位，AI 代碼也可能來自第三方，這可能會意外或惡意泄露提示，例如將提示以純文本形式寫入磁盤或網絡中。
一種解決方案是徹底審查 AI 代碼。但是，由于 AI 代碼的復雜性和定期更新，這不切實際。
Continuum 通過在受計算保護的機密 AI 工作者的沙盒中運行 AI 代碼來解決這一問題。一般來說，沙盒是一種環境，防止應用程序與系統其余部分交互。它在經過調整的 Google 的 gVisor 沙盒版本中運行 AI 代碼，這可確保 AI 代碼無法以純文本泄露提示和響應。AI 代碼唯一能做的就是接收加密提示、查詢加速器并返回加密響應。
有了這個架構，您的提示甚至可以免受提供 AI 代碼的實體的攻擊。簡而言之，對于眾所周知的 ChatGPT，這意味著您不必信任 OpenAI（提供 AI 代碼的公司）或 Microsoft Azure（運行基礎設施的公司）。
架構
Continuum 由兩部分組成：服務器端和客戶端。服務器端托管 AI 服務，并安全地處理提示。客戶端驗證服務器，加密提示，并發送推理請求。讓我們深入探討組件、它們的交互方式以及各自角色的詳細信息。
服務器端托管推理服務。其架構包括兩個主要組件：工作者和認證服務.
Worker 節點是后端的核心，它托管 AI 模型并服務推理請求。必要的推理代碼和模型由推理和模型所有者外部提供。容器化的推理代碼（稱為 AI 代碼）在一個安全的環境中運行。
每個工作者都是運行 Continuum OS 的機密虛擬機 (CVM)。此操作系統最小、不可變，并可通過 遠程認證 進行驗證。Continuum OS 在沙盒中托管工作負載，并通過加密代理調節網絡流量。
Worker 提供一個 HTTPS API 來管理 (啟動和停止) AI 代碼容器。
AI 代碼沙盒?
由推理所有者提供的 AI 代碼在 gVisor 沙盒中運行，該沙盒將 AI 代碼與主機隔離開來，在用戶空間內核中處理系統調用，并阻止網絡流量以防止數據泄露。
加密代理?
每個 AI 代碼都有一個附加的代理容器，這是其與外部世界的唯一連接。代理在客戶端管理 提示加密，解密傳入的請求并將其發送到沙盒。在相反方向，它對響應進行加密并將其發送回用戶。代理支持各種 API 適配器，例如 OpenAI 或 Triton Generate。
認證服務?
CVM 的認證功能可確保 Worker 的完整性和真實性，從而使服務提供商和客戶端能夠驗證 Worker 的完整性，以及他們是否與良性部署進行交互。
認證服務（AS）是集中管理的。在服務器端，AS 根據每個工作者的認證聲明對其進行驗證。在客戶端，AS 提供系統級認證端點，并處理密鑰交換以實現即時加密。
AS 在機密虛擬機 (CVM) 中運行。在初始化期間，服務提供商使用 Continuum CLI 通過驗證 AS 認證報告來建立信任。
工作流程?
在圖 2 中，該流程詳細介紹了管理員如何通過 CLI 驗證認證服務的完整性。驗證成功后，管理員使用 CLI 設置清單，然后直接與 worker 交互，使用 worker API 配置 AI 代碼。
工作者向 AS 注冊，該 AS 會驗證其認證報告。經過驗證的工作者會收到推理機密，然后可以處理推理請求。
用戶直接與 AS 和工作者進行交互，或通過受信任的 Web 服務進行交互。用戶使用 AS 驗證部署并設置推理機密，然后他們可以向服務發送加密提示，加密代理解密這些提示，將其轉發到沙盒，重新加密響應，然后將其發送給用戶。
如需了解更多詳情，請查看 Continuum，以保持在企業級機密 AI 領域的領先地位。
?
