Cyborg 和 RAPIDS cuVS 實現矢量搜索機密性保護

為了解決這一關鍵問題，Cyborg 與 NVIDIA 合作，使用 RAPIDS cuVS 庫增強向量數據庫的安全性。RAPIDS cuVS 庫是一個開源工具包，可使用先進的算法加速向量搜索。這項合作旨在為 Cyborg 的加密向量搜索引擎提供 NVIDIA 的 GPU 加速，在不影響性能的情況下確保強大的安全性。

向量數據庫漏洞

向量數據庫是現代數據密集型應用程序的基石，為從檢索增強生成（RAG）流程到推薦系統的所有內容提供支持。

這些數據庫的高性能索引構建和搜索功能使其對此類應用程序至關重要，但其存儲的數據的價值使其成為惡意攻擊和漏洞的熱門目標。對于需要保密的業務領域，這種風險尤其值得關注，因為它們通常擁有敏感信息和商業機密，任何泄露或攻擊都可能會對業務造成嚴重的影響。

• 受監管行業：例如，醫療健康、金融服務和公共部門，其中嚴格的隱私和安全要求可能會完全排除使用矢量搜索及其下游應用程序。
• IP 驅動型行業：例如制藥、制造和國防等行業，在這些行業中知識產權形成了巨大的價值驅動力和競爭優勢。

在對 AI 驅動的工作負載進行原型設計時，這些問題可能被忽略，但在生產方面可能會變成障礙。

解決方案：機密向量搜索

總部位于紐約的初創公司Cyborg開發了一個端到端加密向量搜索引擎來解決這一問題。通過使用前向隱私和加密哈希，Cyborg Vector Search實現了機密數據的安全索引和檢索。端到端加密意味著數據庫中不會存儲未加密的向量，從而大幅減少了攻擊面，并解決了前面提到的機密性問題。

Cyborg Vector Search旨在平衡以下關鍵性能特征：1. 查詢效率：Cyborg Vector Search旨在實現快速的查詢速度，以滿足實時應用程序的需求。2. 精準度：Cyborg Vector Search旨在提供高精準度的搜索結果，以滿足復雜查詢的需求。3. 可擴展性：Cyborg Vector Search旨在提供可擴展的架構，以滿足大規模數據集的需求。4. 靈活性：Cyborg Vector Search旨在提供靈活的查詢語言，以滿足多樣化的查詢需求。5. 成本效益：Cyborg Vector Search旨在提供成本效益的解決方案，以滿足企業的經濟需求。

• 端到端加密：通過符合嚴格隱私要求的cryptographically安全架構，確保最高級別的安全性和機密性。
• 高性能：最大限度地降低端到端加密的增量成本，將加密索引和檢索的加密開銷分別保持在5%和30%以內。
• 兼容性：保持與現有向量搜索管線和工作負載的一致性，實現從原型到生產的簡單過渡。

NVIDIA 硬件

為了在 GPU 上實現加密索引，該解決方案使用了 NVIDIA 機密計算。機密計算可確保數據通過加密方式和強大的訪問控制保持安全性，使用可信執行環境（TEE）為敏感操作提供安全的安全區。這項技術對于在 GPU 加速計算期間保持數據的機密性至關重要。

此解決方案的核心硬件是啟用機密計算的 NVIDIA H100 Tensor Core GPU（80 GB）。目前，所有 NVIDIA Hopper Tensor Core GPU 均公開支持機密計算，新一代 NVIDIA Blackwell Tensor Core GPU 將繼續支持機密計算。

配置為 CC 模式的 NVIDIA GPU 已激活基于硬件的加密引擎、防火墻和遠程認證流，以確保 TEE 的完整性，以便最終用戶可以確保并驗證其機密工作負載在 GPU 上使用時受到保護。

NVIDIA Hopper 機密計算使用 AES-GCM256 對 PCIe 總線上的所有用戶數據進行加密和簽名，并使用經簽名和可認證固件配置的防火墻阻止基礎設施和帶外訪問。NVIDIA 還提供公共遠程認證服務，以便最終用戶或依賴方可以獲得最新的確信，確信其驅動和固件未因錯誤或漏洞而被吊銷。

Cyborg 使用 NVIDIA LaunchPad 快速訪問和開發其設計。LaunchPad 為 NVIDIA 客戶、合作伙伴和 ISV 提供了在基于瀏覽器的沙盒環境中動手訪問預構建實驗室的機會，該設計已預先配置了所有必要步驟，以確保通過開發機密 VM 應用實驗室為機密工作負載正確構建和配置系統。這樣，Cyborg 就無需花時間擔心基礎架構，而是專注于開發自己的解決方案。

加速機密向量搜索

與傳統的向量搜索一樣，機密向量搜索是一個計算成本高昂且難以擴展的過程。這使其成為 GPU 加速的理想候選對象。RAPIDS cuVS 包含用于執行此操作的高度優化基元。

為評估此集成的有效性，Cyborg 和 NVIDIA 進行了一項聯合概念驗證（POC）。這項工作涉及到將 cuVS 與 Cyborg Vector Search 集成，以實現使用 GPU 加速的加密矢量搜索。

此 PoC 比較了 CPU 和 GPU 上的加密索引和檢索性能。具體來說，我們分別用 cuVS 和 GPU 上的自定義 SHA-3 CUDA 內核取代了 CPU 上的 scikit-learnKmeans 和 hashlib。結果不言自明：我們在 GPU 上使用 cuVS 和自定義的 SHA-3 CUDA 內核，代替了 CPU 上的 tg_1Kmeans 和 tg_2。結果非常明顯。

• 索引構建時間平均縮短了 47 倍，將索引向量嵌入所需的時間從幾小時縮短到幾分鐘。使用 cuVS 加速的步驟在聚類模型訓練和推理方面實現了 52.2 倍的更好改進。
• 檢索也實現了顯著改進：cuVS 加速部分的工作流在盡可能減少代碼更改的情況下實現了 9.8 倍的性能提升。
• 與未加密的同類產品相比，啟用 NVIDIA Hopper 機密計算模式進行索引和檢索的端到端加密的邊際成本分別為 1-2% 和 15-25%。這只是一個很小的開銷，而 GPU 加速則抵消了這個開銷。

從索引構建過程開始，圖 2 顯示了 CPU 上的總體構建時間與 GPU 的比較。

集群模型訓練通常占據索引構建時間的主要部分。如果您不關注訓練而只關注量化和加密索引，則 GPU 仍可顯著加速（圖 3）。

最后，向 GPU 的轉變使整個檢索工作流實現了顯著的改進（圖 4）。

所有時間均來自相同的索引配置（召回級別 > 0.95）。

采用 IVFPQ 指數類型是為了實現效率和準確性的最佳組合。

結束語

在數據泄露日益常見的世界中，安全性不僅是一種奢侈，而且是許多組織的必要條件。Cyborg Vector Search 與 RAPIDS cuVS 和 NVIDIA 機密計算的集成提供了一種增強向量數據庫安全性的強大方法，旨在保護敏感數據的同時保持性能。

NVIDIA 是目前唯一一家通過 NVIDIA Hopper 系列提供公開可用、基于硬件的通用機密計算解決方案的 GPU 供應商。NVIDIA Blackwell 一代繼續與其他行業領導者合作，不斷改進這項技術，以提高性能、安全性和易用性。

Cyborg Vector Search 目前正在與早期的商業合作伙伴進行封閉測試。隨著開發的繼續，Cyborg 很想了解您是否認為數據安全對您的 AI 工作負載很重要。

要立即試用 NVIDIA Hopper 機密計算，請注冊 LaunchPad 實驗室。您還可以從他們廣泛的實驗室列表中了解其他哪些 LaunchPad 解決方案可供試用。