機密計算 – NVIDIA 技術博客

適用于 RHEL9 的 NVIDIA 開放 GPU 數據中心驅動，由 Red Hat 簽署

Mon, 10 Feb 2025 04:07:54 +0000

NVIDIA 和 Red Hat 合作，對 2020 年推出的預編譯 NVIDIA Driver 進行持續改進。上個月，NVIDIA 宣布，開放的 GPU 驅動模組將成為啟用 NVIDIA 圖形硬件的默認推薦方式。今天，NVIDIA 宣布 Red Hat 正在編譯并簽署 NVIDIA 開放 GPU 內核模塊，以進一步簡化 Red Hat Enterprise Linux 9 操作系統的使用，并為在數據中心使用 NVIDIA 硬件支持機密計算提供前進方向。現在無需任何額外的密鑰注冊配置即可安裝和使用經過簽名的開放 GPU 驅動。與當前的舊版預編譯軟件包一樣，在驅動更新時僅支持最新的 RHEL 9 內核。從 RHEL 9.5 開始，NVIDIA 現在提供技術預覽庫，可在 2025 年 4 月 30 日之前試用。此庫允許使用模塊化流使用開放式 GPU…

Source

]]>

探索采用自主 AI 和 NVIDIA 機密計算的超級協議案例

Thu, 14 Nov 2024 07:06:03 +0000

機密和自主的 AI 是一種新的 AI 開發、訓練和推理方法，其中用戶的數據是去中心化的、私有的，并由用戶自己控制。本文將探討如何通過使用區塊鏈技術的去中心化來擴展 Confidential Computing（CC）的功能。通過使用個人 AI 智能體，可以非常清楚地看到所解決的問題。這些服務可幫助用戶完成許多任務，包括撰寫電子郵件、準備報稅和查看醫療記錄。毋庸置疑，所處理的數據是敏感的個人數據。在集中式系統中，這些數據由人工智能服務提供商在云中處理，通常不透明。當用戶的數據離開設備時，他們將失去對自己數據的控制，而這些數據可能會被用于訓練、泄露、出售或以其他方式被誤用。屆時無法追蹤個人數據。這種信任問題阻礙了 AI 行業發展的某些特定方面，尤其是對于尚未獲得聲譽或證據來支持其真實意圖的初創公司和 AI 開發者而言。

Source

]]>

借助 NVIDIA GPU 和無邊緣系統提高大型語言模型的安全性

Tue, 02 Jul 2024 04:50:17 +0000

Edgeless Systems 推出了 Continuum AI，這是首款生成式 AI 框架，始終通過機密計算對提示進行加密，方法是將機密 VM 與 NVIDIA H100 GPU 和安全沙盒相結合。該平臺的推出凸顯了 AI 部署的新時代，在這個時代，強大的 LLM 的優勢可以在不影響數據隱私和安全的情況下實現。Edgeless Systems 是一家德國網絡安全公司，致力于開發用于機密計算的開源軟件，該公司正在與 NVIDIA 合作，助力各行各業的企業滿懷信心地將 AI 集成到其運營中。機密 LLM 平臺不僅僅是一項技術進步，而是邁向組織可以安全利用 AI (即使是最敏感數據) 的未來的關鍵一步。 Continuum 技術有兩個主要的安全目標。它首先保護用戶數據，同時還保護 AI 模型權重不受基礎設施、服務提供商和其他的影響。

Source

]]>

使用 NVIDIA CUDA Toolkit 12.4 編譯器創建運行時 Fatbin

Tue, 18 Jun 2024 08:20:13 +0000

CUDA Toolkit 12.4 引入了一個新的 nvFatbin 庫，用于在運行時創建 fatbins。fatbins，也稱為 NVIDIA 設備代碼fat 二進制文件sm_61和。到目前為止，要生成 fatbin，必須依賴命令行工具，這不適合動態代碼生成。這使得動態生成 fatbins 變得困難，因為您需要將生成的代碼放入一個文件中，然后使用或類似命令調用，并處理輸出，這顯著增加了動態生成 fatbins 的難度，并導致多次嘗試通過各種容器模仿 fatbins。 CUDA Toolkit 12.4 引入了 nvFatbin，這是一個新的庫，能夠通過編程創建 fatbin，從而大大簡化了這項任務，不再需要寫入文件、調用、解析命令行輸出和從目錄中獲取輸出文件。使用 nvFatbin 庫類似于任何其他熟悉的庫，如NVRTC、

Source

]]>