在 Black Hat USA 2023 上， NVIDIA 舉辦了為期兩天的培訓課程，為安全專業人員提供了一個現實的環境和方法，以探索機器學習（ML）在當今環境中帶來的獨特風險。
在這篇文章中， NVIDIA AI 紅隊分享了培訓期間的內容，以及繼續學習 ML 安全的其他機會。
Black Hat USA 訓練
今年是人工智能的輝煌一年。許多安全團隊被要求評估和保護人工智能產品，而沒有適當評估其潛在漏洞的技能和知識。
通過在世界領先的安全會議之一上提供此培訓，我們能夠在許多不同的垂直行業分享 NVIDIA AI 紅隊的經驗和知識。我們幫助確保這些組織能夠開始安全地使用和開發人工智能解決方案。我們也來自那個社區，所以這是一個舒適的教學空間。
為期兩天的培訓包括 20 多本 Jupyter 筆記本和 200 張幻燈片，分為以下模塊：
- 介紹
- 逃避
- 提取
- 評估
- 反轉
- 成員推斷
- 中毒
- 所有應用于大型語言模型的內容
太多了。與會者帶著幻燈片和筆記本回家，繼續按照自己的節奏反復學習課程。
該課程試圖吸引來自各種背景的學生，為他們在機器學習和安全交叉領域打下堅實的基礎。它讓學生們從 NumPy 力學的基礎知識到針對大型語言模型的算法攻擊。每個模塊都給出了一些理論，然后探索了應用場景。
學生們得到了一個基于我們自己框架的基本方法論（NVIDIA AI 紅隊的評估框架）。他們得到了一個環境和代碼，可以帶回自己的組織進行迭代。還有很多很酷的工作要做。
與會者的問題和關注點
除了重塑問題之外，還有很多關于攻擊機器學習系統的效果和可能性的問題。多年來，機器學習一直是防御性產品。“ML 旁路”每天都在發生。
我們的目標是幫助與會者了解威脅模型、技術和攻擊向量，以便他們能夠適當地設計和校準安全控制。安全并不是一刀切的，但對組織內部的系統有一定的了解是建立有意義的防御的先決條件。
機器學習安全在學術界有著悠久的歷史。本課程為學生提供了將這些技術應用于熟悉的安全場景的經驗。
培訓的主要經驗教訓
人們都非常聰明和有創造力。查看安全性并指出缺陷是很容易的（我們確實這樣做了，在 ML 中有很多），但安全性在過去十年中已經顯著成熟。我們認為安全行業也將迎接 ML 帶來的挑戰。
這次培訓也是行業基準化的一次很好的實踐。我們有來自各個行業的專業人士。了解這些行業在采用機器學習和安全系統方面的進展真的很有趣。可以公平地說，大多數人才剛剛開始他們的旅程。
總的來說，我們很高興對這一領域感興趣的人有一個可以運作的大本營。這是一個有趣的空間，我們喜歡與同齡人分享我們的材料。
有機會了解有關 ML 安全的更多信息
NVIDIA 機器學習安全課程的下一次迭代將在 歐盟黑帽 12 月 4 日和 5 日進行。
我們也在研究其他交付方式和機制。如果您有請求，請聯系 AI 紅隊。參加課程的學生將收到我們提供的最新信息！
?
