]]>8068NVIDIA AI 紅隊簡介
http://www.open-lab.net/zh-cn/blog/nvidia-ai-red-team-an-introduction/
Wed, 14 Jun 2023 05:02:01 +0000http://www.open-lab.net/zh-cn/blog/?p=7205Continued]]>機器學習有希望改善我們的世界,而且在很多方面它已經做到了。然而,研究和生活經驗繼續表明,這項技術存在風險。過去僅限于科幻小說和學術界的能力越來越多地向公眾開放。負責任地使用和開發人工智能需要在可行的情況下對列舉的風險進行分類、評估和減輕。從純人工智能的角度來看,這是真的,但從標準信息安全的角度來看也是如此。 在標準到位和成熟的測試站穩腳跟之前,各組織都在使用紅隊來探索和列舉人工智能帶來的直接風險。這篇文章介紹了 NVIDIA 人工智能紅隊的理念和 ML 系統的一般框架。 我們的人工智能紅隊是一支由進攻性安全專業人員和數據科學家組成的跨職能團隊。我們使用我們的綜合技能來評估我們的 ML 系統,以從信息安全的角度識別并幫助減輕任何風險。 信息安全有很多有用的范例、工具和網絡訪問,使我們能夠在所有領域加快負責任的使用。該框架是我們的基礎,并將評估工作引向組織內的標準。
]]>7205在 DEF CON 競賽中提高機器學習安全技能
http://www.open-lab.net/zh-cn/blog/improving-machine-learning-security-skills-at-a-def-con-competition/
Wed, 30 Nov 2022 10:26:00 +0000http://www.open-lab.net/zh-cn/blog/?p=5785Continued]]>機器學習( ML )安全是一門新的學科,關注機器學習系統及其所建立的數據的安全。它存在于信息安全和數據科學領域的交叉點。 盡管最先進的技術在進步,但對于保護和測試機器學習系統,還沒有明確的入門和學習路徑。那么,感興趣的從業者應該如何開始開發機器學習安全技能?您可以閱讀 arXiv 上的相關文章,但實際步驟如何? 競爭提供了一個充滿希望的機會。 NVIDIA 最近在 DEF CON 30 黑客和安全會議上幫助舉辦了一場創新的 ML 安全競賽。比賽由 AI Village 主辦,吸引了 3000 多名參賽者。它旨在向與會者介紹彼此以及 ML 安全領域。比賽證明是參與者發展和提高機器學習安全技能的寶貴機會。 為了主動測試和評估 NVIDIA 機器學習產品的安全性, NVIDIA AI 紅色團隊一直在擴大。雖然該團隊由經驗豐富的安全和數據專業人員組成,