在 DEF CON 競賽中提高機器學習安全技能

機器學習（ ML ）安全是一門新的學科，關注機器學習系統及其所建立的數據的安全。它存在于信息安全和數據科學領域的交叉點。

盡管最先進的技術在進步，但對于保護和測試機器學習系統，還沒有明確的入門和學習路徑。那么，感興趣的從業者應該如何開始開發機器學習安全技能？您可以閱讀 arXiv 上的相關文章，但實際步驟如何？

競爭提供了一個充滿希望的機會。 NVIDIA 最近在 DEF CON 30 黑客和安全會議上幫助舉辦了一場創新的 ML 安全競賽。比賽由 AI Village 主辦，吸引了 3000 多名參賽者。它旨在向與會者介紹彼此以及 ML 安全領域。比賽證明是參與者發展和提高機器學習安全技能的寶貴機會。

NVIDIA AI 紅隊和 AI 村

為了主動測試和評估 NVIDIA 機器學習產品的安全性， NVIDIA AI 紅色團隊一直在擴大。雖然該團隊由經驗豐富的安全和數據專業人員組成，但他們認識到需要在整個行業培養 ML 安全人才。隨著更多的曝光和教育，數據和安全從業者可能會提高其部署的機器學習系統的安全性。

AI Village 是一個由數據科學家和黑客組成的社區，致力于就安全和隱私方面的人工智能（ AI ）主題進行教育。社區每年都會在 DEF CON 舉辦活動。

NVIDIA AI 紅隊和 AI 村在 DEF CON 30 聯合起來，讓信息安全社區參與機器學習安全競賽。對于許多與會者來說，這個話題可能是新的。 AI 村的成員提出了旨在教授和測試 ML 安全知識要素的挑戰。除 NVIDIA 外，這些成員還代表 AWS Security 、 Orang Labs 和 NetSec Explained 。

AI 村奪旗比賽

奪旗（ CTF ）比賽包括多項挑戰。競爭對手通過挑戰，并為成功完成的挑戰收集標志。這些標志根據挑戰級別分配不同的分值。競爭對手贏得最多的分數。

考慮到這種熟悉的格式， AI 村和 NVIDIA AI 紅色團隊建立了 The AI Village CTF @ DEFCON 。組織者與 Kaggle 合作，使用機器學習社區熟悉的平臺。與信息安全 CTF 類似， Kaggle 競賽為 ML 研究人員提供了一種解決離散問題的競賽形式。

與 Kaggle 的合作為競爭對手提供了一個靈活、可擴展的平臺，將計算和數據托管與文檔和評分相結合。盡管質詢服務器不再處于活動狀態，但您可以查看 challenge descriptions 。

競爭對手報告說，在 AI 村所需的額外基礎設施最少的情況下，他們可以輕松地加入并應對挑戰。此外， Kaggle 擁有大量熟練的數據科學家和機器學習工程師，他們對探索安全領域感到興奮。 Kaggle 還慷慨地提供了持續的支持和 25000 美元的獎金。我們本該為這次活動找一個更好的合作伙伴。

在為期一個月的比賽中，超過 3000 名參賽者通過了 22 項挑戰。這遠遠超出了預期，參與者來自 70 多個國家，從第一次參加 Kaggler 到大師。該活動成功地將傳統的信息安全和機器學習社區聚集在一起，以應對來自 ML 安全這一新領域的一系列挑戰。

競爭對手使用公開可用的工具和創新技術應用，如開源研究、掩蔽和降維。在這個過程中，他們也經常重新實施來自學術文獻的攻擊。

因為有一個挑戰沒有解決，所以總有人有機會登上排行榜榜首。在比賽的最后兩周， Kaggle 討論會和 AI 村 Discord 對剩余的未解決挑戰進行了理論和探索。組織者每小時檢查一次，看是否出現了一次壓哨式的排行榜變動。查看 challenge solutions 。

推理挑戰

在推理挑戰中，參與者必須執行 membership inference attack 以識別訓練樣本。他們只能通過 API 訪問圖像分類器。成功完成后，參賽者將識別出顯示國旗字符的圖像。

一些競爭對手選擇通過排列像素值來隨機生成圖像，從而有效地強行解決了問題。其他競爭對手假設培訓數據可能包含標準數據集，并使用 EMNIST 作為其源數據，利用開源數據。其他人使用 Adversarial Robustness Toolbox ，產生類似于圖 2 所示的輸出。

無論使用何種方法，成功的挑戰者都將獲得 D3FC0N 這面旗幟的獎勵。 DEF CON 會議名稱的 leetspeak 編碼在會議網站的多個地方使用。

作物 2 挑戰

研究和開箱即用的思維通常有助于解決 CTF 挑戰。例如，比賽中一個未解決的挑戰是 Crop2 。在 Crop2 中，參與者獲得了一個中毒的種植模型，并必須創建中毒的樣本（在一定的誤差范圍內）。他們有一個訓練數據示例（圖 3 ）。

如果沒有有效的標準算法解決方案，這是一個難題。當您考慮圖像中的所有像素以及三個顏色通道中所有可能的像素值時，搜索空間將激增到 8000 億個選項。相反，競爭對手可以將逆向工程、開源研究和假設結合起來，以減少組合的數量。

比賽結束后，組織者給出了幫助參賽者解決 Crop2 挑戰的提示。一些關鍵提示包括使用開源研究來確定像素顏色可能是由 matplotlib 默認顏色映射生成的。這大大減少了數十萬的搜索空間。

通過做出這些明智的假設，一個競爭對手最終能夠達到 Crop2 Challenge solution 。偉大的黑客的一個特點是堅韌：在比賽結束后，這位競爭對手仍在孜孜不倦地工作，努力完成了提供的提示。競爭對手報告說，一個提示“幫助我意識到我們只需要使用九種顏色。伙計，我一直在擺弄 1600 萬。這讓搜索空間變得可管理。”

競爭對手筆記本電腦

查看競爭對手提供的一些我們最喜愛的筆記本：

1. Chris Deotte –作為 Kaggle Grandmasters of NVIDIA (KGMoN) 的一名成員，這些解決方案組織得很好，并有文檔記錄。我們特別推薦 Secret Sloth 。
2. Eric Bouteillon –觀看《打擾了》中的標志一個字符一個字符地出現。還要注意數學挑戰的不同解決方法。你聽說過 silhouette score 嗎？
3. John MacGillivray – John 推斷 Hotterdog 模型基于 MobileNet ，從而實現離線攻擊。偉大的貿易技巧。
4. Fournierp –關于推理挑戰的模型反演的全面報道，從頭開始。您也可以查看 MIFace in the Adversarial Robustness Toolbox 。
5. Eoin O –了解如何解決 Crop2 挑戰。在一個月的大部分時間里， 3000 多名競爭對手試圖解決這個問題。比賽結束后的第二天，組織者發布了一些提示。幾小時內，問題就解決了。比賽結束后，很高興看到所有競爭對手在 Discord 和 Kaggle 討論板上合作。

總結

AI Village CTF @ DEF CON 30 比賽表明，安全和數據行業都有很大的興趣提高機器學習安全技能。隨著 ML 系統部署在越來越安全的關鍵環境中，培訓專業人員并開發用于安全開發、部署和測試的工具和方法將成為當務之急。

NVIDIA 將繼續通過一個強大而安全的人工智能生態系統推動創新，從嵌入式設備和筆記本電腦到超級計算機和云。作為這項工作的一部分，我們的 AI 紅色團隊將在內部授權 ML 安全研究和測試，并在整個行業建立安全實踐。我們將舉辦比賽、研討會，并在未來發布研究和安全工具。如果您有興趣參加，請通過 threatops@nvidia.com 與我們聯系。

其他資源

• Learning to Defend AI Deployments Using an Exploit Simulation Environment
• Introduction to Adversarial Robustness
• Adversarial Machine Learning Reading List
• HackingNeuralNetworks GitHub repo
• Coefficient GitHub repo
• HackThisAI GitHub repo

?