]]>10664保護應用程序完整性的安全 LLM 令牌化解決方案
http://www.open-lab.net/zh-cn/blog/secure-llm-tokenizers-to-maintain-application-integrity/
Thu, 27 Jun 2024 05:42:08 +0000http://www.open-lab.net/zh-cn/blog/?p=10557Continued]]>本文是 NVIDIA AI Red Team 持續漏洞和技術研究的一部分。NVIDIA AI Red Team’s利用本文所展示的概念負責任地評估和提高您 AI 開發和部署流程及應用的安全性。 大型語言模型(LLM) 不會在字符串上運行。相反,提示通過通常透明的轉換器(稱為 tokenizer)傳遞,該轉換器根據提供的提示字符串創建令牌 ID 數組。同樣,tokenizer 將 LLM 輸出(令牌 ID 數組)處理回可讀文本。 初始化 tokenizer 時,驗證不足可能會使惡意行為者破壞令牌編碼和解碼,從而在用戶可讀輸入和輸出與 LLM 計算之間造成差異。 由于多種原因,攻擊者可能會鎖定 tokenizer。雖然 tokenizer 最初是經過訓練的,但它們也經常被重復使用。一個 tokenizer 可以用于數百個衍生模型。雖然模型通常經過重新訓練或微調,
]]>10557AI 紅隊:機器學習安全培訓
http://www.open-lab.net/zh-cn/blog/ai-red-team-machine-learning-security-training/
Thu, 19 Oct 2023 06:51:38 +0000http://www.open-lab.net/zh-cn/blog/?p=8068Continued]]>在 Black Hat USA 2023 上, NVIDIA 舉辦了為期兩天的培訓課程,為安全專業人員提供了一個現實的環境和方法,以探索機器學習(ML)在當今環境中帶來的獨特風險。 在這篇文章中, NVIDIA AI 紅隊分享了培訓期間的內容,以及繼續學習 ML 安全的其他機會。 今年是人工智能的輝煌一年。許多安全團隊被要求評估和保護人工智能產品,而沒有適當評估其潛在漏洞的技能和知識。 通過在世界領先的安全會議之一上提供此培訓,我們能夠在許多不同的垂直行業分享 NVIDIA AI 紅隊的經驗和知識。我們幫助確保這些組織能夠開始安全地使用和開發人工智能解決方案。我們也來自那個社區,所以這是一個舒適的教學空間。 為期兩天的培訓包括 20 多本 Jupyter 筆記本和 200 張幻燈片,分為以下模塊: 太多了。與會者帶著幻燈片和筆記本回家,
]]>7548NVIDIA AI 紅隊簡介
http://www.open-lab.net/zh-cn/blog/nvidia-ai-red-team-an-introduction/
Wed, 14 Jun 2023 05:02:01 +0000http://www.open-lab.net/zh-cn/blog/?p=7205Continued]]>機器學習有希望改善我們的世界,而且在很多方面它已經做到了。然而,研究和生活經驗繼續表明,這項技術存在風險。過去僅限于科幻小說和學術界的能力越來越多地向公眾開放。負責任地使用和開發人工智能需要在可行的情況下對列舉的風險進行分類、評估和減輕。從純人工智能的角度來看,這是真的,但從標準信息安全的角度來看也是如此。 在標準到位和成熟的測試站穩腳跟之前,各組織都在使用紅隊來探索和列舉人工智能帶來的直接風險。這篇文章介紹了 NVIDIA 人工智能紅隊的理念和 ML 系統的一般框架。 我們的人工智能紅隊是一支由進攻性安全專業人員和數據科學家組成的跨職能團隊。我們使用我們的綜合技能來評估我們的 ML 系統,以從信息安全的角度識別并幫助減輕任何風險。 信息安全有很多有用的范例、工具和網絡訪問,使我們能夠在所有領域加快負責任的使用。該框架是我們的基礎,并將評估工作引向組織內的標準。
]]>6297在 DEF CON 競賽中提高機器學習安全技能
http://www.open-lab.net/zh-cn/blog/improving-machine-learning-security-skills-at-a-def-con-competition/
Wed, 30 Nov 2022 10:26:00 +0000http://www.open-lab.net/zh-cn/blog/?p=5785Continued]]>機器學習( ML )安全是一門新的學科,關注機器學習系統及其所建立的數據的安全。它存在于信息安全和數據科學領域的交叉點。 盡管最先進的技術在進步,但對于保護和測試機器學習系統,還沒有明確的入門和學習路徑。那么,感興趣的從業者應該如何開始開發機器學習安全技能?您可以閱讀 arXiv 上的相關文章,但實際步驟如何? 競爭提供了一個充滿希望的機會。 NVIDIA 最近在 DEF CON 30 黑客和安全會議上幫助舉辦了一場創新的 ML 安全競賽。比賽由 AI Village 主辦,吸引了 3000 多名參賽者。它旨在向與會者介紹彼此以及 ML 安全領域。比賽證明是參與者發展和提高機器學習安全技能的寶貴機會。 為了主動測試和評估 NVIDIA 機器學習產品的安全性, NVIDIA AI 紅色團隊一直在擴大。雖然該團隊由經驗豐富的安全和數據專業人員組成,