AI 安全 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 12 Dec 2024 04:06:43 +0000 zh-CN hourly 1 196178272 利用 NVIDIA Morpheus 加速警報分流和 LLM 代理強化安全運營中心 http://www.open-lab.net/zh-cn/blog/augmenting-security-operations-centers-with-accelerated-alert-triage-and-llm-agents-using-nvidia-morpheus/ Thu, 24 Oct 2024 08:20:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=11631 Continued]]> 安全運營中心（SOC）分析師每天都會收到大量傳入的安全警報。為了確保其組織的持續安全，他們的任務是仔細檢查傳入的噪音，分揀出誤報，并找出可能是真正安全漏洞的指標。然而，警報的數量之多可能意味著泄露的重要早期指標被隱藏起來。更不用說流程本身，該流程通常是重復性的、耗時的且成本高昂。 我們能否構建工作流程來緩解這些問題，同時仍然保持良好的甚至更好的安全級別？ 首先，我們研究了 NVIDIA Morpheus ，這是一種 GPU 加速的網絡安全 AI 框架，用于處理和分析高速數據流。特別是，我們關注 數字指紋 AI 工作流，該工作流支持在網絡上進行大規模異常檢測。 數字指紋工作流可以學習任何給定實體的正常行為特征，并將其表示為自動編碼器模型。當行為出現偏差時（例如，如果用戶顯示幾個新的地理位置），系統會生成與異常程度對應的 z 分數。 傳統上，

Source

]]> 11631 使用 NVIDIA NIM 漏洞分析代理藍圖快速分流容器安全性 http://www.open-lab.net/zh-cn/blog/rapidly-triage-container-security-with-the-vulnerability-analysis-nvidia-nim-agent-blueprint/ Tue, 08 Oct 2024 07:40:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=11444 Continued]]> 隨著 CVE 數據庫 中報告的漏洞數量不斷加速增長，解決軟件安全問題變得更具挑戰性。評估單個容器的漏洞需要收集、理解和合成數百條信息。截至 2023 年底，報告的漏洞超過 20 萬個，傳統的掃描和修補方法已變得難以管理。 企業越來越多地采用 生成式 AI 來推動各個領域的創新。根據 IDC 的說法，漏洞檢測和解決將成為軟件交付領域的主要生成式 AI 用例。 Generative AI 可以改善漏洞防御，同時減輕安全團隊的負擔。組織已經開始探索如何將其用于自動化，但在企業級擴展需要一個復雜的 AI 系統。 視頻 1 展示了 NVIDIA 如何使用生成式 AI 和 檢索增強型生成 技術 (RAG) 加速企業級軟件容器中的漏洞分析，并將評估和緩解 CVE 的時間從數小時或數天縮短到幾秒鐘。 此 AI 智能體示例使 NVIDIA…

Source

]]> 11444 利用 AI 和數據強化零信任網絡安全防御 http://www.open-lab.net/zh-cn/blog/harnessing-data-with-ai-to-boost-zero-trust-cyber-defense/ Thu, 26 Sep 2024 09:30:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=11506 Continued]]> 現代網絡威脅變得越來越復雜，給聯邦機構和關鍵基礎設施帶來了重大風險。 根據 Deloitte 的說法 ，網絡安全是政府和公共部門的首要任務，這凸顯了在效率和速度方面適應日益數字化的世界的需求。 威脅示例包括內部威脅、供應鏈漏洞、勒索軟件攻擊以及其他可能導致嚴重中斷和數據泄露的復雜網絡入侵。為了應對這些不斷演變的風險，政府機構保護敏感數據和關鍵系統的零信任安全策略至關重要。但在加強零信任實施方面，還有很多工作要做。 網絡安全的核心是數據問題。 隨著互聯用戶和設備數量的增加，組織生成的數據越來越多，無法有效地收集、管理和分析。如果我們無法在整個企業中 100% 觀察每個用戶和機器的數據，我們如何構建一個能夠檢測所有偏差的穩健模型？ 零信任策略 假設默認情況下不信任任何實體，并且需要每個人進行驗證才能獲得訪問權限。然而，這種方法需要提高網絡上每個應用程序和用戶的可見性，

Source

]]> 11506 NVIDIA 在領先的網絡安全會議上展示 AI 安全專業知識 http://www.open-lab.net/zh-cn/blog/nvidia-presents-ai-security-expertise-at-leading-cybersecurity-conferences/ Wed, 18 Sep 2024 07:46:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=11377 Continued]]> 每年 8 月，成千上萬的安全專業人員都會參加最前沿的安全會議 Black Hat USA 和 DEF CON。這一年，NVIDIA AI 安全專家參加了這些活動，分享我們的工作，并向社區其他成員學習。 本文概述了這些貢獻，包括關于快速發展的 AI 環境的主題演講、對抗性機器學習訓練、關于大型語言模型（LLM）安全性的演講等。這項工作有助于為安全社區提供必要的知識，以便他們以安全為理念有效部署 AI 系統。 Black Hat 是一項國際公認的網絡安全活動，提供相關的技術和信息安全研究。本年，圍繞生成式 AI 工具在安全生態系統中的應用可能性以及 AI 部署本身的安全性，討論聲不斷增長。 在 AI 峰會主題演講中，NVIDIA 網絡安全 AI 總監 Bartley Richardson 與 WWT 首席執行官 Jim Kavanaugh 共同分享了對迅速發展的 AI…

Source

]]> 11377 使用 Canaries 防止 AI 模型文件未經授權訪問 http://www.open-lab.net/zh-cn/blog/defending-ai-model-files-from-unauthorized-access-with-canaries/ Thu, 11 Jul 2024 05:43:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=10664 Continued]]> 隨著 AI 模型在功能和創建成本方面的增長，它們保存了更多敏感或專有數據，保護靜態數據變得越來越重要。為此，組織正在設計策略和工具，通常作為數據丟失預防和安全供應鏈計劃的一部分，以保護模型權重。 雖然安全工程討論的重點是預防（我們如何預防 X？），但檢測（發生了 X 嗎？）是成熟的深度防御框架中類似的關鍵部分。這一部分可顯著縮短檢測、隔離和補救入侵所需的時間。目前，對于 AI 模型的檢測功能與用于監控任何其他敏感數據的檢測功能相同，沒有任何檢測功能專注于 AI/ML 的獨特性。 在本文中，我們將介紹 canary，然后展示如何使用 canary 令牌增強適用于 AI 和 ML 模型的常見 Python Pickle 序列化格式，以提供超出普通網絡監控解決方案的其他 AI 特定的損失檢測功能。雖然首選像 safetensors 這樣的更安全的模型格式，

Source

]]> 10664 保護應用程序完整性的安全 LLM 令牌化解決方案 http://www.open-lab.net/zh-cn/blog/secure-llm-tokenizers-to-maintain-application-integrity/ Thu, 27 Jun 2024 05:42:08 +0000 http://www.open-lab.net/zh-cn/blog/?p=10557 Continued]]> 本文是 NVIDIA AI Red Team 持續漏洞和技術研究的一部分。NVIDIA AI Red Team’s利用本文所展示的概念負責任地評估和提高您 AI 開發和部署流程及應用的安全性。 大型語言模型（LLM） 不會在字符串上運行。相反，提示通過通常透明的轉換器（稱為 tokenizer）傳遞，該轉換器根據提供的提示字符串創建令牌 ID 數組。同樣，tokenizer 將 LLM 輸出（令牌 ID 數組）處理回可讀文本。 初始化 tokenizer 時，驗證不足可能會使惡意行為者破壞令牌編碼和解碼，從而在用戶可讀輸入和輸出與 LLM 計算之間造成差異。 由于多種原因，攻擊者可能會鎖定 tokenizer。雖然 tokenizer 最初是經過訓練的，但它們也經常被重復使用。一個 tokenizer 可以用于數百個衍生模型。雖然模型通常經過重新訓練或微調，

Source

]]> 10557 人人超碰97caoporen国产