Security for AI – NVIDIA 技術博客

分析基板管理控制器以保護數據中心基礎設施

Thu, 05 Jun 2025 05:29:15 +0000

現代數據中心依靠 Baseboard Management Controllers (BMCs) 進行遠程管理。這些嵌入式處理器使管理員能夠重新配置服務器、監控硬件運行狀況并推送固件更新，即使在系統關閉電源時也是如此。但是，這種能力會嚴重損害安全性并擴大攻擊面。如果不加以保護，受損的 BMC 可以對整個設備群提供持久的秘密訪問。 NVIDIA Offensive Security Research (OSR) 團隊最近分析了數據中心環境中使用的 BMC 固件。該團隊確定了 18 個漏洞，并開發了 9 個正在運行的漏洞。現代基礎設施中經常被忽視的組件中存在的此類漏洞可能會導致嚴重的安全漏洞，從而給企業帶來風險。本文將介紹 BMC 的工作原理、OSR 發現的漏洞，以及企業應該采取哪些措施來保護自己。有關更多詳細信息，請參閱 Breaking BMC：

Source

]]>

代理自主級別與安全性

Tue, 25 Feb 2025 07:08:04 +0000

智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途：在實踐中，開發 AI 賦能的應用需要兩個關鍵組件：當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。然而，

Source

]]>

定義 LLM 紅色團隊

Tue, 25 Feb 2025 07:04:29 +0000

在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

Source

]]>

借助 WebAssembly 實現沙箱 Agentic AI 工作流

Mon, 16 Dec 2024 05:04:34 +0000

代理 AI 工作流通常涉及執行由大語言模型 (LLM) 生成的代碼，以執行創建數據可視化等任務。但是，此代碼應在安全環境中清理和執行，以降低提示注入的風險和返回代碼中的錯誤。使用正則表達式和受限運行時清理 Python 是不夠的，而且虛擬機的 Hypervisor 隔離需要大量的開發和資源。本文將介紹如何使用 WebAssembly (Wasm) (一種基于堆棧的虛擬機的二進制指令格式)，利用瀏覽器沙盒實現操作系統和用戶隔離。這提高了應用的安全性，且不會產生重大開銷。 LLM 應用開發的近期變化之一是公開工具，即 LLM 可以調用并使用響應的函數、應用或 API。例如，如果應用需要了解特定地點的天氣，它可以調用天氣 API，并使用結果制定適當的響應。 Python 代碼執行是用于擴展 LLM 應用的強大工具。LLM 擅長編寫 Python 代碼，

Source

]]>

利用 NVIDIA Morpheus 加速警報分流和 LLM 代理強化安全運營中心

Thu, 24 Oct 2024 04:46:27 +0000

安全運營中心（SOC）分析師每天都會收到大量傳入的安全警報。為了確保其組織的持續安全，他們的任務是仔細檢查傳入的噪音，分揀出誤報，并找出可能是真正安全漏洞的指標。然而，警報的數量之多可能意味著泄露的重要早期指標被隱藏起來。更不用說流程本身，該流程通常是重復性的、耗時的且成本高昂。我們能否構建工作流程來緩解這些問題，同時仍然保持良好的甚至更好的安全級別？首先，我們研究了 NVIDIA Morpheus ，這是一種 GPU 加速的網絡安全 AI 框架，用于處理和分析高速數據流。特別是，我們關注數字指紋 AI 工作流，該工作流支持在網絡上進行大規模異常檢測。數字指紋工作流可以學習任何給定實體的正常行為特征，并將其表示為自動編碼器模型。當行為出現偏差時（例如，如果用戶顯示幾個新的地理位置），系統會生成與異常程度對應的 z 分數。傳統上，

Source

]]>