Rich Harang – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 17 Jun 2025 09:15:30 +0000 zh-CN hourly 1 196178272 使用 NVIDIA NIM 安全部署 AI 模型 http://www.open-lab.net/zh-cn/blog/securely-deploy-ai-models-with-nvidia-nim/ Wed, 11 Jun 2025 09:12:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=14306 Continued]]> 想象一下，您正在領導大型企業的安全工作，并且您的團隊渴望將 AI 用于越來越多的項目。不過，這是一個問題。與任何項目一樣，您必須平衡創新的前景和回報與合規性、風險管理和安全態勢要求等嚴峻現實。 安全領導者在評估 AI 模型 (例如為代理式 AI 或檢索增強生成 (RAG) 提供支持的 AI 模型) 時面臨著一個關鍵挑戰：如何在提供這些前沿創新的同時保持對其基礎設施和數據的完全控制。 這正是 NVIDIA NIM 微服務和 NVIDIA AI Enterprise 的用武之地。借助隨 NVIDIA AI Enterprise 許可證提供的 NIM 微服務，企業能夠根據自己的條件部署生成式 AI，同時保持對開源模型的安全性、信任和控制。NVIDIA AI Enterprise 提供了一種選擇：您可以在本地、私有云甚至空氣間隙環境中安全地運行 AI 工作負載。

Source

]]> 14306 構建應用程序以安全使用 KV 緩存 http://www.open-lab.net/zh-cn/blog/structuring-applications-to-secure-the-kv-cache/ Tue, 29 Apr 2025 08:32:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13663 Continued]]> 在與基于 Transformer 的模型 (如 大語言模型 (LLM) 和 視覺語言模型 (VLM)) 交互時，輸入結構會塑造模型的輸出。但提示通常不僅僅是簡單的用戶查詢。在實踐中，它們通過動態組合來自系統指令、上下文數據和用戶輸入等各種來源的數據來優化響應。 在多租戶環境中，多個用戶共享同一應用程序基礎設施，這種動態提示結構可能會帶來意外的安全風險。其中一個風險來自 prefix caching 優化，如果處理不當，可能會跨用戶邊界泄露信息。 本文將探討提示結構與緩存的交集，以及它們的交互如何在 LLM 驅動的應用中造成細微漏洞。通過了解這些機制，開發者可以設計出更安全的系統。 如果您僅以聊天機器人用戶的身份與 LLM 進行交互，您可能會將提示視為如下所示： 但在大多數真實應用中，此用戶查詢只是更大規模的動態構建輸入（即應用提示）的 一部分。

Source

]]> 13663 代理自主級別與安全性 http://www.open-lab.net/zh-cn/blog/agentic-autonomy-levels-and-security/ Tue, 25 Feb 2025 07:08:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13039 Continued]]> 智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。 由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。 為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途： 在實踐中，開發 AI 賦能的應用需要兩個關鍵組件： 當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。 然而，

Source

]]> 13039 定義 LLM 紅色團隊 http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/ Tue, 25 Feb 2025 07:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13036 Continued]]> 在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。 由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

Source

]]> 13036 NVIDIA 在領先的網絡安全會議上展示 AI 安全專業知識 http://www.open-lab.net/zh-cn/blog/nvidia-presents-ai-security-expertise-at-leading-cybersecurity-conferences/ Wed, 18 Sep 2024 07:46:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=11377 Continued]]> 每年 8 月，成千上萬的安全專業人員都會參加最前沿的安全會議 Black Hat USA 和 DEF CON。這一年，NVIDIA AI 安全專家參加了這些活動，分享我們的工作，并向社區其他成員學習。 本文概述了這些貢獻，包括關于快速發展的 AI 環境的主題演講、對抗性機器學習訓練、關于大型語言模型（LLM）安全性的演講等。這項工作有助于為安全社區提供必要的知識，以便他們以安全為理念有效部署 AI 系統。 Black Hat 是一項國際公認的網絡安全活動，提供相關的技術和信息安全研究。本年，圍繞生成式 AI 工具在安全生態系統中的應用可能性以及 AI 部署本身的安全性，討論聲不斷增長。 在 AI 峰會主題演講中，NVIDIA 網絡安全 AI 總監 Bartley Richardson 與 WWT 首席執行官 Jim Kavanaugh 共同分享了對迅速發展的 AI…

Source

]]> 11377 使用 Canaries 防止 AI 模型文件未經授權訪問 http://www.open-lab.net/zh-cn/blog/defending-ai-model-files-from-unauthorized-access-with-canaries/ Thu, 11 Jul 2024 05:43:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=10664 Continued]]> 隨著 AI 模型在功能和創建成本方面的增長，它們保存了更多敏感或專有數據，保護靜態數據變得越來越重要。為此，組織正在設計策略和工具，通常作為數據丟失預防和安全供應鏈計劃的一部分，以保護模型權重。 雖然安全工程討論的重點是預防（我們如何預防 X？），但檢測（發生了 X 嗎？）是成熟的深度防御框架中類似的關鍵部分。這一部分可顯著縮短檢測、隔離和補救入侵所需的時間。目前，對于 AI 模型的檢測功能與用于監控任何其他敏感數據的檢測功能相同，沒有任何檢測功能專注于 AI/ML 的獨特性。 在本文中，我們將介紹 canary，然后展示如何使用 canary 令牌增強適用于 AI 和 ML 模型的常見 Python Pickle 序列化格式，以提供超出普通網絡監控解決方案的其他 AI 特定的損失檢測功能。雖然首選像 safetensors 這樣的更安全的模型格式，

Source

]]> 10664 加強 LLM 應用安全性的最佳實踐 http://www.open-lab.net/zh-cn/blog/best-practices-for-securing-llm-enabled-applications/ Wed, 15 Nov 2023 06:51:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=8246 Continued]]> 大型語言模型 (LLM) 為幾乎所有處理文本的應用程序提供了各種強大的增強功能。同時，它們也引入了新的風險，包括： 本文將詳細介紹這些安全漏洞，并概述設計或評估支持 LLM 的安全應用程序的最佳實踐。 提示注入是最常見和眾所周知的 LLM 攻擊。它使攻擊者能夠控制 LLM 的輸出，從而可能影響連接到 LLM 的下游查詢和插件的行為。這可能會給未來用戶帶來額外的下游后果或響應。提示注入攻擊可以是直接的，也可以是間接的。 在直接提示注入攻擊的情況下，攻擊者會直接與 LLM 交互，試圖讓 LLM 產生特定的響應。圖 1 顯示了直接提示注入導致遠程代碼執行的示例。有關直接提示注入的更多詳細信息，請參閱 保護 LLM 系統免受提示注入。 間接提示注入依賴于 LLM 對其在構建系統查詢時使用的外部數據源的訪問權限。攻擊者可以向這些外部數據源插入惡意內容，

Source

]]> 8246 AI 紅隊：機器學習安全培訓 http://www.open-lab.net/zh-cn/blog/ai-red-team-machine-learning-security-training/ Thu, 19 Oct 2023 06:51:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=8068 Continued]]> 在 Black Hat USA 2023 上， NVIDIA 舉辦了為期兩天的培訓課程，為安全專業人員提供了一個現實的環境和方法，以探索機器學習（ML）在當今環境中帶來的獨特風險。 在這篇文章中， NVIDIA AI 紅隊分享了培訓期間的內容，以及繼續學習 ML 安全的其他機會。 今年是人工智能的輝煌一年。許多安全團隊被要求評估和保護人工智能產品，而沒有適當評估其潛在漏洞的技能和知識。 通過在世界領先的安全會議之一上提供此培訓，我們能夠在許多不同的垂直行業分享 NVIDIA AI 紅隊的經驗和知識。我們幫助確保這些組織能夠開始安全地使用和開發人工智能解決方案。我們也來自那個社區，所以這是一個舒適的教學空間。 為期兩天的培訓包括 20 多本 Jupyter 筆記本和 200 張幻燈片，分為以下模塊： 太多了。與會者帶著幻燈片和筆記本回家，

Source

]]> 8068 保護 LLM 系統不受即時注入的影響 http://www.open-lab.net/zh-cn/blog/securing-llm-systems-against-prompt-injection/ Thu, 03 Aug 2023 05:15:49 +0000 http://www.open-lab.net/zh-cn/blog/?p=7555 Continued]]> 即時注入是一種新的攻擊技術，專門針對 大語言模型 (LLMs)，使得攻擊者能夠操縱 LLM 的輸出。由于 LLM 越來越多地配備了“插件”，通過訪問最新信息、執行復雜的計算以及通過其提供的 API 調用外部服務來更好地響應用戶請求，這種攻擊變得更加危險。即時注入攻擊不僅欺騙 LLM ，而且可以利用其對插件的使用來實現其目標。 這篇文章解釋了即時注射，并展示了 NVIDIA AI 紅隊 已識別的漏洞，其中可以使用即時注入來利用 LangChain 庫。這為實現 LLM 插件提供了一個框架。 使用針對這些特定 LangChain 插件的提示注入技術，您可以獲得遠程代碼執行（在舊版本的 LangChain 中）、服務器端請求偽造或 SQL 注入功能，具體取決于受攻擊的插件。通過檢查這些漏洞，您可以識別它們之間的常見模式，并了解如何設計支持 LLM 的系統，

Source

]]> 7555 在 DEF CON 競賽中提高機器學習安全技能 http://www.open-lab.net/zh-cn/blog/improving-machine-learning-security-skills-at-a-def-con-competition/ Wed, 30 Nov 2022 10:26:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5785 Continued]]> 機器學習（ ML ）安全是一門新的學科，關注機器學習系統及其所建立的數據的安全。它存在于信息安全和數據科學領域的交叉點。 盡管最先進的技術在進步，但對于保護和測試機器學習系統，還沒有明確的入門和學習路徑。那么，感興趣的從業者應該如何開始開發機器學習安全技能？您可以閱讀 arXiv 上的相關文章，但實際步驟如何？ 競爭提供了一個充滿希望的機會。 NVIDIA 最近在 DEF CON 30 黑客和安全會議上幫助舉辦了一場創新的 ML 安全競賽。比賽由 AI Village 主辦，吸引了 3000 多名參賽者。它旨在向與會者介紹彼此以及 ML 安全領域。比賽證明是參與者發展和提高機器學習安全技能的寶貴機會。 為了主動測試和評估 NVIDIA 機器學習產品的安全性， NVIDIA AI 紅色團隊一直在擴大。雖然該團隊由經驗豐富的安全和數據專業人員組成，

Source

]]> 5785 人人超碰97caoporen国产