Martin Sablotny – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Fri, 28 Feb 2025 07:11:54 +0000
zh-CN
hourly
1
196178272 -
代理自主級別與安全性
http://www.open-lab.net/zh-cn/blog/agentic-autonomy-levels-and-security/
Tue, 25 Feb 2025 07:08:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=13039
Continued]]>
智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。 由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。 為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途： 在實踐中，開發 AI 賦能的應用需要兩個關鍵組件： 當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。 然而，
Source
]]>
13039
人人超碰97caoporen国产