Cybersecurity – NVIDIA 技術博客

Cybersecurity – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Fri, 04 Jul 2025 02:57:26 +0000 zh-CN hourly 1 196178272 NVIDIA DOCA 3.0 助力 AI 平臺開啟網絡新紀元 http://www.open-lab.net/zh-cn/blog/powering-the-next-frontier-of-networking-for-ai-platforms-with-nvidia-doca-3-0/ Wed, 25 Jun 2025 04:24:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=14474 Continued]]> NVIDIA DOCA 框架已發展成為新一代 AI 基礎設施的重要組成部分。從初始版本到備受期待的 NVIDIA DOCA 3.0 發布，每個版本都擴展了 NVIDIA BlueField DPU 和 ConnectX SuperNIC 的功能，從而實現了前所未有的 AI 平臺可擴展性和性能。通過豐富的庫和服務生態系統, DOCA充分利用 BlueField DPU 和 SuperNIC，實現了在超過 10 萬個 GPU 上的超大規模部署，同時保持嚴格的租戶隔離并優化資源利用率。DOCA 的安全功能可為容器化 AI 工作負載提供硬件級威脅檢測，而不會對性能造成影響。DOCA 的智能數據加速功能解決了 AI 數據流水線中的關鍵瓶頸，而其編排功能則簡化了復雜的 DPU 加速服務部署。本文將介紹 DOCA 3.0，它代表了這些進步的最終成果。DOCA 3.0…

]]>

14474

使用 NVIDIA NIM 安全部署 AI 模型 http://www.open-lab.net/zh-cn/blog/securely-deploy-ai-models-with-nvidia-nim/ Wed, 11 Jun 2025 09:12:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=14306 Continued]]> 想象一下，您正在領導大型企業的安全工作，并且您的團隊渴望將 AI 用于越來越多的項目。不過，這是一個問題。與任何項目一樣，您必須平衡創新的前景和回報與合規性、風險管理和安全態勢要求等嚴峻現實。安全領導者在評估 AI 模型 (例如為代理式 AI 或檢索增強生成 (RAG) 提供支持的 AI 模型) 時面臨著一個關鍵挑戰：如何在提供這些前沿創新的同時保持對其基礎設施和數據的完全控制。這正是 NVIDIA NIM 微服務和 NVIDIA AI Enterprise 的用武之地。借助隨 NVIDIA AI Enterprise 許可證提供的 NIM 微服務，企業能夠根據自己的條件部署生成式 AI，同時保持對開源模型的安全性、信任和控制。NVIDIA AI Enterprise 提供了一種選擇：您可以在本地、私有云甚至空氣間隙環境中安全地運行 AI 工作負載。

Source

]]>

14306

分析基板管理控制器以保護數據中心基礎設施 http://www.open-lab.net/zh-cn/blog/analyzing-baseboard-management-controllers-to-secure-data-center-infrastructure/ Thu, 05 Jun 2025 05:29:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=14412 Continued]]> 現代數據中心依靠 Baseboard Management Controllers (BMCs) 進行遠程管理。這些嵌入式處理器使管理員能夠重新配置服務器、監控硬件運行狀況并推送固件更新，即使在系統關閉電源時也是如此。但是，這種能力會嚴重損害安全性并擴大攻擊面。如果不加以保護，受損的 BMC 可以對整個設備群提供持久的秘密訪問。 NVIDIA Offensive Security Research (OSR) 團隊最近分析了數據中心環境中使用的 BMC 固件。該團隊確定了 18 個漏洞，并開發了 9 個正在運行的漏洞。現代基礎設施中經常被忽視的組件中存在的此類漏洞可能會導致嚴重的安全漏洞，從而給企業帶來風險。本文將介紹 BMC 的工作原理、OSR 發現的漏洞，以及企業應該采取哪些措施來保護自己。有關更多詳細信息，請參閱 Breaking BMC：

]]>

14412

更智能、更安全地串流：了解 NVIDIA NeMo Guardrails 如何增強 LLM 輸出串流 http://www.open-lab.net/zh-cn/blog/stream-smarter-and-safer-learn-how-nvidia-nemo-guardrails-enhance-llm-output-streaming/ Fri, 23 May 2025 05:59:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=14063 Continued]]> LLM 流式傳輸會在生成模型響應時，逐個 token 實時遞增發送該響應。輸出流式傳輸功能已從一項很好的功能發展為現代 LLM 應用的重要組件。傳統方法是等待幾秒鐘才能獲得完整的 LLM 響應，這會造成延遲，尤其是在需要多次模型調用的復雜應用中。在流式傳輸中，time to first token (TTFT)——從查詢提交到第一個生成的token——成為用戶感知的延遲至關重要。流式傳輸架構可在提示處理后立即啟動部分響應，從而顯著減少 TTFT，這通常會縮短初始等待時間。與此同時，令牌間延遲 (ITL) 基本保持不變，因為它反映了模型生成的固有速度。這種將初始響應能力 (TTFT) 與穩定狀態吞吐量 (ITL) 分離的做法可加快用戶反饋速度，而無需從根本上更改令牌生成機制。通過實施流式傳輸功能，開發者可以創造更流暢的用戶體驗，模擬自然對話的流程，

]]>

14063

應用基于自動編碼器的 GNN 檢測 NetFlow 數據中的高吞吐量網絡異常 http://www.open-lab.net/zh-cn/blog/applying-autoencoder-based-gnns-for-high-throughput-network-anomaly-detection-in-netflow-data/ Thu, 08 May 2025 05:50:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=13811 Continued]]> 隨著現代企業和云環境的擴展，網絡流量的復雜性和數量也在急劇增加。NetFlow 用于記錄有關通過路由器、交換機或主機等網絡設備的流量的元數據。NetFlow 數據對于理解網絡流量至關重要，可以有效建模為圖形，其中邊緣捕獲連接持續時間和數據量等屬性。表示主機的節點缺乏特定屬性。研究表明，NetFlow 數據量高達每秒數千萬個事件，這使得傳統的異常檢測方法效率低下。在孤立分析單個聯系時，識別攻擊尤其具有挑戰性，因為在沒有更廣泛的背景下，這些攻擊通常看起來很正常。通過利用圖形結構，可以添加拓撲上下文，從而更容易識別異常模式。在本文中，我們討論了一種應用基于自動編碼器的圖形神經網絡 (GNN) 來檢測大量 NetFlow 數據中異常的新方法。傳統的異常檢測解決方案可能依賴于靜態值或簡單的特征工程，無法適應惡意行為不斷演變的性質。

]]>

13811

構建應用程序以安全使用 KV 緩存 http://www.open-lab.net/zh-cn/blog/structuring-applications-to-secure-the-kv-cache/ Tue, 29 Apr 2025 08:32:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13663 Continued]]> 在與基于 Transformer 的模型 (如大語言模型 (LLM) 和視覺語言模型 (VLM)) 交互時，輸入結構會塑造模型的輸出。但提示通常不僅僅是簡單的用戶查詢。在實踐中，它們通過動態組合來自系統指令、上下文數據和用戶輸入等各種來源的數據來優化響應。在多租戶環境中，多個用戶共享同一應用程序基礎設施，這種動態提示結構可能會帶來意外的安全風險。其中一個風險來自 prefix caching 優化，如果處理不當，可能會跨用戶邊界泄露信息。本文將探討提示結構與緩存的交集，以及它們的交互如何在 LLM 驅動的應用中造成細微漏洞。通過了解這些機制，開發者可以設計出更安全的系統。如果您僅以聊天機器人用戶的身份與 LLM 進行交互，您可能會將提示視為如下所示：但在大多數真實應用中，此用戶查詢只是更大規模的動態構建輸入（即應用提示）的一部分。

]]>

13663

借助代理式 AI 系統推進網絡安全運營 http://www.open-lab.net/zh-cn/blog/advancing-cybersecurity-operations-with-agentic-ai-systems/ Mon, 28 Apr 2025 08:59:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13678 Continued]]> 被動式 AI 時代已經過去。一個新時代正在開始，AI 不僅能做出響應，還能思考、計劃和行動。大語言模型 (LLM) 的快速發展釋放了代理式 AI 系統的潛力，使包括網絡安全在內的許多領域的繁瑣任務實現自動化。過去，網絡安全領域的 AI 應用主要側重于檢測跨不同數據源、網絡環境和網絡擊殺鏈各個階段的惡意或異常活動。由于檢測是自動化的中心，大部分安全操作仍然是手動操作。安全分析師仍需花費大量時間手動調查警報、交叉參考情報以及評估和響應潛在威脅。隨著代理式系統的興起，網絡安全領域的 AI 應用開始圍繞安全分析師的需求進行重新規劃。這些系統可自動執行分析師目前執行的許多耗時而繁瑣的任務，使他們能夠專注于更高級別的判斷決策和深度調查。通過利用高級推理、動態決策和工具調用功能，代理式系統現在可以承擔復雜但重復性的任務，例如研究威脅情報、關聯安全警報和執行初步響應操作。

]]>

13678

借助 NVIDIA FLARE 和 Meta ExecuTorch，在移動設備上輕松進行聯邦學習 http://www.open-lab.net/zh-cn/blog/effortless-federated-learning-on-mobile-with-nvidia-flare-and-meta-executorch/ Fri, 11 Apr 2025 05:41:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13578 Continued]]> NVIDIA 和 Meta 的 PyTorch 團隊宣布開展突破性合作，通過集成 NVIDIA FLARE 和 ExecuTorch ，將聯邦學習 (FL) 功能引入移動設備。 NVIDIA FLARE 是一款與領域無關、開源、可擴展的 SDK，使研究人員和數據科學家能夠根據聯合范式調整現有的機器學習或深度學習工作流程。它還使平臺開發者能夠為分布式多方協作構建安全、隱私保護的產品。 ExecuTorch 是一種端到端解決方案，可跨移動和邊緣設備實現設備端推理和訓練功能。它是 PyTorch Edge 生態系統的一部分，支持將各種 PyTorch 模型高效部署到邊緣設備。通過集成這兩者，我們為您提供了一個解決方案，讓您在移動設備上利用 FL 的強大功能，同時保護用戶隱私和數據安全。要啟用跨設備 FL，有兩個關鍵組件：借助 NVIDIA FLARE 和…

]]>

13578

衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用，以確保安全、品牌和可靠的行為，這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護，以評估和優化 Guardrail 性能。在本文中，我們將探索用于測量和優化 AI 護欄有效性的技術，確保您的 AI 應用在仔細定義的邊界內運行，同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個評估工具，用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外，該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具，重點介紹每個指標在優化 AI 應用方面發揮的作用。隨著企業不斷突破 AI 的極限，平衡性能和成本效益已成為重中之重。

]]>

13146

代理自主級別與安全性 http://www.open-lab.net/zh-cn/blog/agentic-autonomy-levels-and-security/ Tue, 25 Feb 2025 07:08:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13039 Continued]]> 智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途：在實踐中，開發 AI 賦能的應用需要兩個關鍵組件：當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。然而，

]]>

13039

定義 LLM 紅色團隊 http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/ Tue, 25 Feb 2025 07:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13036 Continued]]> 在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

]]>

13036

如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體 http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/ Thu, 16 Jan 2025 06:23:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12699 Continued]]> AI 代理為企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間，從而提高效率和客戶滿意度，幫助組織保持競爭力。但是，除了這些優勢之外， AI 智能體也存在風險。大語言模型（LLMs）容易生成不當內容或離題內容，并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力，實施可靠的 AI 安全措施至關重要。本教程為 AI 構建者提供了切實可行的步驟，以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ，一種可擴展的鐵路編排平臺，包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型：通過本教程，您將學習如何部署 AI 智能體，在保持客戶信任和品牌完整性的同時提供快速、準確的響應。

]]>

12699

借助 WebAssembly 實現沙箱 Agentic AI 工作流 http://www.open-lab.net/zh-cn/blog/sandboxing-agentic-ai-workflows-with-webassembly/ Mon, 16 Dec 2024 05:04:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=12521 Continued]]> 代理 AI 工作流通常涉及執行由大語言模型 (LLM) 生成的代碼，以執行創建數據可視化等任務。但是，此代碼應在安全環境中清理和執行，以降低提示注入的風險和返回代碼中的錯誤。使用正則表達式和受限運行時清理 Python 是不夠的，而且虛擬機的 Hypervisor 隔離需要大量的開發和資源。本文將介紹如何使用 WebAssembly (Wasm) (一種基于堆棧的虛擬機的二進制指令格式)，利用瀏覽器沙盒實現操作系統和用戶隔離。這提高了應用的安全性，且不會產生重大開銷。 LLM 應用開發的近期變化之一是公開工具，即 LLM 可以調用并使用響應的函數、應用或 API。例如，如果應用需要了解特定地點的天氣，它可以調用天氣 API，并使用結果制定適當的響應。 Python 代碼執行是用于擴展 LLM 應用的強大工具。LLM 擅長編寫 Python 代碼，

]]>

12521

使用 NVIDIA NeMo Guardrails 實現內容審核和安全性檢查 http://www.open-lab.net/zh-cn/blog/content-moderation-and-safety-checks-with-nvidia-nemo-guardrails/ Fri, 06 Dec 2024 06:56:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=12389 Continued]]> 鑒于用戶生成的內容和這些系統管理的外部數據量龐大，內容審核在由生成式 AI 提供支持的檢索增強生成 (RAG) 應用中變得至關重要。基于 RAG 的應用使用大語言模型 (LLMs) 以及從各種外部來源進行的實時信息檢索，這可能會導致內容流更具動態性和不可預測性。隨著這些生成式 AI 應用成為企業通信的一部分，審核內容可確保 LLM 的響應安全可靠且合規。在嘗試在 RAG 應用中實現內容審核時，每個生成式 AI 開發者都應該問的主要問題是部署 AI 護欄以實時監控和管理內容。借助生成式 AI ，企業可以增強檢索增強型生成 (RAG) 應用的準確性和安全性。 NVIDIA NeMo Guardrails 提供工具包和微服務，可輕松將安全層集成到生產級 RAG 應用中。它旨在通過允許與第三方安全模型無縫集成來執行 LLM 輸出中的安全和策略指南。

]]>

12389

探索采用自主 AI 和 NVIDIA 機密計算的超級協議案例 http://www.open-lab.net/zh-cn/blog/exploring-the-case-of-super-protocol-with-self-sovereign-ai-and-nvidia-confidential-computing/ Thu, 14 Nov 2024 07:06:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=12032 Continued]]> 機密和自主的 AI 是一種新的 AI 開發、訓練和推理方法，其中用戶的數據是去中心化的、私有的，并由用戶自己控制。本文將探討如何通過使用區塊鏈技術的去中心化來擴展 Confidential Computing（CC）的功能。通過使用個人 AI 智能體，可以非常清楚地看到所解決的問題。這些服務可幫助用戶完成許多任務，包括撰寫電子郵件、準備報稅和查看醫療記錄。毋庸置疑，所處理的數據是敏感的個人數據。在集中式系統中，這些數據由人工智能服務提供商在云中處理，通常不透明。當用戶的數據離開設備時，他們將失去對自己數據的控制，而這些數據可能會被用于訓練、泄露、出售或以其他方式被誤用。屆時無法追蹤個人數據。這種信任問題阻礙了 AI 行業發展的某些特定方面，尤其是對于尚未獲得聲譽或證據來支持其真實意圖的初創公司和 AI 開發者而言。

]]>

12032

人人超碰97caoporen国产