Aditi Bodhankar – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Fri, 30 May 2025 06:07:09 +0000 zh-CN hourly 1 196178272 更智能、更安全地串流:了解 NVIDIA NeMo Guardrails 如何增強 LLM 輸出串流 http://www.open-lab.net/zh-cn/blog/stream-smarter-and-safer-learn-how-nvidia-nemo-guardrails-enhance-llm-output-streaming/ Fri, 23 May 2025 05:59:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=14063 Continued]]> LLM 流式傳輸會在生成模型響應時,逐個 token 實時遞增發送該響應。輸出流式傳輸功能已從一項很好的功能發展為現代 LLM 應用的重要組件。 傳統方法是等待幾秒鐘才能獲得完整的 LLM 響應,這會造成延遲,尤其是在需要多次模型調用的復雜應用中。在流式傳輸中,time to first token (TTFT)——從查詢提交到第一個生成的token——成為用戶感知的延遲至關重要。 流式傳輸架構可在提示處理后立即啟動部分響應,從而顯著減少 TTFT,這通常會縮短初始等待時間。與此同時,令牌間延遲 (ITL) 基本保持不變,因為它反映了模型生成的固有速度。這種將初始響應能力 (TTFT) 與穩定狀態吞吐量 (ITL) 分離的做法可加快用戶反饋速度,而無需從根本上更改令牌生成機制。 通過實施流式傳輸功能,開發者可以創造更流暢的用戶體驗,模擬自然對話的流程,

Source

]]>
14063
衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用,以確保安全、品牌和可靠的行為,這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護,以評估和優化 Guardrail 性能。 在本文中,我們將探索用于測量和優化 AI 護欄有效性的技術,確保您的 AI 應用在仔細定義的邊界內運行,同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個 評估工具 ,用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外,該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具,重點介紹每個指標在優化 AI 應用方面發揮的作用。 隨著企業不斷突破 AI 的極限,平衡性能和成本效益已成為重中之重。

Source

]]>
13146
如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體 http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/ Thu, 16 Jan 2025 06:23:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12699 Continued]]> AI 代理為 企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間,從而提高效率和客戶滿意度,幫助組織保持競爭力。 但是,除了這些優勢之外, AI 智能體也存在風險 。 大語言模型(LLMs) 容易生成不當內容或離題內容,并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力,實施可靠的 AI 安全措施至關重要。 本教程為 AI 構建者提供了切實可行的步驟,以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ,一種可擴展的鐵路編排平臺,包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型: 通過本教程,您將學習如何部署 AI 智能體,在保持客戶信任和品牌完整性的同時提供快速、準確的響應。

Source

]]>
12699
使用 NVIDIA NeMo Guardrails 實現內容審核和安全性檢查 http://www.open-lab.net/zh-cn/blog/content-moderation-and-safety-checks-with-nvidia-nemo-guardrails/ Fri, 06 Dec 2024 06:56:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=12389 Continued]]> 鑒于用戶生成的內容和這些系統管理的外部數據量龐大,內容審核在由生成式 AI 提供支持的 檢索增強生成 (RAG) 應用中變得至關重要。基于 RAG 的應用使用 大語言模型 (LLMs) 以及從各種外部來源進行的實時信息檢索,這可能會導致內容流更具動態性和不可預測性。 隨著這些生成式 AI 應用成為企業通信的一部分,審核內容可確保 LLM 的響應安全可靠且合規。 在嘗試在 RAG 應用中實現內容審核時,每個生成式 AI 開發者都應該問的主要問題是部署 AI 護欄以實時監控和管理內容。 借助 生成式 AI ,企業可以增強檢索增強型生成 (RAG) 應用的準確性和安全性。 NVIDIA NeMo Guardrails 提供工具包和微服務,可輕松將安全層集成到生產級 RAG 應用中。它旨在通過允許與第三方安全模型無縫集成來執行 LLM 輸出中的安全和策略指南。

Source

]]>
12389
使用 NVIDIA NIM 和 NVIDIA NeMo Guardrails 保護生成式 AI 部署 http://www.open-lab.net/zh-cn/blog/securing-generative-ai-deployments-with-nvidia-nim-and-nvidia-nemo-guardrails/ Mon, 05 Aug 2024 05:31:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=10934 Continued]]> 隨著企業采用由大型語言模型(LLMs)提供支持的生成式 AI 應用,越來越需要實施護欄以確保安全并符合可靠 AI 原則。 NVIDIA NeMo Guardrails 提供可編程護欄,可確保對話的安全性、可控性和可靠性,同時防止常見的 LLM 漏洞。除了構建更安全的應用程序外,安全、高效和可擴展的部署流程是充分發揮生成式 AI 潛力的關鍵。 NVIDIA NIM 為開發者提供了一套易于使用的微服務,旨在跨數據中心、工作站和云安全、可靠地部署高性能 AI 模型推理。NIM 是 NVIDIA AI Enterprise 的一部分。 通過將 NeMo Guardrails 與用于最新 AI 模型的 NIM 微服務集成,開發者可以更輕松地構建和部署可控 LLM 應用,并提高準確性和性能。NIM 提供行業標準 API,可與應用和熱門開發工具快速集成。

Source

]]>
10934
使用 LangChain 模板和 NVIDIA NeMo Guardrails 構建更安全的 LLM 應用 http://www.open-lab.net/zh-cn/blog/building-safer-llm-apps-with-langchain-templates-and-nvidia-nemo-guardrails/ Fri, 31 May 2024 08:51:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=10264 Continued]]> 易于部署的參考架構可以幫助開發者通過自定義 LLM 用例更快地投入生產。LangChain 模板是一種創建、共享、維護、下載和自定義基于 LLM 的代理和鏈的新方式。 這個過程非常簡單。您可以創建一個包含鏈目錄的應用項目,確定要使用的模板,將其下載到應用項目中,根據用例修改鏈,然后部署應用。對于企業語言模型(LLM)應用,NVIDIA NeMo Guardrails 可集成到模板中,用于內容審核、增強安全性和評估語言模型響應。 在這篇博客文章中,我們下載了一個帶有 RAG 用例的現有 LangChain 模板,然后介紹 NeMo Guardrails 的集成。 我們涵蓋: LangChain 模板 使開發者能夠添加更新的鏈和代理,以供其他人用于創建自定義應用程序。這些模板與 FastAPI 無縫集成,用于使用 Python 構建 API,從而提高速度和易用性。

Source

]]>
10264
多模態檢索增強生成的簡單介紹 http://www.open-lab.net/zh-cn/blog/an-easy-introduction-to-multimodal-retrieval-augmented-generation/ Wed, 20 Mar 2024 04:49:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=9316 Continued]]> 檢索增強生成 (RAG) 應用程序如果能夠處理各種數據類型,包括表格、圖形和圖表,而不僅僅是文本,其效用將會呈指數級增長。這就需要一個能夠通過一致的解釋文本、視覺和其他形式的信息來理解和生成響應的框架。 在本文中,我們將討論應對多種模式和方法以構建多模態 RAG 工作流所面臨的挑戰。為保持討論簡潔,我們只關注兩種模式,即圖像和文本。 企業 (非結構化) 數據通常分布在多種模式下,無論是充滿高分辨率圖像的文件夾,還是包含混合文本表格、圖表、圖形等的 PDF 文件。 在使用這種模式時,需要考慮兩個要點:每種模式都有自己的挑戰,以及如何跨模式管理信息? 以圖像為例 (圖 1)。對于左側的圖像,重點更多的是一般圖像,而不是微小的細節。只關注幾個關鍵點,如池邊、海洋、樹木和沙灘。 報告和文檔可能包含信息密集型圖像 (如圖表和圖表),

Source

]]>
9316
人人超碰97caoporen国产