NeMo Guardrails – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 25 Jun 2025 04:56:46 +0000 zh-CN hourly 1 196178272 微調 LLMOps 以實現快速模型評估和持續優化 http://www.open-lab.net/zh-cn/blog/fine-tuning-llmops-for-rapid-model-evaluation-and-ongoing-optimization/ Tue, 17 Jun 2025 04:52:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=14384 Continued]]> 大語言模型 (LLM) 為各行各業帶來了前所未有的機遇。然而，將 LLM 從研發轉向可靠、可擴展和可維護的生產系統會帶來獨特的運營挑戰。 LLMOps（大語言模型操作）旨在應對這些挑戰。它基于傳統機器學習操作（MLOps）的原則而構建，為管理從數據準備和模型微調到部署、監控和持續改進的整個LLM生命周期提供了框架。實施LLM會在整個制作流程和部署階段帶來一些重大挑戰，包括： Amdocs 是一家專門從事電信解決方案的公司，他們正在應對這些挑戰，以克服實施自定義 LLM 的復雜性，并加速其 AI 計劃。Amdocs 基于 NVIDIA AI Blueprint 構建了強大的 LLMOps 流程，用于構建數據飛輪，該流程使用 NVIDIA NeMo 微服務進行簡化的微調、評估、guardrailing 和 serving，并將其作為 NVIDIA NIM 提供，以實現高效、

Source

]]> 14384 更智能、更安全地串流：了解 NVIDIA NeMo Guardrails 如何增強 LLM 輸出串流 http://www.open-lab.net/zh-cn/blog/stream-smarter-and-safer-learn-how-nvidia-nemo-guardrails-enhance-llm-output-streaming/ Fri, 23 May 2025 05:59:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=14063 Continued]]> LLM 流式傳輸會在生成模型響應時，逐個 token 實時遞增發送該響應。輸出流式傳輸功能已從一項很好的功能發展為現代 LLM 應用的重要組件。 傳統方法是等待幾秒鐘才能獲得完整的 LLM 響應，這會造成延遲，尤其是在需要多次模型調用的復雜應用中。在流式傳輸中，time to first token (TTFT)——從查詢提交到第一個生成的token——成為用戶感知的延遲至關重要。 流式傳輸架構可在提示處理后立即啟動部分響應，從而顯著減少 TTFT，這通常會縮短初始等待時間。與此同時，令牌間延遲 (ITL) 基本保持不變，因為它反映了模型生成的固有速度。這種將初始響應能力 (TTFT) 與穩定狀態吞吐量 (ITL) 分離的做法可加快用戶反饋速度，而無需從根本上更改令牌生成機制。 通過實施流式傳輸功能，開發者可以創造更流暢的用戶體驗，模擬自然對話的流程，

Source

]]> 14063 概念驅動的 AI 教學助手引導學生獲得更深入的見解 http://www.open-lab.net/zh-cn/blog/concept%e2%80%91driven-ai-teaching-assistant-guides-students-to-deeper-insights/ Wed, 07 May 2025 06:26:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=13824 Continued]]> 在當今的教育環境中，生成式 AI 工具既帶來了福音，也帶來了挑戰。雖然這些工具提供了前所未有的信息獲取途徑，但也引發了對學術誠信的新擔憂。越來越多的學生依靠 AI 直接回答家庭作業問題，而這通常以犧牲培養批判性思維技能和掌握核心概念為代價。 大學和教育工作者面臨著越來越多的兩難境地：如何利用 AI 的強大功能作為教學工具，同時確保它補充而不是縮短學習過程。關鍵在于開發引導學生進行理解的系統，而不是簡單地傳遞答案。 除了學術誠信問題外，許多大學還在努力解決助教 (TA) 短缺問題。在克萊姆森大學和全國各地的機構中，計算機科學和其他 STEM 領域的注冊人數增長超過了助教支持的速度。在某些課程中，學生與助教的比率為 20：1。在中期和項目截止日期等繁忙時期，這種不平衡通常會導致學生無法及時獲得所需的幫助。 為了應對這一挑戰，我們的 Clemson Capstone 團隊著手使用…

Source

]]> 13824 使用 NVIDIA NeMo 微服務，通過數據飛輪增強 AI 智能體 http://www.open-lab.net/zh-cn/blog/enhance-your-ai-agent-with-data-flywheels-using-nvidia-nemo-microservices/ Wed, 23 Apr 2025 05:54:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13617 Continued]]> 企業數據不斷變化。隨著時間的推移，這給保持 AI 系統的準確性帶來了重大挑戰。隨著企業組織越來越依賴 代理式 AI 系統 來優化業務流程，保持這些系統與不斷變化的業務需求和新數據保持一致變得至關重要。 本文將深入探討如何使用 NVIDIA NeMo 微服務構建數據飛輪迭代，并簡要概述構建端到端流程的步驟。如需了解如何使用 NeMo 微服務解決構建數據飛輪時面臨的各種挑戰，請參閱使用 NVIDIA NeMo 微服務更大限度地提高 AI Agent 性能。 數據飛輪是一種自我增強的循環。從用戶交互中收集的數據可改進 AI 模型，從而提供更好的結果，吸引更多用戶生成更多數據，從而在持續改進循環中進一步增強系統。這類似于獲取經驗和收集反饋以學習和改進工作的過程。 因此，需要部署的應用持續適應并保持高效是將數據 flywheel 整合到代理式系統中的主要動機。

Source

]]> 13617 在 NVIDIA NeMo Guardrails 中使用 Cleanlab 可信語言模型防止 LLM 幻覺 http://www.open-lab.net/zh-cn/blog/prevent-llm-hallucinations-with-the-cleanlab-trustworthy-language-model-in-nvidia-nemo-guardrails/ Wed, 09 Apr 2025 06:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=13509 Continued]]> 隨著越來越多的企業將 Large Language Models (LLM) 集成到其應用中，他們面臨著一個嚴峻的挑戰：LLM 可能會產生合理但錯誤的反應，即幻覺。AI 護欄 (即在 AI 模型和應用中執行的保護機制) 是確保 AI 應用可靠性的熱門技術。 本文將介紹如何使用 Cleanlab Trustworthy Language Model (TLM) 和 NVIDIA NeMo Guardrails 構建更安全、無幻覺的 AI 應用。 NVIDIA NeMo Guardrails 是一個可擴展的平臺，用于在 AI 智能體和其他生成式 AI 應用中定義、編排和執行 AI 導軌或策略。它包含一套可定制且可擴展的內容安全、越獄檢測、對話式主題控制等操作指南。NeMo Guardrails 提供了一個統一的框架，用于集成和編排各種 AI 護欄，

Source

]]> 13509 衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用，以確保安全、品牌和可靠的行為，這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護，以評估和優化 Guardrail 性能。 在本文中，我們將探索用于測量和優化 AI 護欄有效性的技術，確保您的 AI 應用在仔細定義的邊界內運行，同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個 評估工具 ，用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外，該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具，重點介紹每個指標在優化 AI 應用方面發揮的作用。 隨著企業不斷突破 AI 的極限，平衡性能和成本效益已成為重中之重。

Source

]]> 13146 定義 LLM 紅色團隊 http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/ Tue, 25 Feb 2025 07:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13036 Continued]]> 在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。 由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

Source

]]> 13036 如何使用 NVIDIA NeMo Guardrails 為客戶服務保護 AI 智能體 http://www.open-lab.net/zh-cn/blog/how-to-safeguard-ai-agents-for-customer-service-with-nvidia-nemo-guardrails/ Thu, 16 Jan 2025 06:23:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12699 Continued]]> AI 代理為 企業擴展和提升客戶服務以及支持交互提供了重要機會。這些客服人員可自動處理日常查詢并縮短響應時間，從而提高效率和客戶滿意度，幫助組織保持競爭力。 但是，除了這些優勢之外， AI 智能體也存在風險 。 大語言模型（LLMs） 容易生成不當內容或離題內容，并且容易受到“jailbreak”攻擊。為了充分發揮生成式 AI 在客戶服務中的潛力，實施可靠的 AI 安全措施至關重要。 本教程為 AI 構建者提供了切實可行的步驟，以便將基本的安全措施集成到適用于客戶服務應用的 AI 智能體中。它展示了如何利用 NVIDIA NeMo Guardrails ，一種可擴展的鐵路編排平臺，包括作為 NVIDIA NIM 微服務提供的以下三個新的 AI 保障模型： 通過本教程，您將學習如何部署 AI 智能體，在保持客戶信任和品牌完整性的同時提供快速、準確的響應。

Source

]]> 12699 使用 NVIDIA NeMo Guardrails 實現內容審核和安全性檢查 http://www.open-lab.net/zh-cn/blog/content-moderation-and-safety-checks-with-nvidia-nemo-guardrails/ Fri, 06 Dec 2024 06:56:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=12389 Continued]]> 鑒于用戶生成的內容和這些系統管理的外部數據量龐大，內容審核在由生成式 AI 提供支持的 檢索增強生成 (RAG) 應用中變得至關重要。基于 RAG 的應用使用 大語言模型 (LLMs) 以及從各種外部來源進行的實時信息檢索，這可能會導致內容流更具動態性和不可預測性。 隨著這些生成式 AI 應用成為企業通信的一部分，審核內容可確保 LLM 的響應安全可靠且合規。 在嘗試在 RAG 應用中實現內容審核時，每個生成式 AI 開發者都應該問的主要問題是部署 AI 護欄以實時監控和管理內容。 借助 生成式 AI ，企業可以增強檢索增強型生成 (RAG) 應用的準確性和安全性。 NVIDIA NeMo Guardrails 提供工具包和微服務，可輕松將安全層集成到生產級 RAG 應用中。它旨在通過允許與第三方安全模型無縫集成來執行 LLM 輸出中的安全和策略指南。

Source

]]> 12389 人人超碰97caoporen国产