Sylendran Arunagiri – NVIDIA 技術博客

新視頻：使用 NVIDIA Data Flywheel Blueprint 構建可自我提升的 AI 代理

Thu, 03 Jul 2025 06:38:28 +0000

由大語言模型驅動的 AI 智能體正在改變企業工作流，但高昂的推理成本和延遲可能會限制其可擴展性和用戶體驗。為解決這一問題，NVIDIA 最近發布了用于構建數據飛輪的 NVIDIA AI Blueprint。這是一個企業就緒型工作流，通過自動實驗來幫助優化 AI 智能體，以找到高效的模型，在降低推理成本的同時，提高延遲和有效性。該藍圖的核心是一個自我改進循環，該循環使用 NVIDIA NeMo 和 NIM 微服務來蒸餾，使用真實生產數據微調和評估較小的模型。 Data Flywheel Blueprint 旨在與您現有的 AI 基礎設施和平臺無縫集成，并支持多云、本地和邊緣環境。此實戰演示展示了如何使用 Data Flywheel Blueprint 來優化模型，以便為虛擬客戶服務智能體執行功能和工具調用。它解釋了數據飛輪如何幫助用更小的 Llama-3.2…

Source

]]>

利用 NVIDIA Data Flywheel Blueprint 通過模型蒸餾構建高效的 AI 智能體

Wed, 11 Jun 2025 08:48:06 +0000

隨著企業加速采用代理式 AI，團隊在擴展智能應用程序的同時管理推理成本方面面臨著越來越大的挑戰。大語言模型 (LLM) 提供強大的性能，但會產生巨大的計算需求，通常會導致高延遲和高成本。與此同時，許多開發工作流程（例如評估、數據管理和微調）在很大程度上仍是手動操作。這些流程非常耗時，難以自動化，并且無法有效擴展。更復雜的是，AI 智能體越來越依賴多個專業模型來執行推理、工具路由和摘要等任務。每個組件都有不同的性能特征和優化要求，因此很難大規模地單獨評估和調整它們。為解決這一問題，NVIDIA 推出了用于構建數據飛輪的 NVIDIA AI Blueprint，這是一種基于 NVIDIA NeMo 微服務構建的參考架構。借助該藍圖，團隊能夠利用來自 AI 智能體交互的真實生產流量，在不影響準確性的情況下，將 LLM 持續轉換為更小、更便宜、更快速的模型。它自動執行結構化實驗，

Source

]]>

使用 NVIDIA NeMo 微服務和數據飛輪實現 AI 智能體性能最大化

Tue, 18 Mar 2025 06:10:07 +0000

隨著代理式 AI 系統的發展并成為優化業務流程的關鍵，開發者必須定期更新這些系統，以適應不斷變化的業務和用戶需求。通過 AI 和人類反饋不斷完善這些智能體，可確保它們保持有效性和相關性。 NVIDIA NeMo 微服務是一種完全加速的企業級解決方案，旨在簡化穩健數據飛輪的創建和維護，幫助 AI 代理保持適應性、高效率和最新狀態。在本文中，我將全面介紹 NVIDIA NeMo 微服務，讓您深入了解其保持 AI 智能體以峰性能運行的關鍵功能。與傳統系統不同，AI 智能體可以自主運行，推理復雜的場景，并在動態環境中做出決策。隨著這些系統的發展，企業開始構建多智能體系統，其中 AI 智能體跨平臺集成并與人類團隊協作以增強運營，保持整個系統的更新以保持相關性和有效性變得越來越具有挑戰性。解決方案在于采用數據飛輪策略，

Source

]]>