企業數據呈爆炸式增長,PB 級的電子郵件、報告、Slack 消息和數據庫的堆積速度比任何人都快。市場調研人員 Gartner 表示,由于“組織中 68% 的可用數據未被使用”,員工只能在信息海洋中尋找答案。
如今,隨著 AI-Q 的推出,這一切成為可能。AI-Q 是一款開源的 NVIDIA Blueprint,可讓您的業務知識觸手可及。AI-Q 是一種免費的參考實現,用于構建連接到企業數據的人工通用智能體 (Artificial General Agents, AGA) ;使用最新的 AGI 模型跨多模態數據源進行推理;并安全、大規模地提供全面、快速、準確的答案。
AI-Q 提供了一個開發者友好型工作流示例,用于構建 AI 驅動的智能體,該智能體可以:
- 從不同來源 (文本、PDF、圖像、表格、數據庫) 中提取多模態數據
- 使用快速語義搜索、檢索增強生成 (RAG) 和由 Tavily 提供支持的網頁搜索來檢索和理解信息
- 借助先進的 Agentic 工作流進行推理、制定計劃并采取行動
- 安全高效地向員工提供切實可行的見解
在本博客中,我們將介紹 AI-Q NVIDIA Blueprint 的特性和組件,包括示例用例。
AI-Q Blueprint 包含三個主要構建塊:1) 性能優化的 NVIDIA NIM,2) NVIDIA NeMo Retriever 微服務,以及 3) NVIDIA NeMo Agent 工具包。這些 AI 基礎模組用于為任何領域或行業創建穩健、可擴展且可靠的 AI 智能體。
為了演示如何使用 AI-Q Blueprint 構建 AI 智能體,我們創建了 AI-Q 研究助理 Blueprint。它展示了 AI 智能體如何在幾分鐘內合成數小時的研究。通過使用 AI-Q Blueprint 構建模塊,AI 智能體可以連接到許多數據源、推理,并為企業業務功能提供幫助,包括銷售、IT、軟件開發、營銷、人力資源和財務。
AI 智能體還可以幫助改進藥物研發過程。為了證明這一點,NVIDIA 為使用 AI-Q Blueprint 的開發者創建了生物醫學 AI-Q 研究代理 Blueprint。借助生物醫學 AI 研究智能體,可以更快地合成數小時的醫學研究,最終縮短藥物研發所需的時間。
AI-Q Blueprint 工作流的組件和功能
AI-Q Blueprint 的關鍵組件和功能包括:
- 多模態 PDF 數據提取
- 用于數據檢索的 RAG
- 先進的 AI 推理
- 企業 AI 定制和集成
- 適用于多智能體系統的 AI 可觀測性和優化
從不同來源提取多模態 PDF 數據

工作流從多模態 PDF 數據提取開始。企業數據以各種格式存儲,包括文本文檔、PDF、圖像、表格等。AI-Q Blueprint 使用 NVIDIA NeMo Retriever 提取微服務來提取結構化、半結構化和非結構化數據并將其編入索引,使用加速計算將速度提升至 PB 級,最高可達 15 倍。
用于高效準確的數據檢索的 RAG
借助 NVIDIA NeMo Retriever 和 RAG,企業數據可持續提取、嵌入和索引,從而使系統始終使用最新信息運行。向量存儲在通過 Docker Compose 管理的 NVIDIA cuVS 加速數據庫中,支持可擴展的高效部署。此架構可確保以基于數據的響應回答用戶查詢,并在整個工作流中執行隱私控制。
用于自主決策和規劃的高級 AI 推理
通過使用 Llama Nemotron 模型,AI-Q Blueprint 可提供高級推理功能,即通過動態問題分解、迭代優化和上下文感知決策來增強檢索和重排。這種持續反射過程提高了所生成輸出的質量和可靠性,使 AI 智能體能夠從異構數據源中提供更準確、更細致和更可行的見解。NVIDIA Llama Nemotron 模型具有獨特的功能,可以動態打開或關閉推理,以平衡性能和成本效益,同時提供高達 5 倍的推理速度提升。
支持靈活開發的企業 AI 自定義和集成
為了為開發者構建利用私營企業數據的特定領域 AI 智能體提供靈活的基礎,AI-Q 集成了各種數據源,如 ERP、CRM、數據倉庫、文檔、圖像和聊天記錄。這使得 AI 智能體能夠根據組織的獨特需求提供深度符合情境的見解。AI-Q 包含可簡化設置的全面開發指南,包括配置 Python 環境、使用 Docker 進行部署以及管理前端和后端服務的分步說明。
NVIDIA NeMo Agent 工具套件與框架無關,可與各種熱門代理式平臺和工具集成。它原生支持 Agno (以前稱為 Phidata) 、CrewAI、LangChain、LlamaIndex、MemO、Semantic Kernel、Weave 和 Zep Cloud 等,并為其提供第一方插件。這些集成通過模塊化插件包進行管理,允許開發者根據其工作流程要求擴展工具包的功能。由于 Agent 工具包是開放的,社區中的其他人可以進一步擴展工具包集成。
該工具包還支持與大語言模型 (LLM) API(包括 NVIDIA NIM 和 OpenAI)的直接連接,并且與 Model Context Protocol (MCP) 兼容,后者實現了與 MCP 服務器提供的工具的互操作性。這種靈活的架構使 Agent 工具套件能夠跨不同的技術棧編排和優化復雜的多智能體工作流,而無需團隊重新構建平臺,這使其成為企業 AI 開發的統一層。
適用于可擴展多智能體系統的 AI 可觀測性和優化
為實現可擴展部署和編排,AI-Q Blueprint 中包含的 Agent 工具套件提供無狀態 REST API,用于管理查詢生成、摘要生成和人工問答等核心進程的狀態。Agent 工具包提供的細粒度遙測、可配置日志記錄、追蹤和實時指標收集可將使用統計數據轉換為 OpenTelemetry 格式,以便與行業標準監控工具集成。這實現了完整的系統可追溯性,使企業能夠監控性能、識別瓶頸,并深入了解如何生成商業智能。
Toolkit 分析器可在智能體和工具級別追蹤 token 使用情況、響應計時和延遲等詳細指標,從而促進動態性能調優和工作流規范預測。這些功能使組織能夠持續評估、調試和完善 AI 智能體工作流,以提高準確性和效率,最終大規模支持可靠、透明和高性能的代理式 AI 系統。
代理式 AI 工具包優化醫療健康領域的 AI 智能體
Therapyside 的 Maia 已經從簡單的 AI 助手發展為強大的推理智能體,直接在平臺內自動執行關鍵的管理任務,如調度、支付跟蹤和資源交付。這樣,臨床醫生每天可為每位患者節省多達 22 分鐘的時間,使他們能夠更加專注于患者護理。Maia 的推理循環使用 NVIDIA NeMo Agent 工具套件(用于編排工具調用和錯誤處理)以及使用 NVIDIA NeMo Retriever 的 RAG 構建。
Pangaea Data 構建了一個平臺,使用 AI 根據既定的臨床指南分析結構化和非結構化患者數據。Pangaea Data 正在與 AstraZeneca 的罕見病部門 Alexion 合作,加速罕見病患者的檢測。借助 Agent 工具包,這兩家公司在檢索關鍵數據點方面實現了 98% 的準確率,并優化了開發工作流程,將臨床評分計算器的配置時間從數周縮短到了數天。
從反饋到遠見:助力 AI 智能體學習和改進
為了確保 AI 智能體在生產中提供可靠的結果,持續評估和優化至關重要。借助 Agent 工具包,開發者可以訪問詳細的遙測和分析數據,從而直接監控智能體性能并確定需要改進的地方。使用 NVIDIA Blueprint 構建數據飛輪 (一種基于 NVIDIA NeMo 微服務構建的參考架構) ,開發者可以讓智能體持續學習和適應,自動收集反饋并優化模型,以提高智能體系統的性能。查看 NVIDIA 的 Notebook,將工具包評估和分析功能與數據飛輪集成。
借助 AI-Q Blueprint,企業可以在其 AI 數據平臺 (即 NVIDIA 認證存儲提供商提供的加速存儲系統) 中找到意義。例如,VAST Data 的 AI 操作系統與 NVIDIA AI-Q 集成,實現實時、多模態 AI 工作流,持續從企業數據中學習,為各行各業的突破性 AI 解決方案提供支持。VAST 正在與歐洲最大的資產服務公司 CACEIS 合作,構建實時 AI 平臺,以安全地捕獲、轉錄和分析客戶會議,立即將這些見解轉化為行動。
立即開始
準備好充分發揮企業數據的潛力了嗎?AI-Q NVIDIA Blueprint 現已在 GitHub 上提供,包含您開始使用所需的一切:
- 逐步設置環境
- RAG 服務、LLM 模型和前端/后端系統的部署指南
- 本地開發和測試說明
- 故障排除和常見問題解答
- NVIDIA Launchable 適用于一鍵式可部署 GPU 開發環境,可幫助您啟動和運行 AI-Q 研究助手示例
轉變組織獲取知識的方式。從今天開始,構建強大的智能研究智能體,助力決策制定并推動創新。
探索 GitHub 上的代碼和文檔,加入開發者社區,打造企業 AI 的未來。或者加入 NVIDIA 代理式 AI 論壇或 Discord 上的對話。
需要幫助開始使用?包括德勤、EY、Quantiphi、SoftServe 和 Tech Mahindra 在內的 NVIDIA 集成合作伙伴正在使用 AI-Q Blueprint 組件構建解決方案,以幫助企業在生產環境中部署代理式 AI 應用。
1. Gartner?,《預測 2025:AI 時代的隱私和量子光》,2025 年 1 月。Gartner? 是 Gartner Inc. 和/ 或其關聯公司在美國和其他國家/ 地區的注冊商標和服務市場,并在獲得許可后在此處使用。保留所有權利。