Lior Cohen – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 25 Jun 2025 04:24:38 +0000 zh-CN hourly 1 196178272 使用一個 GPU 運行多模態提取以實現更高效的 AI 工作流 http://www.open-lab.net/zh-cn/blog/run-multimodal-extraction-for-more-efficient-ai-pipelines-using-one-gpu/ Wed, 18 Jun 2025 04:20:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=14361 Continued]]> 隨著企業生成和使用越來越多的多樣化數據,從 PDF 和演示文稿等多模態文檔中提取見解已成為一項重大挑戰。傳統的純文本提取和基本的檢索增強生成 (RAG) 流程存在缺陷,無法充分發揮這些復雜文檔的價值。結果如何?見解缺失、工作流程效率低下以及運營成本上升。 在本博文中,我們將通過使用 NVIDIA NeMo Retriever 微服務的代碼示例和一個 GPU,深入探討構建有效的多模態提取工作流的關鍵組件。 NeMo Retriever Retriever 是多模態文檔處理工作流的示例架構。它使用微服務從數百萬文檔的不同文件類型中高效提取信息。它與 NeMo Retriever 嵌入和重排序模型搭配使用,形成了完整的可擴展 RAG 解決方案,如適用于 RAG 的 NVIDIA AI Blueprint 所示 (如圖 1 所示) 。 在下一節中,

Source

]]>
14361
掌握 LLM 技術:評估 http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-evaluation/ Wed, 29 Jan 2025 05:34:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=12917 Continued]]> 評估大語言模型(LLMs) 和 檢索增強生成(RAG) 系統是一個復雜而微妙的過程,反映了這些系統的復雜性和多面性。 與傳統機器學習(ML) 模型不同,LLMs 會生成各種不同且往往不可預測的輸出,因此無法滿足標準評估指標的需求。 主要挑戰包括許多任務缺乏確定的真值、數據污染的風險,以及模型對提示變化和解碼策略的敏感度。此外,LLMs 通常會生成高質量的輸出,甚至可以超越低質量的人類引用,從而無法滿足基于引用的傳統指標的需求。 在本文中,我們將探討用于評估 LLMs 和 RAG 系統準確性和可靠性的可靠評估技術和最佳實踐。 在 生成式 AI 應用的開發過程中,嚴格的評估對于確保系統有效性和可靠性至關重要。此過程具有多個關鍵功能,包括通過確認 AI 符合預期并提供有意義的交互來驗證用戶滿意度。評估還可確保輸出一致性,驗證生成的內容在邏輯上是否一致且符合上下文。

Source

]]>
12917
聚焦:xpander AI 為 NVIDIA NIM 應用配備 Agentic 工具 http://www.open-lab.net/zh-cn/blog/spotlight-xpander-ai-equips-nvidia-nim-applications-with-agentic-tools/ Wed, 11 Sep 2024 07:50:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=11273 Continued]]> 為智能體 AI 應用配備工具將引領 AI 進入下一階段。通過使自主智能體和其他 AI 應用能夠獲取實時數據、執行操作,并與外部系統交互,開發者可以彌合與新的真實用例之間的差距,從而顯著提高工作效率和用戶體驗。 xpander AI 是 NVIDIA Inception 計劃的成員,該公司開發了獨特的 AI 就緒型連接器技術,可在 AI 應用和互補系統之間實現連接,從而將強大的新用例變為現實。xpander 幫助 AI 工程師使用高級工具調用用例構建應用,而無需進行大量集成工作或提高工具調用的準確性,這兩者都是生產過程中的常見障礙。 xpander AI 連接器可通過多智能體 AI 工作流幫助開發者克服這些挑戰,該工作流可提取與目標系統相關的數據,并為該系統創建經過優化的連接器,以供智能體應用使用。

Source

]]>
11273
人人超碰97caoporen国产