檢索增強生成 (RAG) – NVIDIA 技術博客

檢索增強生成 (RAG) – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Fri, 30 May 2025 05:59:22 +0000 zh-CN hourly 1 196178272 LLM 推理、AI 智能體和測試時間縮放的簡單介紹 http://www.open-lab.net/zh-cn/blog/an-easy-introduction-to-llm-reasoning-ai-agents-and-test-time-scaling/ Fri, 23 May 2025 05:54:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=14060 Continued]]> 智能體一直是應用大語言模型 (LLMs) 解決復雜問題的主要驅動力。自 2023 年 AutoGPT 以來，各行各業已經開發出各種技術來構建可靠的智能體。在設計這些應用時，有關代理式推理和 AI 推理模型的討論進一步增加了一層細微差別。這種快速發展還使得開發者難以參與構建這些智能體，需要從眾多設計和技術選擇中進行選擇。為幫助簡化這些決策，本文涵蓋以下廣泛主題： LLM 智能體是通過使用 LLM 來推理問題、制定計劃以及使用工具或 API 來完成任務來解決復雜問題的系統。這使得它非常適合智能聊天機器人、自動代碼生成和工作流程自動化等生成式 AI 用例。LLM 智能體只是更廣泛的 AI 智能體領域的一部分：“代理式 AI”一詞還涵蓋由計算機視覺模型、語音模型和強化學習提供支持的智能體，它們在客戶服務聊天機器人、復雜的企業流程編排和自動駕駛汽車等各種領域中開展工作。

]]>

14060

概念驅動的 AI 教學助手引導學生獲得更深入的見解 http://www.open-lab.net/zh-cn/blog/concept%e2%80%91driven-ai-teaching-assistant-guides-students-to-deeper-insights/ Wed, 07 May 2025 06:26:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=13824 Continued]]> 在當今的教育環境中，生成式 AI 工具既帶來了福音，也帶來了挑戰。雖然這些工具提供了前所未有的信息獲取途徑，但也引發了對學術誠信的新擔憂。越來越多的學生依靠 AI 直接回答家庭作業問題，而這通常以犧牲培養批判性思維技能和掌握核心概念為代價。大學和教育工作者面臨著越來越多的兩難境地：如何利用 AI 的強大功能作為教學工具，同時確保它補充而不是縮短學習過程。關鍵在于開發引導學生進行理解的系統，而不是簡單地傳遞答案。除了學術誠信問題外，許多大學還在努力解決助教 (TA) 短缺問題。在克萊姆森大學和全國各地的機構中，計算機科學和其他 STEM 領域的注冊人數增長超過了助教支持的速度。在某些課程中，學生與助教的比率為 20：1。在中期和項目截止日期等繁忙時期，這種不平衡通常會導致學生無法及時獲得所需的幫助。為了應對這一挑戰，我們的 Clemson Capstone 團隊著手使用…

Source

]]>

13824

使用 NVIDIA NeMo 微服務，通過數據飛輪增強 AI 智能體 http://www.open-lab.net/zh-cn/blog/enhance-your-ai-agent-with-data-flywheels-using-nvidia-nemo-microservices/ Wed, 23 Apr 2025 05:54:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13617 Continued]]> 企業數據不斷變化。隨著時間的推移，這給保持 AI 系統的準確性帶來了重大挑戰。隨著企業組織越來越依賴代理式 AI 系統來優化業務流程，保持這些系統與不斷變化的業務需求和新數據保持一致變得至關重要。本文將深入探討如何使用 NVIDIA NeMo 微服務構建數據飛輪迭代，并簡要概述構建端到端流程的步驟。如需了解如何使用 NeMo 微服務解決構建數據飛輪時面臨的各種挑戰，請參閱使用 NVIDIA NeMo 微服務更大限度地提高 AI Agent 性能。數據飛輪是一種自我增強的循環。從用戶交互中收集的數據可改進 AI 模型，從而提供更好的結果，吸引更多用戶生成更多數據，從而在持續改進循環中進一步增強系統。這類似于獲取經驗和收集反饋以學習和改進工作的過程。因此，需要部署的應用持續適應并保持高效是將數據 flywheel 整合到代理式系統中的主要動機。

]]>

13617

聚焦：Qodo 借助 NVIDIA DGX 實現高效代碼搜索創新 http://www.open-lab.net/zh-cn/blog/spotlight-qodo-innovates-efficient-code-search-with-nvidia-dgx/ Wed, 23 Apr 2025 05:33:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=13605 Continued]]> 大語言模型 (LLMs) 使 AI 工具能夠幫助您更快地編寫更多代碼，但隨著我們要求這些工具承擔越來越復雜的任務，其局限性變得顯而易見。理解編程語言的細微差別、復雜的依賴項以及適應代碼庫特定上下文等挑戰可能會導致代碼質量低下，并導致后續瓶頸。 Qodo 是 NVIDIA Inception 計劃的成員，是一個多智能體代碼完整性平臺，可通過 AI 驅動的智能體進行代碼編寫、測試和審查，從而增強和自動化軟件質量工作流。 Qodo 愿景的一個核心原則是，相信只有在深度情境感知的情況下，AI 才能對軟件完整性進行有意義的改進。代碼并非孤立編寫，而是存在于復雜的架構、不斷演變的依賴項和特定的編碼標準中。為了讓 AI 有效地幫助開發者，它不僅必須理解語法，還必須理解代碼庫的意圖、模式和更廣泛的結構。 Qodo 在先進的檢索增強生成 (RAG) 、

]]>

13605

使用 NVIDIA NIM 構建 AI 驅動的自動引用驗證工具 http://www.open-lab.net/zh-cn/blog/developing-an-ai-powered-tool-for-automatic-citation-validation-using-nvidia-nim/ Wed, 16 Apr 2025 05:18:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=13569 Continued]]> 引文的準確性對于保持學術和 AI 生成內容的完整性至關重要。當引用不準確或錯誤時，它們可能會誤導讀者并散布虛假信息。作為一支由悉尼大學機器學習和 AI 研究人員組成的團隊，我們正在開發一種 AI-powered 工具，能夠高效地交叉檢查和分析語義引用的準確性。提及事實聲明可以幫助讀者相信其有效性，增強作者的可信度，并通過顯示信息來源來提高透明度。然而，確保語義引用的準確性（即確認聲明不僅匹配，而且忠實地代表引用來源的結論，而不會失真或誤解）非常耗時，而且通常需要深入的主題理解。我們親身經歷了不準確的引用所帶來的挫折和挑戰，這促使我們開發了一個強大且可擴展的解決方案 — Semantic Citation Validation 工具。該解決方案簡化了引文驗證過程，并增強了各個領域的研究完整性。隨著大語言模型 (LLM) 的日益普及，對引文驗證的需求變得更加迫切。

]]>

13569

宣布推出基于 CUDA 評估 LLM 的開源框架 ComputeEval http://www.open-lab.net/zh-cn/blog/announcing-computeeval-an-open-source-framework-for-evaluating-llms-on-cuda/ Wed, 16 Apr 2025 05:12:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=13566 Continued]]> 大語言模型 (LLMs) 正在徹底改變開發者的編碼方式和編碼學習方式。對于經驗豐富的或初級的開發者來說，如今的先進模型可以生成 Python 腳本、基于 React 的網站等。未來，強大的 AI 模型將幫助開發者編寫高性能 GPU 代碼。這就提出了一個重要問題：如何確定 LLM 是否能夠處理復雜的 CUDA 編程？ ComputeEval 是一個開源框架和數據集，旨在評估 LLM 在 CUDA 代碼生成上的能力。該數據集旨在評估 LLM 在不同的并行編程領域（如內存管理和線程同步）生成正確 CUDA 代碼的能力。該框架旨在簡化對生成代碼的評估。本文將介紹 ComputeEval 作為評估框架的工作原理、我們對先進模型的評估結果，以及它對 AI 輔助 GPU 開發的未來意味著什么。 ComputeEval 旨在專門為 CUDA 和高性能 GPU…

]]>

13566

NVIDIA Llama Nemotron 超開放模型實現突破性的推理準確性 http://www.open-lab.net/zh-cn/blog/nvidia-llama-nemotron-ultra-open-model-delivers-groundbreaking-reasoning-accuracy/ Tue, 15 Apr 2025 05:31:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=13575 Continued]]> AI 不再只是生成文本或圖像，而是要針對商業、金融、客戶和醫療健康服務中的現實應用進行深度推理、詳細解決問題并實現強大的適應性。 NVIDIA 最新推出的 Llama Nemotron Ultra 推理模型在智能和編碼基準測試中提供了領先的開源模型準確性，同時提高了計算效率。您可以在 Hugging Face 上找到模型、權重和訓練數據，以便將 AI 應用于從研究助理、編碼助手到自動化工作流的各種工作中。 Llama Nemotron Ultra 正在重新定義 AI 在科學推理、編碼和數學基準測試中可以實現的目標。該模型針對復雜推理、人類匹配聊天、檢索增強生成 (RAG) 和工具使用進行了后訓練，專為滿足現實世界企業的需求 (從 copilot 和知識助手到自動化工作流程) 而構建，具有高影響力 AI 所需的深度和靈活性。 Llama Nemotron Ultra 基于…

]]>

13575

在 NVIDIA NeMo Guardrails 中使用 Cleanlab 可信語言模型防止 LLM 幻覺 http://www.open-lab.net/zh-cn/blog/prevent-llm-hallucinations-with-the-cleanlab-trustworthy-language-model-in-nvidia-nemo-guardrails/ Wed, 09 Apr 2025 06:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=13509 Continued]]> 隨著越來越多的企業將 Large Language Models (LLM) 集成到其應用中，他們面臨著一個嚴峻的挑戰：LLM 可能會產生合理但錯誤的反應，即幻覺。AI 護欄 (即在 AI 模型和應用中執行的保護機制) 是確保 AI 應用可靠性的熱門技術。本文將介紹如何使用 Cleanlab Trustworthy Language Model (TLM) 和 NVIDIA NeMo Guardrails 構建更安全、無幻覺的 AI 應用。 NVIDIA NeMo Guardrails 是一個可擴展的平臺，用于在 AI 智能體和其他生成式 AI 應用中定義、編排和執行 AI 導軌或策略。它包含一套可定制且可擴展的內容安全、越獄檢測、對話式主題控制等操作指南。NeMo Guardrails 提供了一個統一的框架，用于集成和編排各種 AI 護欄，

]]>

13509

使用先進的開放式 NVIDIA Llama Nemotron 推理模型構建企業 AI 智能體 http://www.open-lab.net/zh-cn/blog/build-enterprise-ai-agents-with-advanced-open-nvidia-llama-nemotron-reasoning-models-2/ Tue, 08 Apr 2025 06:21:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=13515 Continued]]> 此更新文章最初發布于 2025 年 3 月 18 日。企業組織正在采用 AI 智能體來提高生產力并簡化運營。為了更大限度地發揮影響，這些智能體需要強大的推理能力來解決復雜問題、發現隱藏的聯系，并在動態環境中自主做出邏輯決策。推理模型能夠解決復雜問題，因此已成為代理式 AI 生態系統的關鍵組成部分。通過使用長思考、Best-of-N 或自我驗證等技術，這些模型能夠更好地處理代理式流程不可或缺的推理密集型任務。從自動化客戶支持到優化供應鏈和執行財務戰略，推理模型正在為各種應用提供支持。在物流領域，它們通過模擬假設場景 (例如在貨物中斷期間改變路線) 來提高效率。在科學研究中，它們有助于假設生成和多步驟解決問題。在醫療保健領域，它們可增強診斷和治療規劃。通過實現精確的邏輯推理，這些模型正在推動各行各業提供更可靠、更可擴展的 AI 解決方案。

]]>

13515

使用合成數據評估和增強 RAG 工作流性能 http://www.open-lab.net/zh-cn/blog/evaluating-and-enhancing-rag-pipeline-performance-using-synthetic-data/ Mon, 07 Apr 2025 06:31:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=13521 Continued]]> 隨著大語言模型 (LLM) 在各種問答系統中的普及，檢索增強生成 (RAG) 流程也成為焦點。RAG 流程將 LLM 的生成能力與外部數據源和檢索機制相結合，使模型能夠訪問微調期間可能不存在的特定領域信息。 RAG 性能很大程度上取決于底層文本嵌入模型的質量。嵌入模型不佳會導致檢索結果欠佳，進而降低 RAG 系統的整體性能。在處理企業特定的內部數據時尤其如此，因為開箱即用的模型可能無法提供所需的準確性。為確保 RAG 系統能夠有效處理您的特定數據，您必須評估預訓練嵌入模型在語料庫中的表現是否良好。此評估所需的標注數據與最終用戶提交的查詢類型非常相似。例如，帶標注的樣本數據集可能包括以下內容：在許多情況下，現有嵌入模型在應用于特定領域的數據時無法產生最佳結果。這就需要使用與企業語料庫共享相同分布的標注數據來定制這些模型。在本文中，

]]>

13521

LLM 基準測試：基本概念 http://www.open-lab.net/zh-cn/blog/llm-benchmarking-fundamental-concepts/ Wed, 02 Apr 2025 08:02:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=13428 Continued]]> 在過去幾年中，作為廣泛的 AI 革命的一部分，生成式 AI 和大語言模型 (LLMs) 越來越受歡迎。隨著基于 LLMs 的應用在各個企業中的推廣，我們需要確定不同 AI 服務解決方案的成本效益。部署 LLM 應用的成本取決于它每秒可以處理的查詢數量，同時響應最終用戶并支持可接受的響應準確度。本文特別關注 LLMs 吞吐量和延遲測量，以評估 LLM 應用成本。 NVIDIA 為開發者提供涵蓋芯片、系統和軟件的全棧創新。NVIDIA 推理軟件堆棧包括 NVIDIA Dynamo 、 NVIDIA TensorRT-LLM 和 NVIDIA NIM 微服務。為支持開發者實現基準測試推理性能，NVIDIA 還提供了開源生成式 AI 基準測試工具 GenAI-Perf 。詳細了解如何使用 GenAI-Perf 進行基準測試。可以使用各種工具來評估 LLMs 的性能。

]]>

13428

使用 PyG 和圖形數據庫通過 GraphRAG 提高問答準確性 http://www.open-lab.net/zh-cn/blog/boosting-qa-accuracy-with-graphrag-using-pyg-and-graph-databases/ Wed, 26 Mar 2025 06:05:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=13422 Continued]]> 大語言模型（LLMs）在處理特定領域的問題時往往難以保證準確性，尤其是那些需要多跳推理或訪問專有數據的問題。雖然檢索增強生成（RAG）可以提供幫助，但傳統的向量搜索方法通常并不完善。在本教程中，我們將向您展示如何將 GraphRAG 與經過微調的 GNN+LLM 模型結合使用，以實現比標準基準高 2 倍的準確性。這種方法對于涉及以下情況的場景特別有價值：這種基于圖形驅動的檢索增強生成 (GraphRAG) 的特定方法建立在 G-Retriever 架構之上。G-Retriever 將接地數據表示為知識圖，將基于圖的檢索與神經處理相結合：此過程適用于訓練數據三元組{(Qi, Ai, Gi)}：管道遵循以下步驟： PyG 為 G-Retriever 提供模塊化設置。

]]>

13422

MONAI 集成先進的代理式架構，建立多模態醫療 AI 生態系統 http://www.open-lab.net/zh-cn/blog/monai-integrates-advanced-agentic-architectures-to-establish-multimodal-medical-ai-ecosystem/ Wed, 19 Mar 2025 08:50:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=13263 Continued]]> 醫療數據的數量和復雜性不斷增加，以及對早期疾病診斷和提高醫療效率的迫切需求，正在推動醫療 AI 取得前所未有的進步。該領域最具變革性的創新包括同時處理文本、圖像和視頻的多模態 AI 模型。與傳統的單模態系統相比，這些模型能夠更全面地理解患者數據。 MONAI 是發展最快的開源醫學影像框架，它正在不斷發展，以集成強大的多模態模型，從而徹底改變臨床工作流程和診斷精度。在過去五年中，MONAI 已成為領先的醫療 AI 平臺，也是影像 AI 研究的事實框架。它的下載量超過 4.5 萬次，出現在 3,000 多篇已發表的論文中。本文介紹了 MONAI 如何利用先進的代理式 AI (自主、工作流驅動的推理) ，將其從成像擴展到多模態生態系統。該生態系統集成了從 CT 和 MRI 到 EHR 和臨床文檔的各種醫療健康數據，以推動放射學、外科和病理學領域的研究開發和創新。

]]>

13263

使用 NVIDIA NeMo 微服務和數據飛輪實現 AI 智能體性能最大化 http://www.open-lab.net/zh-cn/blog/maximize-ai-agent-performance-with-data-flywheels-using-nvidia-nemo-microservices/ Tue, 18 Mar 2025 06:10:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13339 Continued]]> 隨著代理式 AI 系統的發展并成為優化業務流程的關鍵，開發者必須定期更新這些系統，以適應不斷變化的業務和用戶需求。通過 AI 和人類反饋不斷完善這些智能體，可確保它們保持有效性和相關性。 NVIDIA NeMo 微服務是一種完全加速的企業級解決方案，旨在簡化穩健數據飛輪的創建和維護，幫助 AI 代理保持適應性、高效率和最新狀態。在本文中，我將全面介紹 NVIDIA NeMo 微服務，讓您深入了解其保持 AI 智能體以峰性能運行的關鍵功能。與傳統系統不同，AI 智能體可以自主運行，推理復雜的場景，并在動態環境中做出決策。隨著這些系統的發展，企業開始構建多智能體系統，其中 AI 智能體跨平臺集成并與人類團隊協作以增強運營，保持整個系統的更新以保持相關性和有效性變得越來越具有挑戰性。解決方案在于采用數據飛輪策略，

]]>

13339

使用先進的開放式 NVIDIA Llama Nemotron 推理模型構建企業級 AI 智能體 http://www.open-lab.net/zh-cn/blog/build-enterprise-ai-agents-with-advanced-open-nvidia-llama-nemotron-reasoning-models/ Tue, 18 Mar 2025 05:22:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=13323 Continued]]> 企業組織正在采用 AI 智能體來提高生產力并簡化運營。為了更大限度地發揮影響，這些智能體需要強大的推理能力來解決復雜的問題，發現隱藏的聯系，并在動態環境中自主做出邏輯決策。由于推理模型能夠解決復雜問題，因此已成為代理式 AI 生態系統的關鍵部分。通過使用長思考、Best-of-N 或自我驗證等技術，這些模型可以更好地處理代理式流程不可或缺的推理密集型任務。從自動化客戶支持到優化供應鏈和執行財務策略，推理模型正在為各種應用提供支持。在物流領域，它們通過模擬假設場景 (例如在中斷運輸期間改變貨運路線) 來提高效率。在科學研究中，它們有助于生成假設和多步驟解決問題。在醫療健康領域，它們增強了診斷和治療規劃。通過實現精確的邏輯推理，這些模型正在推動各行各業實現更可靠、更可擴展的 AI 解決方案。本文將介紹 NVIDIA Llama Nemotron 推理模型系列。

]]>

13323

人人超碰97caoporen国产