NeMo Retriever – NVIDIA 技術博客

概念驅動的 AI 教學助手引導學生獲得更深入的見解

Wed, 07 May 2025 06:26:11 +0000

在當今的教育環境中，生成式 AI 工具既帶來了福音，也帶來了挑戰。雖然這些工具提供了前所未有的信息獲取途徑，但也引發了對學術誠信的新擔憂。越來越多的學生依靠 AI 直接回答家庭作業問題，而這通常以犧牲培養批判性思維技能和掌握核心概念為代價。大學和教育工作者面臨著越來越多的兩難境地：如何利用 AI 的強大功能作為教學工具，同時確保它補充而不是縮短學習過程。關鍵在于開發引導學生進行理解的系統，而不是簡單地傳遞答案。除了學術誠信問題外，許多大學還在努力解決助教 (TA) 短缺問題。在克萊姆森大學和全國各地的機構中，計算機科學和其他 STEM 領域的注冊人數增長超過了助教支持的速度。在某些課程中，學生與助教的比率為 20：1。在中期和項目截止日期等繁忙時期，這種不平衡通常會導致學生無法及時獲得所需的幫助。為了應對這一挑戰，我們的 Clemson Capstone 團隊著手使用…

Source

]]>

使用 NVIDIA NIM 構建 AI 驅動的自動引用驗證工具

Wed, 16 Apr 2025 05:18:24 +0000

引文的準確性對于保持學術和 AI 生成內容的完整性至關重要。當引用不準確或錯誤時，它們可能會誤導讀者并散布虛假信息。作為一支由悉尼大學機器學習和 AI 研究人員組成的團隊，我們正在開發一種 AI-powered 工具，能夠高效地交叉檢查和分析語義引用的準確性。提及事實聲明可以幫助讀者相信其有效性，增強作者的可信度，并通過顯示信息來源來提高透明度。然而，確保語義引用的準確性（即確認聲明不僅匹配，而且忠實地代表引用來源的結論，而不會失真或誤解）非常耗時，而且通常需要深入的主題理解。我們親身經歷了不準確的引用所帶來的挫折和挑戰，這促使我們開發了一個強大且可擴展的解決方案 — Semantic Citation Validation 工具。該解決方案簡化了引文驗證過程，并增強了各個領域的研究完整性。隨著大語言模型 (LLM) 的日益普及，對引文驗證的需求變得更加迫切。

Source

]]>

使用合成數據評估和增強 RAG 工作流性能

Mon, 07 Apr 2025 06:31:42 +0000

隨著大語言模型 (LLM) 在各種問答系統中的普及，檢索增強生成 (RAG) 流程也成為焦點。RAG 流程將 LLM 的生成能力與外部數據源和檢索機制相結合，使模型能夠訪問微調期間可能不存在的特定領域信息。 RAG 性能很大程度上取決于底層文本嵌入模型的質量。嵌入模型不佳會導致檢索結果欠佳，進而降低 RAG 系統的整體性能。在處理企業特定的內部數據時尤其如此，因為開箱即用的模型可能無法提供所需的準確性。為確保 RAG 系統能夠有效處理您的特定數據，您必須評估預訓練嵌入模型在語料庫中的表現是否良好。此評估所需的標注數據與最終用戶提交的查詢類型非常相似。例如，帶標注的樣本數據集可能包括以下內容：在許多情況下，現有嵌入模型在應用于特定領域的數據時無法產生最佳結果。這就需要使用與企業語料庫共享相同分布的標注數據來定制這些模型。在本文中，

Source

]]>

NVIDIA NeMo 檢索器將準確的多模態 PDF 數據提取速度提高 15 倍

Tue, 18 Mar 2025 04:11:37 +0000

企業生成和存儲的多模態數據比以往任何時候都多，但傳統的檢索系統在很大程度上仍然以文本為重點。雖然他們可以從書面內容中獲得見解，但不會提取嵌入表格、圖表和信息圖（通常是文檔中信息最密集的元素）的關鍵信息。如果沒有多模態檢索系統，檢索增強型生成（RAG）用戶可能會丟失隱藏在這些復雜數據格式中的關鍵見解，從而在企業知識檢索中造成重大盲點。了解適用于 RAG 的 NVIDIA AI Blueprint 。在本文中，我們將探索適用于 RAG 的 AI Blueprint 的最新進展，并深入探討背后的核心技術 – NVIDIA NeMo Retriever 。探索新的基準測試，了解 NVIDIA 合作伙伴如何使用此藍圖高效地提取、索引和查詢多模態數據。適用于 RAG 的 AI Blueprint 是一個 GPU 加速的參考示例，

Source

]]>

開發具有高效數據存儲的多語種和跨語言信息檢索系統

Tue, 17 Dec 2024 04:46:18 +0000

高效的文本檢索對于搜索、問答、語義文本相似性、摘要和商品推薦等各種信息檢索應用至關重要。它還在檢索增強生成（RAG）技術中發揮著關鍵作用，該技術使大語言模型（LLMs）能夠在不修改基礎參數的情況下訪問外部上下文。雖然 RAG 在提高 LLM 生成的響應質量方面非常有效，但由于主要使用英語數據集進行訓練，許多嵌入模型仍然難以檢索多種語言的正確數據。這限制了以其他語言生成準確且信息豐富的文本回復，阻礙了與全球受眾的有效溝通。多語種信息檢索可提高生成文本的事實準確性和一致性，并實現本地化的上下文感知響應，從而消除語言障礙，使信息在全球范圍內更易于獲取。從改善臨床醫生與患者之間的溝通和故障排除技術問題，到提供個性化零售體驗，此功能可解鎖各行各業的各種應用。然而，為大規模數據平臺創建此類系統會面臨獨特的挑戰，例如管理海量數據、確保低延遲檢索，

Source

]]>

借助 2D 和 3D 數字人虛擬形象擴展 AI 智能體界面選項

Fri, 22 Nov 2024 07:29:09 +0000

在與生成式 AI 應用程序交互時，用戶有多種通信選項 – 文本、語音或通過數字化的虛擬形象。傳統聊天機器人或 Copilot 應用具有文本界面，用戶可在其中輸入查詢并接收基于文本的響應。對于免持通信，語音人工智能技術如自動語音識別 (ASR) 和文本轉語音 (TTS) 促進了口頭互動，非常適合電話客戶服務等場景。此外，將數字化虛擬形象與語音能力相結合，可為用戶提供更具動態性的界面，以便用戶以直觀方式與應用互動。根據 Gartner 的預測，到 2028 年，擁有 500 名以上員工的組織中，45% 的組織將利用員工人工智能虛擬形象來擴展人力資本能力。1 數字虛擬形象的風格差異很大，一些用例受益于逼真的 3D 或 2D 虛擬形象，而其他用例使用風格化或卡通化的虛擬形象時效果更好。要開始創建逼真的數字人，

Source

]]>

利用 NVIDIA Morpheus 加速警報分流和 LLM 代理強化安全運營中心

Thu, 24 Oct 2024 04:46:27 +0000

安全運營中心（SOC）分析師每天都會收到大量傳入的安全警報。為了確保其組織的持續安全，他們的任務是仔細檢查傳入的噪音，分揀出誤報，并找出可能是真正安全漏洞的指標。然而，警報的數量之多可能意味著泄露的重要早期指標被隱藏起來。更不用說流程本身，該流程通常是重復性的、耗時的且成本高昂。我們能否構建工作流程來緩解這些問題，同時仍然保持良好的甚至更好的安全級別？首先，我們研究了 NVIDIA Morpheus ，這是一種 GPU 加速的網絡安全 AI 框架，用于處理和分析高速數據流。特別是，我們關注數字指紋 AI 工作流，該工作流支持在網絡上進行大規模異常檢測。數字指紋工作流可以學習任何給定實體的正常行為特征，并將其表示為自動編碼器模型。當行為出現偏差時（例如，如果用戶顯示幾個新的地理位置），系統會生成與異常程度對應的 z 分數。傳統上，

Source

]]>

借助 NVIDIA NIM 智能體藍圖創建客戶服務 AI 虛擬助理的三大核心組件

Wed, 23 Oct 2024 05:13:49 +0000

在當今快節奏的商業環境中，提供卓越的客戶服務已不再是一種好事情，而是一種必要條件。無論是解決技術問題、解決計費問題，還是提供服務更新，客戶都期望在方便時得到快速、準確和個性化的響應。然而，實現這種服務水平面臨重大挑戰。傳統方法，例如靜態腳本或手動流程，通常在提供個性化和實時支持方面存在不足。此外，許多客戶服務運營依賴于敏感和零碎的數據，這些數據受嚴格的數據治理和隱私法規的約束。隨著生成式 AI 的興起，公司旨在通過提高運營效率、降低成本和最大限度地提高投資回報率（ROI）來革新客戶服務。將 AI 集成到現有系統會帶來透明度、準確性和安全性方面的挑戰，這些挑戰可能會阻礙采用并中斷工作流程。為此，公司正在利用由生成式 AI 提供支持的虛擬助理來管理各種任務，進而縮短響應時間并釋放資源。本文概述了開發者如何使用 AI 虛擬助理 NVIDIA NIM 智能體藍圖（NVIDIA…

Source

]]>

DataStax 推出 NVIDIA AI 構建的新一代 AI 開發平臺

Tue, 15 Oct 2024 04:41:51 +0000

隨著企業越來越多地采用 AI 技術，他們面臨著高效開發、保護和持續改進 AI 應用以利用其數據資產的復雜挑戰。他們需要一個統一的端到端解決方案來簡化 AI 開發、增強安全性并實現持續優化，從而使組織能夠充分利用數據的全部潛力實現 AI 驅動的創新。這就是 DataStax 與 NVIDIA 合作創建 DataStax AI 平臺的原因，該平臺現已與 NVIDIA NeMo 和 NIM （ NVIDIA AI Enterprise 軟件的一部分）集成。該平臺提供統一的堆棧，使企業能夠更輕松地構建 AI 應用，利用其數據和必要的工具來不斷調整和提高應用性能和相關性，并將性能吞吐量提高 19 倍。該平臺基于 DataStax 現有的與 NVIDIA AI Enterprise 平臺的集成，這是在今年早些時候宣布的。在本博文中，

Source

]]>

NVIDIA NIM 微服務助力電信 O-RAN 規范高級 RAG 技術實現

Thu, 10 Oct 2024 05:06:14 +0000

移動通信標準通過協調技術協議來促進不同供應商的網絡和設備之間的互操作性，在電信生態系統中發揮著至關重要的作用。隨著這些標準的發展，電信公司面臨著管理復雜性和數量的持續挑戰。通過利用生成式 AI ，電信公司可以實現技術標準解釋和應用的自動化，從而減少瀏覽、分析和實施大量規范中的規則和協議所需的時間和精力。為了展示生成式 AI 在處理標準文檔方面的強大功能，我們針對 O-RAN（開放無線接入網）標準開發了一個聊天機器人演示。 O-RAN 提供了一套規范，旨在通過使用開放接口和模塊化硬件和軟件，促進電信網絡的無線接入網 (RAN) 組件的互操作性、開放性和創新性。本文詳細介紹了我們的方法，該方法使用 NVIDIA NIM 微服務和檢索增強生成技術（RAG），高效生成對涉及大量技術規格和工作流程的復雜查詢的響應。

Source

]]>