對話式人工智能 – NVIDIA 技術博客

對話式人工智能 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 14 May 2025 08:37:19 +0000 zh-CN hourly 1 196178272 概念驅動的 AI 教學助手引導學生獲得更深入的見解 http://www.open-lab.net/zh-cn/blog/concept%e2%80%91driven-ai-teaching-assistant-guides-students-to-deeper-insights/ Wed, 07 May 2025 06:26:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=13824 Continued]]> 在當今的教育環境中，生成式 AI 工具既帶來了福音，也帶來了挑戰。雖然這些工具提供了前所未有的信息獲取途徑，但也引發了對學術誠信的新擔憂。越來越多的學生依靠 AI 直接回答家庭作業問題，而這通常以犧牲培養批判性思維技能和掌握核心概念為代價。大學和教育工作者面臨著越來越多的兩難境地：如何利用 AI 的強大功能作為教學工具，同時確保它補充而不是縮短學習過程。關鍵在于開發引導學生進行理解的系統，而不是簡單地傳遞答案。除了學術誠信問題外，許多大學還在努力解決助教 (TA) 短缺問題。在克萊姆森大學和全國各地的機構中，計算機科學和其他 STEM 領域的注冊人數增長超過了助教支持的速度。在某些課程中，學生與助教的比率為 20：1。在中期和項目截止日期等繁忙時期，這種不平衡通常會導致學生無法及時獲得所需的幫助。為了應對這一挑戰，我們的 Clemson Capstone 團隊著手使用…

]]>

13824

聚焦：個人 AI 借助 NVIDIA Riva 為小企業主帶來 AI 接待員 http://www.open-lab.net/zh-cn/blog/spotlight-personal-ai-brings-ai-receptionists-to-small-business-owners-with-nvidia-riva/ Tue, 29 Apr 2025 08:27:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=13660 Continued]]> 星期二晚上 10 點，Sapochnick Law Firm (一家位于加利福尼亞州圣地亞哥的專業律師事務所) 的電話鈴響了。作為這家公司的客戶，打電話的人在電話鈴響時焦急萬分。他們收到了一封包含可能改變生活的消息的重要信件，并向律師提出了緊急問題。客戶很快意識到 Sapochnick 團隊可能在幾小時前離開了辦公室，但他們一直在排隊等待，希望至少有一個語音郵件問候可以提供某種幫助。沒有錄音，聲音用熱情、專業的問候打破了沉默。雙方之間自然而然地展開了對話，很明顯，律師事務所發出的聲音遠不止接電話。該公司精通細致入微的移民程序，熟悉該公司處理特定法律場景的方法，最重要的是，該公司擁有公司創始人 Jacob Sapochnick 廣泛的專有知識。這種真正的互動之所以能夠實現，是因為 Personal AI Receptionist 是一項由 Personal AI 和…

Source

]]>

13660

使用 NVIDIA NIM 管理科學文獻中的生物研究成果 http://www.open-lab.net/zh-cn/blog/curating-biological-findings-from-scientific-literature-with-nvidia-nim/ Fri, 11 Apr 2025 06:07:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13499 Continued]]> 科學論文多種多樣，通常為同一實體使用不同的術語，使用不同的方法來研究生物現象，并在不同的上下文中展示研究結果。從這些論文中提取有意義的見解需要對生物學的深刻理解、對方法的批判性評估，以及從不相關或不太可靠的發現中辨別出可靠發現的能力。科學家必須仔細解釋上下文，評估實驗證據的可靠性，并識別研究中潛在的偏見或局限性。鑒于支持疾病建模中關鍵決策的高精度需求，生物學發現必須僅包含高質量的知識。大語言模型 (LLM) 在集成到檢索增強生成 (RAG) 流程中時，為自動化和加速生物發現的管理提供了顛覆性的機會。通過優化從科學論文中提取見解的過程，LLM 顯著提高了這一過程的可擴展性。這些語言模型可以篩選的論文數量遠超任何個人可以手動審查的論文，并發現了更多的相關發現。 CytoReason 團隊是 NVIDIA Inception 計劃的成員，

]]>

13499

在 NVIDIA NeMo Guardrails 中使用 Cleanlab 可信語言模型防止 LLM 幻覺 http://www.open-lab.net/zh-cn/blog/prevent-llm-hallucinations-with-the-cleanlab-trustworthy-language-model-in-nvidia-nemo-guardrails/ Wed, 09 Apr 2025 06:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=13509 Continued]]> 隨著越來越多的企業將 Large Language Models (LLM) 集成到其應用中，他們面臨著一個嚴峻的挑戰：LLM 可能會產生合理但錯誤的反應，即幻覺。AI 護欄 (即在 AI 模型和應用中執行的保護機制) 是確保 AI 應用可靠性的熱門技術。本文將介紹如何使用 Cleanlab Trustworthy Language Model (TLM) 和 NVIDIA NeMo Guardrails 構建更安全、無幻覺的 AI 應用。 NVIDIA NeMo Guardrails 是一個可擴展的平臺，用于在 AI 智能體和其他生成式 AI 應用中定義、編排和執行 AI 導軌或策略。它包含一套可定制且可擴展的內容安全、越獄檢測、對話式主題控制等操作指南。NeMo Guardrails 提供了一個統一的框架，用于集成和編排各種 AI 護欄，

]]>

13509

NVIDIA 加速推理 Meta Llama 4 Scout 與 Maverick 模型 http://www.open-lab.net/zh-cn/blog/nvidia-accelerates-inference-on-meta-llama-4-scout-and-maverick/ Sat, 05 Apr 2025 06:37:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13527 Continued]]> 最新一代熱門 Llama AI 模型現已支持 Llama 4 Scout 和 Llama 4 Maverick。它們由 NVIDIA 開源軟件加速，在 NVIDIA Blackwell B200 GPU 上每秒可實現超過 40K 輸出 token，并可作為 NVIDIA NIM 微服務進行試用。 Llama 4 模型現在采用混合專家 (MoE) 架構，原生支持多模態和多語言。Llama 4 模型提供各種多模態功能，推動規模、速度和效率的提升，使您能夠打造更加個性化的體驗。 Llama 4 Scout 是一個 109B 參數模型，每個令牌活躍 17B，由 16 位專家組成，擁有 10M 上下文長度的窗口，并針對單個 NVIDIA H100 GPU 優化和量化為 int4。這支持各種用例，包括多文檔摘要、解析大量用戶活動以執行個性化任務，以及對大量代碼庫進行推理。

]]>

13527

衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用，以確保安全、品牌和可靠的行為，這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護，以評估和優化 Guardrail 性能。在本文中，我們將探索用于測量和優化 AI 護欄有效性的技術，確保您的 AI 應用在仔細定義的邊界內運行，同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個評估工具，用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外，該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具，重點介紹每個指標在優化 AI 應用方面發揮的作用。隨著企業不斷突破 AI 的極限，平衡性能和成本效益已成為重中之重。

]]>

13146

聚焦：NAVER Place 利用 NVIDIA TensorRT-LLM 優化 SLM 基礎的垂直服務 http://www.open-lab.net/zh-cn/blog/spotlight-naver-place-optimizes-slm-based-vertical-services-with-nvidia-tensorrt-llm/ Fri, 28 Feb 2025 06:40:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=13155 Continued]]> NAVER 是一家韓國熱門搜索引擎公司，提供 Naver Place ，這是一項基于地理的服務，可提供有關韓國數百萬家企業和興趣點的詳細信息。用戶可以搜索不同的地點、發表評論，以及實時進行預訂或下單。 NAVER Place 垂直服務基于小語言模型 (SLMs) 來提高可用性，并專門針對 Place、Map 和 Travel。本文分享了 NVIDIA 和 NAVER 如何使用 NVIDIA TensorRT-LLM 優化 SLM 推理性能，從而在 NVIDIA Triton Inference Server 上實現基于 SLM 的垂直服務。如需詳細了解 NAVER 如何使用 AI，請參閱 NAVER Place AI 開發團隊簡介。與大語言模型（LLMs）相比，小語言模型（SLMs）是能夠以更少的參數理解自然語言的 AI 模型。眾所周知，

]]>

13155

借助適用于 LLM 的 NVIDIA NIM 微服務加速科學文獻審查 http://www.open-lab.net/zh-cn/blog/accelerating-scientific-literature-reviews-with-nvidia-nim-microservices-for-llms/ Wed, 26 Feb 2025 06:44:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=13028 Continued]]> 精心設計的系統審查通常是研究人員探索科學領域的第一步。對于剛剛接觸該領域的科學家，它提供了該領域的結構化概述。對于專家而言，它可以細化他們的理解并激發新的想法。在 2024 年， Web of Science 數據庫收錄了 218,650 篇評測文章，凸顯了這些資源在研究中的重要性。完成系統審查可顯著增強研究人員的知識庫及其學術影響。然而，傳統的評論文章需要收集、閱讀和總結有關特定主題的大量學術文章。由于這項人工練習非常耗時，處理過的文獻的范圍通常局限于幾十篇或幾百篇文章。跨學科內容 (通常超出研究人員的專業領域) 又增加了一層復雜性。這些挑戰使得創建全面、可靠且有影響力的系統審查變得越來越困難。大語言模型 (LLMs) 的出現提供了一種突破性的解決方案，能夠從大量文獻中快速提取和合成信息。參加 Generative AI Codefest Australia…

]]>

13028

使用 Whisper 和 Canary 架構部署 NVIDIA Riva 多語種 ASR，同時選擇性地停用 NMT http://www.open-lab.net/zh-cn/blog/deploying-nvidia-riva-multilingual-asr-with-whisper-and-canary-architectures-while-selectively-deactivating-nmt/ Thu, 20 Feb 2025 04:05:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=12956 Continued]]> NVIDIA 持續開發自動語音識別 (ASR) 模型，這些模型在業內樹立了基準。早期版本的 NVIDIA Riva 是一種適用于 ASR 、 TTS 和 NMT 的 GPU 加速語音和翻譯 AI 微服務的集合，支持基于 Conformer 架構的英語-西班牙語和英語-日語代碼交換 ASR 模型，以及基于 Parakeet 架構的支持 EMEA 地區多種語言（即英國英語、歐洲西班牙語、法語、意大利語、標準德語和亞美尼亞語）的模型。最近，NVIDIA 發布了 Riva 2.18.0 容器和 SDK ，以不斷改進其語音 AI 模型。在此新版本中，我們現在提供以下服務：自動語音翻譯（AST）是將一種語言的語音翻譯為另一種語言的文本，而無需以第一種語言進行中間轉錄。

]]>

12956

利用特定領域的微調和 NVIDIA NIM 提高翻譯質量 http://www.open-lab.net/zh-cn/blog/improving-translation-quality-with-domain-specific-fine-tuning-and-nvidia-nim/ Wed, 05 Feb 2025 04:30:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=12871 Continued]]> 翻譯在助力公司實現跨國業務擴展方面發揮著至關重要的作用，在語調、準確性和技術術語處理方面的要求差異很大。主權 AI 的出現凸顯了大語言模型（LLM）面臨的嚴峻挑戰，尤其是他們難以捕捉英語主導框架之外的細微文化和語言背景。隨著全球通信變得日益復雜，組織必須仔細評估翻譯解決方案，以平衡技術效率與文化敏感性和語言準確性。在本文中，我們將探討 LLMs 如何解決以下兩種截然不同的英語到繁體中文翻譯用例：這些用例需要采用常規翻譯以外的專門方法。雖然使用指令調整 LLMs 進行提示工程可以處理某些情境，但此類更精細的任務通常無法達到預期效果。因此，在針對每個翻譯環境收集的特定數據集上單獨微調 Low-Rank Adaptation（LoRA）適配器變得至關重要。在此項目中，我們將使用 Llama 3.1 8B Instruct 作為預訓練模型，

]]>

12871

宣布推出 Nemotron-CC：用于 LLM 預訓練的萬億級英語語言數據集 http://www.open-lab.net/zh-cn/blog/announcing-nemotron-cc-a-trillion-token-english-language-dataset-for-llm-pretraining/ Thu, 09 Jan 2025 09:06:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=12602 Continued]]> NVIDIA 很高興地宣布發布 Nemotron-CC，這是一種包含 6.3 萬億個令牌的英語語言 Common Crawl 數據集，用于預訓練高度準確的大語言模型 (LLMs)，其中包括 1.9 萬億個令牌的合成生成數據。高質量預訓練數據集是訓練先進 LLM 的關鍵之一，近期的頂級 LLM (例如 Meta Llama 系列 ) 基于包含 15 萬億個令牌的大量數據進行了訓練。但我們對這 15 萬億個令牌的確切構成知之甚少。Nemotron-CC 旨在解決這一問題，并使更廣泛的社區能夠訓練高度準確的 LLM。互聯網爬行數據 (通常來自 Common Crawl) 通常是最大的令牌來源。近期開放的 Common Crawl 數據集 (例如 FineWeb-Edu 和 DCLM) 展示了如何在相對較短的令牌范圍內大幅提高基準精度。但是，實現此目標的代價是移除 90%的數據。

]]>

12602

利用 NVIDIA NIM 微服務構建生成式 AI 醫療設備訓練助手 http://www.open-lab.net/zh-cn/blog/build-a-generative-ai-medical-device-training-assistant-with-nvidia-nim-microservices/ Fri, 20 Dec 2024 08:45:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=12468 Continued]]> 醫療設備創新不斷加速，每年獲得 FDA 批準的數量都創下新高。向臨床醫生和患者介紹這些全新或更新的設備時，他們需要接受培訓，以正確、安全地使用這些設備。使用后，臨床醫生或患者可能需要獲得排查問題的幫助。醫療設備通常附有冗長且技術復雜的 Instructions for Use (IFU) 手冊，這些手冊描述了設備的正確用法。快速找到正確的信息可能很困難，在新設備上訓練是一項耗時的任務。醫療設備代表通常會提供支持培訓，但可能無法實時回答所有問題。這些問題可能會延遲醫療設備的使用和較新技術的采用，在某些情況下，還會導致錯誤使用。檢索增強型生成 (RAG) 使用深度學習模型 (包括大語言模型 (LLMs))，使用自然語言高效搜索和檢索信息。借助 RAG，用戶可以接收大型文本語料庫 (例如 IFU) 中特定問題的易于理解的說明。語音 AI 模型，如自動語音識別 (ASR)…

]]>

12468

借助 WebAssembly 實現沙箱 Agentic AI 工作流 http://www.open-lab.net/zh-cn/blog/sandboxing-agentic-ai-workflows-with-webassembly/ Mon, 16 Dec 2024 05:04:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=12521 Continued]]> 代理 AI 工作流通常涉及執行由大語言模型 (LLM) 生成的代碼，以執行創建數據可視化等任務。但是，此代碼應在安全環境中清理和執行，以降低提示注入的風險和返回代碼中的錯誤。使用正則表達式和受限運行時清理 Python 是不夠的，而且虛擬機的 Hypervisor 隔離需要大量的開發和資源。本文將介紹如何使用 WebAssembly (Wasm) (一種基于堆棧的虛擬機的二進制指令格式)，利用瀏覽器沙盒實現操作系統和用戶隔離。這提高了應用的安全性，且不會產生重大開銷。 LLM 應用開發的近期變化之一是公開工具，即 LLM 可以調用并使用響應的函數、應用或 API。例如，如果應用需要了解特定地點的天氣，它可以調用天氣 API，并使用結果制定適當的響應。 Python 代碼執行是用于擴展 LLM 應用的強大工具。LLM 擅長編寫 Python 代碼，

]]>

12521

Hymba 混合頭架構提高小型語言模型性能 http://www.open-lab.net/zh-cn/blog/hymba-hybrid-head-architecture-boosts-small-language-model-performance/ Fri, 22 Nov 2024 06:15:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=12148 Continued]]> Transformer 及其基于注意力的架構，憑借強大的性能、并行化功能以及通過鍵值 (KV) 緩存進行的長期召回，已成為語言模型 (LM) 的主要選擇。然而，其二次計算成本和高內存需求帶來了效率挑戰。相比之下，Mamba 和 Mamba-2 等狀態空間模型 (SSM) 可提供恒定的復雜性和高效的硬件優化，但難以處理記憶回收任務，從而影響其在常規基準測試中的性能。 NVIDIA 研究人員最近提出了 Hymba ，這是一系列小語言模型 (SLMs)，采用混合 head 并行架構，將 Transformer Attention 機制與 SSMs 集成，以提高效率和性能。在 Hymba 中，attention heads 可實現高分辨率召回，而 SSM heads 可實現高效的上下文摘要。 Hymba 的新型架構揭示了以下幾點見解：本文展示了 Hymba 1.5…

]]>

12148

使用 NVIDIA NIM 和 LangChain 創建自定義 Slackbot LLM 智能體 http://www.open-lab.net/zh-cn/blog/create-a-custom-slackbot-llm-agent-with-nvidia-nim-and-langchain/ Tue, 19 Nov 2024 08:59:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=12191 Continued]]> 在現代商業的動態世界中，通信和高效的工作流對成功至關重要，人工智能（AI）解決方案已經成為競爭優勢。 AI 智能體基于先進的大語言模型（LLM）構建，并由 NVIDIA NIM 提供支持，能夠以無縫方式提高工作效率和信息流。NIM 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的微服務，旨在跨云、數據中心和工作站安全、可靠地部署高性能 AI 模型推理。通過利用 NIM 微服務的強大功能，企業可以利用 API Catalog 中的模型，快速構建超越簡單自動化的智能 Slackbot 。這表明 API Catalog 可用于生產部署。這些 Slackbot 成為寶貴的虛擬助手，能夠處理各種任務——從回答基本查詢到解決復雜問題，甚至生成創意內容。這不僅可以節省時間和資源，還可以打造更具協作性和高效的工作環境。在本文中，

]]>

12191

人人超碰97caoporen国产