聊天機器人 – NVIDIA 技術博客

使用 NVIDIA NeMo Guardrails 實現內容審核和安全性檢查

Fri, 06 Dec 2024 06:56:05 +0000

鑒于用戶生成的內容和這些系統管理的外部數據量龐大，內容審核在由生成式 AI 提供支持的檢索增強生成 (RAG) 應用中變得至關重要。基于 RAG 的應用使用大語言模型 (LLMs) 以及從各種外部來源進行的實時信息檢索，這可能會導致內容流更具動態性和不可預測性。隨著這些生成式 AI 應用成為企業通信的一部分，審核內容可確保 LLM 的響應安全可靠且合規。在嘗試在 RAG 應用中實現內容審核時，每個生成式 AI 開發者都應該問的主要問題是部署 AI 護欄以實時監控和管理內容。借助生成式 AI ，企業可以增強檢索增強型生成 (RAG) 應用的準確性和安全性。 NVIDIA NeMo Guardrails 提供工具包和微服務，可輕松將安全層集成到生產級 RAG 應用中。它旨在通過允許與第三方安全模型無縫集成來執行 LLM 輸出中的安全和策略指南。

Source

]]>

使用 NVIDIA Megatron-LM 構建強大日語能力的 1720 億語言模型

Mon, 11 Nov 2024 08:09:35 +0000

生成式 AI 具有創建全新內容的能力，這是傳統機器學習（ML）方法難以實現的。在自然語言處理（NLP）領域，大型語言模型（LLMs）的出現特別催生了許多創新和創造性的 AI 應用案例，包括客戶支持聊天機器人、語音助手、文本摘要和翻譯等——這些任務以前由人類處理。 LLMs 通過各種方法不斷發展，包括增加參數數量和采用 Mixture of Experts (MoE) 等新算法。預計許多行業 (包括零售、制造和金融) 都會應用和調整 LLMs。然而，許多目前在 LLM 排行榜上名列前茅的模型在非英語語言（包括日語）方面表現出的理解和性能不足。其中一個原因是訓練語料庫包含大量英語數據。例如， GPT-3 語料庫中只有 0.11%是日語數據。創建在日語（日語的訓練數據比英語少）中表現良好的 LLM 模型極具挑戰性。本文介紹了在生成式 AI 加速器挑戰賽（GENIAC）…

Source

]]>

借助 NVIDIA NIM 智能體藍圖創建客戶服務 AI 虛擬助理的三大核心組件

Wed, 23 Oct 2024 05:13:49 +0000

在當今快節奏的商業環境中，提供卓越的客戶服務已不再是一種好事情，而是一種必要條件。無論是解決技術問題、解決計費問題，還是提供服務更新，客戶都期望在方便時得到快速、準確和個性化的響應。然而，實現這種服務水平面臨重大挑戰。傳統方法，例如靜態腳本或手動流程，通常在提供個性化和實時支持方面存在不足。此外，許多客戶服務運營依賴于敏感和零碎的數據，這些數據受嚴格的數據治理和隱私法規的約束。隨著生成式 AI 的興起，公司旨在通過提高運營效率、降低成本和最大限度地提高投資回報率（ROI）來革新客戶服務。將 AI 集成到現有系統會帶來透明度、準確性和安全性方面的挑戰，這些挑戰可能會阻礙采用并中斷工作流程。為此，公司正在利用由生成式 AI 提供支持的虛擬助理來管理各種任務，進而縮短響應時間并釋放資源。本文概述了開發者如何使用 AI 虛擬助理 NVIDIA NIM 智能體藍圖（NVIDIA…

Source

]]>

IBM 全新推出的 GRANITE 3.0 生成式 AI 模型：小體積、高準確度、高效率

Mon, 21 Oct 2024 06:03:07 +0000

今天，IBM 發布了第三代 IBM Granite，這是一個開放語言模型和輔助工具的集合。前幾代 Granite 專注于特定領域的用例；最新的 IBM Granite 模型在學術和企業基準測試中達到或超過領先的類似規模的開放模型的性能。對開發者友好的 Granite 3.0 生成式 AI 模型專為函數調用而設計，支持基于工具的用例。這些模型是作為主流企業模型開發的，能夠作為跨用例復雜工作流的主要構建塊，包括文本生成、代理 AI、分類、工具調用、摘要、實體提取、客戶服務聊天機器人等。隆重推出 IBM 的第三代 GRANITE 系列 IBM 開發了 Granite 系列，可作為 NVIDIA NIM 微服務供企業使用，在不影響性能的情況下優先考慮行業領先的信任、安全性和成本效益。總體而言，Granite 3.0 版本包 GRANITE 架構的核心組件包括：

Source

]]>

AI 聊天機器人為非洲農民提供多語言服務支持

Fri, 27 Sep 2024 09:26:29 +0000

一些資源極為緊張的非洲農民正在通過多模態聊天機器人獲得按需的人工智能賦能的建議，該機器人可提供有關如何提高產量或抗擊常見作物病蟲害的詳細建議。自 2 月以來，東非國家馬拉維的農民通過手機上的 WhatsApp 訪問了名為 UlangiziAI 的聊天機器人。聊天機器人可以理解通過文本或語音留言發送的與農業相關的問題，還可以識別和解釋照片。該應用程序以英語或齊切瓦語回答查詢，齊切瓦語是該國 2000 萬人口中大約一半的人的母語。在馬拉維，大約 30％的人口不會讀寫，該應用程序能夠以自然語言回答至關重要。該平臺由在馬拉維工作了 21 年的非政府組織 Opportunity International 開發。由于智能手機在該國的使用率仍然很低，該非政府組織聘請了一批當地的馬拉維人與農村農業社區合作。這些農民支持代理接受培訓和智能手機，

Source

]]>

視頻：五分鐘內構建 RAG 驅動的聊天機器人

Tue, 27 Feb 2024 06:06:32 +0000

檢索增強生成（RAG）作為一種提升性能的技術，其受歡迎程度呈爆炸式增長。從高度準確的問答 AI 聊天機器人到代碼生成副駕駛，各行各業的組織都在探索 RAG 如何幫助優化流程。根據金融服務業 AI 現狀：2024 年趨勢，55% 的受訪者表示他們正在積極尋求生成式 AI 其公司的工作流程。客戶體驗和參與度是最搶手的用例，回復率為 34%.這表明金融服務機構正在探索聊天機器人、虛擬助理和推薦系統，以增強客戶體驗。在這 5 分鐘的視頻教程中， NVIDIA 高級解決方案架構師 Rohan Rao 演示了如何僅使用 100 行 Python 代碼開發和部署由 LLM 驅動的 AI 聊天機器人，而無需您自己的 GPU 基礎架構。從基礎模型快速開始 LLM 實驗。借助 NVIDIA AI Foundation Endpoints，所有嵌入和生成任務均可無縫處理，

Source

]]>

語音識別如何改善電信客戶服務

Tue, 02 May 2023 02:09:53 +0000

通信行業近年來人工智能技術激增，語音識別和翻譯首當其沖。多語人工智能虛擬助手，數字人，聊天機器人，代理協助，以及音頻轉錄是正在徹底改變電信行業的技術。企業正在呼叫中心實施人工智能，以加快處理傳入請求，從而大幅改善客戶體驗、員工忠誠度和品牌聲譽。例如，自動語音識別（ ASR ），也稱為語音轉文本，已被用于實時轉錄對話，使企業能夠快速為客戶確定資源或解決方案。Speech AI還被用于分析情緒，確定摩擦源，并提高合規性和代理性能。這篇文章深入探討了語音識別在電信行業的變革力量，并強調了 AT & T 和T-Mobile正在使用這些最先進的技術在其呼叫中心提供無與倫比的客戶體驗。語音轉文本技術的實現已經成為客戶服務領域的游戲規則改變者。通過自動化呼叫路由、呼叫分類和語音身份驗證等任務，企業可以大大減少等待時間，并確保客戶能夠找到最合格的代理來處理他們的請求。

Source

]]>

NVIDIA 實現值得信賴、安全可靠的大型語言模型對話系統

Tue, 25 Apr 2023 05:35:01 +0000

大語言模型（ LLM ）非常強大，能夠回答復雜的問題，進行創造性的寫作、開發、調試源代碼等。通過將 LLM 應用程序連接到外部工具，例如從實時源讀取數據，或者使 LLM 能夠決定根據用戶的請求采取什么行動，您可以構建極其復雜的 LLM 應用。然而，以安全可靠的方式構建這些 LLM 應用程序具有挑戰性。 NeMo Guardrails 是一個開源工具包，用于輕松開發安全可靠的 LLM 會話系統。由于生成人工智能的安全性是全行業關注的問題， NVIDIA 設計 NeMo Guardrails 與所有 LLM 一起工作，包括 OpenAI 的 ChatGPT 。該工具包由社區構建的工具包提供支持，如 LangChain ，它在短短幾個月內就在 GitHub 上聚集了約 3 萬顆星。工具包提供了可組合、易于使用的模板和模式，通過將 LLM 、

Source

]]>

使用?NVIDIA?FasterTransformer?提高?KoGPT?的推理加速

Tue, 25 Apr 2023 05:03:52 +0000

Transformer 是當今最具影響力的人工智能模型架構之一，正在塑造未來人工智能研發的方向。Transformer 最初被發明為自然語言處理（ NLP ）的工具，現在幾乎被用于每一項人工智能任務，包括計算機視覺、自動語音識別、分子結構分類和金融數據處理。在韓國， Kakao Brain 開發了一種基于 transformer 架構的高精度大型語言模型（ LLM ） KoGPT 。它在一個大型韓國數據集上進行了訓練，并使用 NVIDIA FasterTransformer 成功地對其進行了優化。在這篇文章中，我們將介紹 NVIDIA 和 Kakao Brain 如何使用 FasterTransformer 優化 KoGPT 。 Transformer 層是目前深度學習領域應用最廣泛的深度學習架構。它起源于 NLP ，目前正在將其應用范圍從語言擴展到視覺、

Source

]]>

大型語言模型簡介：提示工程和 P 調優

Sun, 23 Apr 2023 04:54:48 +0000

ChatGPT 給人留下了深刻印象。用戶很樂意使用人工智能聊天機器人提問、寫詩、塑造互動角色、充當個人助理等等。大語言模型（ LLM ）為 ChatGPT 供電，這些模型就是本文的主題在更仔細地考慮 LLM 之前，我們首先想確定語言模型的作用。語言模型給出了一個單詞在單詞序列中有效的概率分布。從本質上講，語言模型的工作是預測哪個詞最適合一個句子。圖 1 提供了一個示例。雖然像 BERT 這樣的語言模型已經被有效地用于處理文本分類等許多下游任務，但已經觀察到，隨著這些模型規模的增加，某些額外的能力也會出現這種規模的增加通常伴隨著以下三個維度的相應增加：參數的數量、訓練數據和訓練模型所需的計算資源。有關詳細信息，請參閱Emergent Abilities of Large Language Models. LLM 是一種深度學習模型，可以使用大型數據集識別、

Source

]]>