Chat Labs – NVIDIA 技術博客

構建 AI 銷售助理的經驗教訓

Tue, 21 Jan 2025 06:00:25 +0000

在 NVIDIA，銷售運營團隊為銷售團隊提供將先進的硬件和軟件推向市場所需的工具和資源。通過 NVIDIA 的各種技術來管理這一點是許多企業都面臨的復雜挑戰。通過與我們的銷售團隊合作，我們發現他們依賴于內部和外部文檔，通常會瀏覽多個存儲庫來查找信息。現在想象一下，一款 AI 銷售工具可以幫您完成所有這些工作。本文將探討 NVIDIA 如何使用大語言模型 (LLMs) 和檢索增強生成 (RAG) 技術構建 AI 銷售助理，以簡化銷售工作流，并解決挑戰、核心解決方案組件和關鍵經驗教訓。有關更多信息，請參閱 Explore Retrieval Models 。了解如何打造出色的 AI 銷售助理。從直觀的多回合聊天平臺開始，該平臺由 Llama 3.1 70B 等功能強大的 LLM 提供支持。通過 Perplexity API 實現 RAG 和…

Source

]]>

微調小型語言模型以提高代碼審查準確性

Tue, 17 Dec 2024 10:01:01 +0000

生成式 AI 通過推動眾多應用的創新和提高效率，正在改變企業。然而，采用大型基礎模型會帶來一些挑戰，包括高成本、慢性能、以及數據隱私問題。許多企業不愿與外部 LLM 提供商共享敏感代碼或數據。此外，雖然基礎 LLM 擅長處理一般任務，但它們通常需要大量的提示工程，才能在以企業為中心的特定用例中實現高準確性。微調小語言模型 (SLMs) 通常利用知識蒸餾等技術，為應對這些挑戰提供了極具吸引力的解決方案。這些較小的 LLM 可提供接近更大模型的性能，并且速度更快、成本效益更高。此外，SLMs 可以部署在本地或虛擬私有云 (VPCs) 中，使企業能夠確保敏感數據的安全。然而，微調較小的模型需要高質量的標記數據，而創建這些數據既耗時又昂貴。本文介紹了一種自動微調方法，該方法通過使用數據飛輪策略來應對這些挑戰。數據飛輪策略是一種反饋驅動機制，可迭代地提高模型性能。

Source

]]>

使用 NVIDIA NIM 和 LangChain 創建自定義 Slackbot LLM 智能體

Tue, 19 Nov 2024 08:59:27 +0000

在現代商業的動態世界中，通信和高效的工作流對成功至關重要，人工智能（AI）解決方案已經成為競爭優勢。 AI 智能體基于先進的大語言模型（LLM）構建，并由 NVIDIA NIM 提供支持，能夠以無縫方式提高工作效率和信息流。NIM 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的微服務，旨在跨云、數據中心和工作站安全、可靠地部署高性能 AI 模型推理。通過利用 NIM 微服務的強大功能，企業可以利用 API Catalog 中的模型，快速構建超越簡單自動化的智能 Slackbot 。這表明 API Catalog 可用于生產部署。這些 Slackbot 成為寶貴的虛擬助手，能夠處理各種任務——從回答基本查詢到解決復雜問題，甚至生成創意內容。這不僅可以節省時間和資源，還可以打造更具協作性和高效的工作環境。在本文中，

Source

]]>

構建 AI 智能體以自動創建軟件測試案例

Thu, 24 Oct 2024 05:04:05 +0000

在軟件開發中，測試對于確保最終產品的質量和可靠性至關重要。然而，創建測試計劃和規范可能耗時且需要大量人力，尤其是在復雜系統中管理多種需求和不同測試類型時。許多此類任務通常由測試工程師手動執行。為了簡化這一過程， NVIDIA 的 DriveOS 團隊開發了 Hephaestus（HEPH），這是一個用于自動測試生成的內部生成式 AI 框架。HEPH 可自動執行各種測試的設計和實施，包括集成測試和單元測試。它使用大語言模型（LLMs）進行輸入分析和代碼生成，顯著減少了創建測試用例所花費的時間。通過根據輸入文檔、代碼樣本和反饋循環生成上下文感知測試，HEPH 使測試更快、更高效。本文概述了如何構建智能體框架以生成各種類型的軟件測試。該文介紹了如何使用大型語言模型（LLM）智能體確保文檔的可溯性，以及如何根據軟件要求創建可執行測試。

Source

]]>