Hayden Wolff – NVIDIA 技術博客

利用 NVIDIA NIM 微服務和 LangChain 構建智能代理系統

Wed, 07 Aug 2024 03:05:25 +0000

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，現在支持對 Llama 3.1 等模型進行工具調用。它還與 LangChain 集成，為您提供用于構建代理工作流程的生產就緒型解決方案。NIM 微服務為 Llama 3.1 等開源模型提供最佳性能，并且可以在 LangChain 應用中通過 NVIDIA API 目錄免費測試。借助 Llama 3.1 NIM 微服務，您可以為生產部署構建具有高級功能的生成式 AI 應用。您可以使用具有先進代理功能的加速開放模型，構建更復雜、更可靠的應用。有關更多信息，請參閱跨 NVIDIA 平臺為 Llama 3.1 提供強效助力。 NIM 提供了一個與 OpenAI 兼容的工具，可以通過調用 API 實現熟悉性和一致性。現在，您可以將工具與 LangChain 綁定到 NIM 微服務，以創建結構化輸出，

Source

]]>

使用 NVIDIA NIM 部署生成式 AI 的簡單指南

Sun, 02 Jun 2024 08:43:38 +0000

無論您是在本地還是云端工作，NVIDIA NIM 推理微服務都能為企業開發者提供易于部署的社區、合作伙伴和 NVIDIA 優化的人工智能模型。NVIDIA AI Enterprise NIM 提供了安全、精簡的前進路徑，可快速迭代并為世界級產品構建創新生成式人工智能解決方案。使用單個優化容器，您可以在不到 5 分鐘的時間內輕松地在云或數據中心的加速 NVIDIA GPU 系統上，或在工作站和 PC 上部署 NIM。或者，如果您想避免部署容器，可以從 NVIDIA API 目錄中獲取。本文將介紹 NVIDIA NIM 的簡單 Docker 部署。您將能夠在熱門的生成式 AI 應用框架中使用 NIM 微服務 API，例如 Haystack、LangChain 以及 LlamaIndex。有關部署 NIM 的完整指南，請參閱 NIM 文檔。在開始之前，

Source

]]>

RAG 101：揭秘檢索增強生成流程

Mon, 18 Dec 2023 05:24:55 +0000

大型語言模型 (LLM) 在理解和生成類似人類的響應方面具有前所未有的能力，這給世界留下了深刻的印象。它們的聊天功能在人類和大型數據語料庫之間提供了快速且自然的交互。例如，它們可以從數據中總結和提取亮點，或者用自然語言替換 SQL 查詢等復雜查詢。雖然假設這些模型可以輕松地創造商業價值非常吸引人，但遺憾的是現實并非總是這樣。幸運的是，企業可以通過使用自己的數據來增強大型語言模型（LLM），從而從中提取價值。這可以通過檢索增強生成（RAG）來實現，正如 NVIDIA 生成式 AI 示例在面向開發者的 GitHub 庫中所展示的。通過使用業務數據增強 LLM，企業可以提高其 AI 應用的敏捷性并響應新的開發。例如：本文介紹了在構建 LLM 應用時使用 RAG 技術的好處，以及 RAG 工作流的組成部分。閱讀完本文后，歡迎參閱RAG 101：

Source

]]>

RAG 101：檢索增強型生成問題

Mon, 18 Dec 2023 05:17:10 +0000

在設計和部署 RAG 工作流時，數據科學家、AI 工程師、MLOps 工程師和 IT 基礎架構專業人員必須考慮各種因素：從 LLM 等核心組件到評估方法，不一而足。關鍵在于，RAG 是一個系統，而不僅僅是一個模型或一組模型。該系統由幾個階段組成，在 RAG 101：揭秘檢索增強生成流程中有詳細解釋。所有這些階段都提供了根據您的需求做出設計決策的機會。以下是熱門問題和答案的列表。在 LLM 領域中，在微調、高效參數微調 (PEFT)、提示工程和檢索增強生成 (RAG) 之間進行選擇取決于應用程序的特定需求和限制。這并不是說使用一種或另一種技術。事實上，這些技術可以同時使用。例如，PEFT 可能會集成到 RAG 系統中，以進一步優化 LLM 或嵌入模型。最佳方法取決于應用程序的特定要求，以及在準確性、資源可用性和計算限制之間取得平衡。

Source

]]>