為智能體 AI 應用配備工具將引領 AI 進入下一階段。通過使自主智能體和其他 AI 應用能夠獲取實時數據、執行操作，并與外部系統交互，開發者可以彌合與新的真實用例之間的差距，從而顯著提高工作效率和用戶體驗。
xpander AI 是 NVIDIA Inception 計劃的成員，該公司開發了獨特的 AI 就緒型連接器技術，可在 AI 應用和互補系統之間實現連接，從而將強大的新用例變為現實。xpander 幫助 AI 工程師使用高級工具調用用例構建應用，而無需進行大量集成工作或提高工具調用的準確性，這兩者都是生產過程中的常見障礙。
xpander AI 連接器可通過多智能體 AI 工作流幫助開發者克服這些挑戰，該工作流可提取與目標系統相關的數據，并為該系統創建經過優化的連接器，以供智能體應用使用。
利用 NVIDIA NIM 微服務提高推理性能并使用特定于案例的優化的企業現在可以使用 xpander AI 為其 NIM 應用配備代理工具。這使公司能夠構建先進的、特定于案例的 AI 應用，同時最大限度地減少與外部系統和 API 的集成挑戰。
本文將介紹大語言模型（LLMs）中的代理工具調用、AI 就緒型連接器，以及如何使用 Xpander AI 為 NVIDIA NIM 應用配備代理工具。
什么是 NVIDIA NIM？
NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一套直觀的推理微服務，旨在加速企業中的生成式 AI 部署。NIM 支持各種 AI 模型（包括 NVIDIA AI Foundation、社區和自定義模型），可確保在本地或云端實現無縫、可擴展的 AI 推理，同時利用行業標準 API。
NIM 微服務提供交互式 API，可以在 AI 模型上運行推理。它們根據模型或模型系列被打包為容器鏡像（圖 1）。每個 NIM 都是自己的 Docker 容器，具有一個模型，并且包含一個與任何具有足夠內存的 NVIDIA GPU 兼容的運行時。在幕后，NIM 使用 NVIDIA TensorRT-LLM 來優化模型，并針對 NVIDIA H100 Tensor Core GPU、NVIDIA A100 Tensor Core GPU、NVIDIA A10 Tensor Core GPU 和 NVIDIA L40S GPU 優化專門的加速配置文件。
NVIDIA 開發者計劃會員現在可以免費使用 NIM 微服務。
什么是 LLM 工具調用？
工具調用（也稱為函數調用）是指 LLM 能夠與外部工具、API 或函數交互，以執行文本生成以外的任務。該過程包括定義工具、提示LLM、生成工具調用、執行工具以及將結果整合到LLM響應中。它通過提供實時數據的訪問權限、執行更復雜的任務并提高準確性來增強LLM功能。
工具是一種接口，用于接受輸入、執行動作，然后根據預定義的模式在結構化輸出中返回該動作的結果。工具通常包含外部 API 調用，智能體可使用這些調用執行超出 LLM 功能的任務，但不限于外部 API 調用。例如，為了獲取您所在城市的當前溫度，可以使用天氣工具。或者，為了了解您最喜歡的運動隊在今天的比賽中的表現，可以使用通用網絡搜索工具或 ESPN 工具。
LLM 中的工具調用可顯著擴展 LLM 功能的通用性和強大功能，從而為開發者帶來諸多顯著優勢。它提供實時數據的訪問權限，使模型能夠從外部來源（例如銷售團隊最緊急的 CRM 更新或最新的系統日志記錄）獲取最新信息，從而提高響應的準確性和相關性。
此外，工具調用使LLMs能夠執行需要專業技能的復雜任務，例如執行高級數學計算，或通過查詢數據庫訪問訓練數據以外的信息。此功能還通過將LLMs與各種API和系統集成來促進工作流程自動化，從而提高效率，并支持開發可以執行多個、并行、復雜功能的復雜AI應用。
為支持工具調用，LLM 經過訓練，可檢測何時調用特定函數，然后輸出包含該函數及其參數的結構化響應。NIM 支持對具有上述功能的模型進行工具調用。LLM 被封裝為 NIM，可在 NVIDIA 加速基礎設施上提供出色的可部署性、可用性和性能。微服務包裝還使用與 OpenAI 兼容的 API，因此開發者可以構建功能強大的世界級生成式 AI 代理，并減輕一些最常見的痛點。
有關使用 Llama 3.1 8B Instruct NIM、LangChain 和 LangGraph 的更多示例，請參閱使用 NVIDIA NIM 微服務和 LangChain 以及 GitHub 上的 langchain-ai/langchain-nvidia notebook 構建 AI 代理。你還可以嘗試使用 NVIDIA NIM API Catalog 中的工具（圖 2）。
使用 Xpander AI 增強 NIM 應用中的工具調用
借助 NIM，您可以將 AI 應用程序集成到組織的技術堆棧中，因為您的應用程序不會與您公司特有的內部工具、數據和業務邏輯分離。這有助于通過強大的新方法來應對現實世界中的企業挑戰。
然而，與企業技術堆棧（包括現代 API 和傳統系統）集成可能需要付出大量努力，以便目標系統為 AI 原生集成做好準備。此外，工具調用的實施可能會帶來挑戰，尤其是使用復雜的 API 調用 CRM 和 ERP 等系統時。這些系統可能具有高度可定制的數據結構和數百個 API 端點。在某些情況下，尤其是在自主開發的系統和 API 中，目標系統完全缺乏 API 文檔和 OpenAPI 規范，而這兩者通常都被用作編寫工具調用和描述要使用的模型工具的起點。
此外，您在工具調用代碼中為模型提供的有關目標 API 的詳細信息越多，模型在工具選擇和結構化響應生成方面的準確性就越高。遵循組織最佳實踐的Operation IDs、參數和描述對于準確可靠的工具調用至關重要。
適用于 NIM 應用的預構建工具
xpander AI 為 NIM 應用提供預構建工具，簡化了使用工具調用進行構建的過程，并提高了運行時工具調用的準確性。這些工具由 xpander AI 連接器生成器生成，這是一種獨特的豐富工作流，包含 API 參考、文檔和瀏覽示例等數據，并可輸出適用于任何目標系統的 AI 就緒型連接器。
在目標系統需要一系列相互依賴的 API 調用來完成任務的情況下，為模型提供高度精細且自動豐富的工具可能特別有用。這可以像在 Slack 上發送消息一樣簡單，也可以像完成用戶訂單的代理任務一樣復雜，每個任務都依賴于收集數據并向多個 API 端點提交多個數據點。xpander AI 連接器使用多種技術，包括在 OpenAPI 規范中設置依賴項，以提高代理應用程序的成功率，當需要遵循一系列 API 時。
自定義 AI 就緒型工具
如果您的 NIM 應用目標系統不存在 AI 就緒型連接器，您還可以使用 Xpander AI 構建自定義連接器。通過提供 API 參考、文檔和其他之前引用的詳細信息，Xpander AI 可以自動生成針對您的應用進行調整的增強型 AI 就緒型工具。
本節介紹如何使用 Xpander AI 使用 AI 就緒型連接器為 NIM 應用程序配備工具的示例。
第 1 步：在 Xpander AI 控制臺中，啟用您要在 NIM 應用中使用的任何預構建連接器，或為您的本地企業系統構建新的連接器（圖 3）。
第 2 步：接下來，選擇可用于 NIM 應用程序的確切 API 操作（圖 4）。
第 3 步。然后，您將收到集成詳細信息，以便在 NIM 應用中與 xpander SDK 一起使用（圖 5）。
第 4 步：如下代碼示例所示，通過在 NIM 應用中使用 xpander SDK，工具調用將使用 xpander 提供的工具。具體來說，代碼示例使用聊天完成來調用托管在 NVIDIA 平臺上的 Llama 3.1 70B Instruct 模型。在 xpander AI 端選擇的工具（在本例中，Notion、Asana 和 HubSpot）將作為工具提供給模型。當模型確定應調用工具時，結構化響應將返回至應用，并使用 xpander SDK 執行。
from xpander_sdk import XpanderClient, LLMProvider # pip install https://assets.xpanderai.io/xpander-sdk.tar.gzfrom openai import OpenAIfrom langchain_nvidia_ai_endpoints import ChatNVIDIA# Get all models that supports tools callingtool_models = [model for model in ChatNVIDIA.get_available_models() if model.supports_tools]# Define xpander client # Set agent key and URL in https://app.xpander.aixpander_client = XpanderClient(llm_provider=LLMProvider.NVIDIA_NIM)# Get the tools in the specific Nvidia NIM formatxpander_tools = xpander_client.tools()# Open an OpenAI API client. Key can be achived as part of NVIDIA AI Enterprise openai_client = OpenAI(api_key="$<CHANGE_ME>", # Send messages to the LLM + The tools in the correct format of function callingllm_response = openai_client.chat.completions.create( model=tool_models[0].id, # randomly select first model that supports tool calling messages=[{ "role": "user","content": "Israel medals olympics 2024"}], tools=xpander_tools, tool_choice="required", max_tokens=1024,)# Process the chat completion response with the Xpander clienttool_response = xpander_client.xpander_tool_call(tool_selector_response=llm_response.model_dump())for tool_response in tool_response:print(tool_response.response_message) |
xpander AI 助力 AI 客服成功
確保 AI 智能體在生產環境中可靠地執行任務至關重要。可以通過計算 AI 智能體的成功率——成功執行任務占所有嘗試的比例——來評估 AI 智能體。xpander AI 通過將現有 API 轉換為智能體接口來增強這一指標，使 AI 智能體能夠以一致和可靠的方式與各種系統交互并控制系統。
為了說明這一點，我們使用合成生成的數據集將 Xpander AI 的 HubSpot Agentic Interface 的任務執行成功率與 HubSpot 的標準 OpenAPI Specs 進行了比較，該數據集旨在模擬不同復雜性的任務，從達成簡單的交易到生成具有特定屬性的全面公司記錄，并將其鏈接到活動。
這對任務執行可靠性的影響非常大。HubSpot 標準 OpenAPI 規格的成功率為 29.92%，而 xpander AI 的 HubSpot Agentic Interface 的成功率為 85.65%。這一對比表明，xpander AI 不僅能確保您的代理正常運作，而且其工具還能顯著提高代理在實際部署中的性能，并在生產環境中實現更高的可靠性。
結束語
在 NVIDIA NIM 中引入工具調用代表了代理功能的重大進步。NIM 微服務現在可以增強更大的自動化系統，使 LLM 能夠選擇和利用最相關的工具來解決問題。借助這些增強功能，NIM 應用可以配備函數調用功能。
正如本文所述，您可以使用 Xpander AI 就緒型連接器為 NIM 應用配備可靠的代理工具。NIM 具有復合優勢，可提高運行時推理效率，而 Xpander AI 可加快開發和集成時間，同時為實際生產用例提供解決方案。
xpander AI 期待對科學應用產生切實的影響。隨著越來越多的特定于生物學、化學、藥物研發等領域的用例 NIM 微服務的發布，科學家可以使用 xpander AI 將 API 集成到 NIM 應用中，而無需依賴后端和平臺工程師。
查看最新的 NIM 微服務文檔，并訪問 GitHub 上的 xpander-ai/xpander-sdk 了解詳情。在 NVIDIA AI Foundation 模型和端點開發者論壇中，深入了解 NIM。
?
