NVIDIA NIM 現為開發者計劃成員免費開放

使用簡單的 API 將預訓練的 AI 基礎模型集成到產品和體驗的能力顯著提高了開發者對 LLM 端點和應用開發框架的使用率。NVIDIA NIM 使開發者和工程團隊能夠快速部署自己的 AI 模型端點，以便使用熱門開發工具和框架安全開發加速生成式 AI 應用程序。

開發者表示，出于開發目的，他們希望更輕松地訪問 NVIDIA Inference Microservices (NIM)，因此我們很高興為超過 500 萬 NVIDIA Developer Program 成員提供用于開發、測試和研究的可下載 NIM 微服務的免費訪問權限。該計劃的成員可以獲得全面的資源、培訓、工具和專家社區，幫助構建加速應用程序和解決方案。

在本文中，我們簡要介紹了 NIM 微服務的技術概述，重點介紹了一些可供下載和自托管部署的微服務，并提供了入門所需的手冊資源以開始使用。

什么是 NIM 微服務？

NIM 提供用于跨云、數據中心和工作站自行托管 GPU 加速微服務的容器，用于預訓練和自定義 AI 模型。這些容器可以使用單個命令進行部署，并自動公開行業標準 API，以快速集成到應用程序、開發框架和工作流程中。其中一個示例是基于大型語言模型（LLM）的 NIM 微服務的 OpenAI API 規范。

使用 NVIDIA TensorRT 和 NVIDIA TensorRT-LLM 構建的經過優化的推理引擎可提供低響應延遲和高吞吐量。在運行時，NIM 微服務會根據基礎模型、GPU 和系統的每種組合選擇最合適的推理引擎。NIM 容器還提供標準的可觀察性數據源，以及對在 NVIDIA GPUs 上使用 Kubernetes 的內置自動擴展支持。有關 NVIDIA NIM for LLMs 的功能和架構的更多信息，請參閱相關文檔。

下載適用于任何用例的 NIM 微服務

雖然任何人都可以注冊到NVIDIA API 目錄以獲取免費積分，通過 NVIDIA 托管的 NIM 端點訪問模型，但 NVIDIA 開發者計劃的成員可以免費訪問最新的可下載 NVIDIA-hosted NIM 微服務，包括 Meta 的Llama 3.1 8B、Mistral AI 的 compact Mistral 7B Instruct等。

開發者計劃成員最多可在兩個節點或 16 個 GPUs 上使用 NVIDIA Inference Engine 微服務。當準備好在生產環境中使用 NVIDIA Inference Engine 后，組織可以免費注冊 90 天的 NVIDIA AI Enterprise 許可證。有關更多信息，請參閱 FAQ。

開始使用可下載的 NIM 微服務

在 NVIDIA API 目錄中，選擇一個微服務，然后選擇 Build with this NIM 以下載 NVIDIA 微服務并獲取容器的 API 密鑰。

如果您還不是程序成員，您將有機會加入 – 只需查看 Developer Program 選項。有關更多信息，請參閱Getting Started和A Simple Guide to Deploying Generative AI with NVIDIA NIM。

視頻 1.如何在 5 分鐘內部署 NVIDIA NIM

如果您想通過簡單部署在托管基礎設施上獲得 NIM 微服務的實操體驗，請嘗試使用 NVIDIA API 密鑰的 NVIDIA Brev Launchable 快速置備 GPU，下載 Llama 3.1 NIM 微服務，并通過 Jupyter notebook 或一組端點與之交互。Hugging Face 上也提供托管 NIM 微服務。兩種托管解決方案均按小時定價。