• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 數據中心/云端

    NVIDIA NIM Operator 2.0 借助 NVIDIA NeMo 微服務支持提高 AI 部署效率

    NVIDIA 的首個版本 NIM 運算符 簡化了推理工作流的部署和生命周期管理 NVIDIA NIM 微服務,減少 MLOps、LLMOps 工程師和 Kubernetes 管理員的工作負載。它支持在 Kubernetes 集群上輕松快速地部署、自動擴展和升級 NIM。 詳細了解首個版本

    我們的客戶和合作伙伴一直在使用 NIM Operator 來高效管理其應用的推理流程,例如聊天機器人、代理式 RAG 和虛擬藥物研發。我們 Cisco Compute Solutions 團隊的合作伙伴正在使用 NIM Operator 部署適用于 RAG 的 NVIDIA AI Blueprint ,作為 Cisco Validated Design 的一部分。

    我們戰略性地將 NVIDIA NIM Operator 與 思科驗證設計 (CVD) 集成到我們的 AI 就緒型基礎架構中,增強企業級檢索增強型生成管線。NIM Operator 顯著簡化了 NVIDIA NIM 的部署、自動擴展和部署流程。NIM Operator 的高效模型緩存可顯著提高 AI 應用的性能,而 NIMPipeline 自定義資源通過單個聲明性配置文件統一管理多個 NIM 服務。在思科基礎設施上部署和管理 NIM 時,精簡的操作和高效的資源管理相結合,顯著提高了整體運營效率。”– Paniraja Koppa,Cisco Systems 技術營銷工程負責人。

    隨著 NVIDIA NIM Operator 2.0 的發布 ,我們增加了部署和管理 NVIDIA NeMo 微服務 生命周期的功能。NVIDIA NeMo 微服務是一系列工具,用于在 Kubernetes 集群 (無論是本地還是云端) 上構建 AI 工作流,例如 AI 數據飛輪

    NVIDIA 將推出新的 Kubernetes 自定義資源定義 (CRDs) ,以部署三種核心 NeMo 微服務:

    1. NeMo Customizer:使用監督式和參數高效型微調技術,促進大語言模型 (LLMs) 的微調。
    2. NeMo Evaluator :為 LLM 提供全面的評估功能,支持學術基準測試、自定義自動評估和 LLM-as-a-Judge 方法。
    3. NeMo Guardrails:為 LLM 端點添加安全檢查和內容審核,防止幻覺、有害內容和安全漏洞。
    The image depicts a stack diagram highlighting NVDIA NIM Operator, a Kubernetes Operator that is designed to facilitate the deployment, management, and scaling of NVIDIA NIM microservices on Kubernetes clusters.
    圖 1。NIM Operator 架構

    核心功能和優勢

    此版本包含多項新功能和更新功能,包括以下內容。

    輕松快速的部署

    NIM Operator 只需幾個步驟即可簡化 AI 工作流的 NIM 和 NeMo 微服務部署,并支持兩種類型的部署:

    1. 快速入門提供 精選的依賴項 (例如數據庫和 OTEL 服務器) ,以快速運行您的 AI 工作流。 了解如何開始
    A GIF that walks through the deployment of the NVIDIA NIM Operator.
    圖 2。NIM Operator 2.0 部署
    1. 自定義配置 ,支持自定義 NeMo 微服務 CRDs 以使用您的生產級依賴項,并選擇要部署的微服務。 開始使用我們的文檔

    簡化第 2 天操作

    借助 NIM Operator,您可以輕松管理第二天的操作。它支持配置滾動升級、Ingress 和 autoscaling。其中包括:

    1. 簡化升級 :支持使用可定制的滾動策略對 NeMo 微服務進行滾動升級 。更改 NeMo 微服務 CRDs 的版本號,NIM Operator 會更新集群中的部署,管理任何數據庫模式更改。
    2. 可配置的 Ingress 規則 :適用于 NeMo 微服務的 Kubernetes 入口規則,支持對 API 的自定義主機/路徑訪問。
    3. 自動擴展 :支持使用 Kubernetes Horizontal Pod Autoscaler (HPA) 自動擴展 NeMo 微服務部署 及其 ReplicaSet。NemoCustomizer、NemoEvaluator 和 NemoGuardrails CRD 可處理所有常見的 HPA 指標和擴展行為。
    The GIF demonstrates how NVIDIA NIM Operator simplifies Day 2 operations.
    圖 3。NIM Operator 第 2 天操作
    1. 簡化? AI 工作流?:NIM Operator 可以簡化AI 工作流的部署。例如,要部署可信賴的 LLM 聊天機器人,用戶可以管理單個 Guardrails NIM 流程 ,該流程可部署所有必要組件:LLM NIM 和 NeMo Guardrails NIM,用于內容安全、越獄和主題控制。
    2. 擴展支持矩陣 :跨多個領域 (例如推理、檢索、語音和生物學) 的 NVIDIA NIM 微服務。我們測試了各種 Kubernetes 平臺,并添加了許多特定于平臺的安全設置或記錄的資源限制。

    我們正在不斷擴大受支持的 NVIDIA NIM 和 NVIDIA NeMo 微服務列表。如需詳細了解受支持的 NIM 和 NeMo 微服務的完整列表,請參閱平臺支持。

    開始使用

    通過自動執行 NVIDIA NIM 和 NVIDIA NeMo 微服務的部署、擴展和生命周期管理,NIM Operator 使企業團隊能夠更輕松地采用 AI 工作流。這項工作符合我們的承諾,即借助 NVIDIA AI Blueprints 輕松部署 AI 工作流并快速將其投入生產。NIM Operator 是 NVIDIA AI Enterprise 的一部分,可提供企業級支持、API 穩定性和主動安全補丁。

    通過 NGC GitHub repo 開始使用。 有關安裝、使用或問題的技術問題,請在 GitHub repo 中提交問題

    ?

    0

    標簽

    人人超碰97caoporen国产