Anurag Guda – NVIDIA 技術博客

NVIDIA NIM Operator 2.0 借助 NVIDIA NeMo 微服務支持提高 AI 部署效率

Tue, 29 Apr 2025 08:49:35 +0000

NVIDIA 的首個版本 NIM 運算符簡化了推理工作流的部署和生命周期管理 NVIDIA NIM 微服務，減少 MLOps、LLMOps 工程師和 Kubernetes 管理員的工作負載。它支持在 Kubernetes 集群上輕松快速地部署、自動擴展和升級 NIM。詳細了解首個版本。我們的客戶和合作伙伴一直在使用 NIM Operator 來高效管理其應用的推理流程，例如聊天機器人、代理式 RAG 和虛擬藥物研發。我們 Cisco Compute Solutions 團隊的合作伙伴正在使用 NIM Operator 部署適用于 RAG 的 NVIDIA AI Blueprint ，作為 Cisco Validated Design 的一部分。 “ 我們戰略性地將 NVIDIA NIM Operator 與思科驗證設計 (CVD) 集成到我們的 AI…

Source

]]>

借助 NVIDIA 云原生堆棧實現 AI 應用開發簡化

Wed, 16 Oct 2024 06:55:42 +0000

在快速發展的 AI 和數據科學領域，對可擴展、高效且靈活的基礎設施的需求從未如此高。傳統基礎設施通常難以滿足現代 AI 工作負載的需求，從而導致開發和部署流程中的瓶頸。隨著組織努力大規模部署 AI 模型和數據密集型應用，云原生技術已成為游戲規則的變革性變革。為了幫助組織完成其人工智能應用程序開發流程， NVIDIA 開發并驗證了 NVIDIA 云原生堆棧（CNS），這是一種開源參考架構，NVIDIA 用于測試和認證所有支持的人工智能軟件。借助 CNS，您可以運行和測試由 Kubernetes 編排的容器化 GPU 加速應用程序，并在支持這些功能的平臺上輕松訪問諸如 Multi-Instance GPU（MIG）和 GPUDirect RDMA 等功能。CNS 用于開發和測試目的，但在 CNS 上開發的應用程序隨后可以在基于企業 Kubernetes 的平臺上在生產環境中運行。

Source

]]>

使用 NVIDIA NIM Operator 在 Kubernetes 上管理 AI 推理流程

Mon, 30 Sep 2024 09:15:08 +0000

NVIDIA NIM 微服務是一套易于使用的云原生微服務，可縮短產品上市時間，并簡化生成式 AI 模型在云、數據中心、云和 NVIDIA GPU 加速工作站的部署，開發者對這些微服務表現出極大興趣。為滿足不同用例的需求，NVIDIA 正在推出各種打包的 AI 模型作為 NVIDIA NIM 微服務，以在生成式 AI 推理工作流中啟用關鍵功能。典型的生成式 AI 應用集成了多個不同的 NIM 微服務。例如，在 RAG 工作流中，多回合對話式 AI 使用 LLM、嵌入和重新排序 NIM 微服務。這些微服務的部署和生命周期管理及其對生產環境中的生成式 AI 工作流的依賴項可能會給 MLOps 和 LLMOps 工程師以及 Kubernetes 集群管理員帶來額外的工作量。因此，NVIDIA 宣布推出 NVIDIA NIM Operator ，

Source

]]>