Mahesh Yeole – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 30 Apr 2025 08:55:00 +0000 zh-CN hourly 1 196178272 NVIDIA NIM Operator 2.0 借助 NVIDIA NeMo 微服務支持提高 AI 部署效率 http://www.open-lab.net/zh-cn/blog/nvidia-nim-operator-2-0-boosts-ai-deployment-with-nvidia-nemo-microservices-support/ Tue, 29 Apr 2025 08:49:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=13672 Continued]]> NVIDIA 的首個版本 NIM 運算符 簡化了推理工作流的部署和生命周期管理 NVIDIA NIM 微服務，減少 MLOps、LLMOps 工程師和 Kubernetes 管理員的工作負載。它支持在 Kubernetes 集群上輕松快速地部署、自動擴展和升級 NIM。 詳細了解首個版本 。 我們的客戶和合作伙伴一直在使用 NIM Operator 來高效管理其應用的推理流程，例如聊天機器人、代理式 RAG 和虛擬藥物研發。我們 Cisco Compute Solutions 團隊的合作伙伴正在使用 NIM Operator 部署適用于 RAG 的 NVIDIA AI Blueprint ，作為 Cisco Validated Design 的一部分。 “ 我們戰略性地將 NVIDIA NIM Operator 與 思科驗證設計 (CVD) 集成到我們的 AI…

Source

]]> 13672 使用 NVIDIA NIM Operator 在 Kubernetes 上管理 AI 推理流程 http://www.open-lab.net/zh-cn/blog/managing-ai-inference-pipelines-on-kubernetes-with-nvidia-nim-operator/ Mon, 30 Sep 2024 09:15:08 +0000 http://www.open-lab.net/zh-cn/blog/?p=11495 Continued]]> NVIDIA NIM 微服務 是一套易于使用的云原生微服務，可縮短產品上市時間，并簡化生成式 AI 模型在云、數據中心、云和 NVIDIA GPU 加速工作站的部署，開發者對這些微服務表現出極大興趣。 為滿足不同用例的需求，NVIDIA 正在推出各種打包的 AI 模型作為 NVIDIA NIM 微服務，以在 生成式 AI 推理工作流 中啟用關鍵功能。 典型的生成式 AI 應用集成了多個不同的 NIM 微服務。例如，在 RAG 工作流中，多回合對話式 AI 使用 LLM、嵌入和重新排序 NIM 微服務。這些微服務的部署和生命周期管理及其對生產環境中的生成式 AI 工作流的依賴項可能會給 MLOps 和 LLMOps 工程師以及 Kubernetes 集群管理員帶來額外的工作量。 因此，NVIDIA 宣布推出 NVIDIA NIM Operator ，

Source

]]> 11495 人人超碰97caoporen国产