Juana Nakfour – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Fri, 14 Feb 2025 05:53:29 +0000
zh-CN
hourly
1
196178272 -
在 Kubernetes 上實現 NVIDIA NIM 微服務的水平自動縮放
http://www.open-lab.net/zh-cn/blog/horizontal-autoscaling-of-nvidia-nim-microservices-on-kubernetes/
Wed, 22 Jan 2025 05:51:06 +0000
http://www.open-lab.net/zh-cn/blog/?p=12926
Continued]]>
NVIDIA NIM 微服務是可部署在 Kubernetes 上的模型推理容器。在生產環境中，了解這些微服務的計算和內存配置對于制定成功的自動擴展計劃至關重要。 在本文中，我們將介紹如何通過適用于 LLMs 的 NVIDIA NIM 模型設置和使用 Kubernetes 橫向 Pod 自動擴展（HPA），以便根據特定的自定義指標自動擴展和縮小微服務。 要遵循本教程，您需要以下預備知識列表： 本教程中的第一步是使用適當的組件設置 Kubernetes 集群，以啟用指標丟棄和 Kubernetes HPA 服務的可用性。這需要以下組件： Metrics Server 負責從 Kubelets 中抓取資源指標，并通過 Metrics API 在 Kubernetes API Server 中公開這些指標。
Source
]]>
12926
人人超碰97caoporen国产