JR Morgan – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。Tue, 29 Oct 2024 06:54:52 +0000zh-CN
hourly
1 196178272借助 Google Kubernetes Engine 和 NVIDIA NIM 實現高性能 AI 推理擴展
http://www.open-lab.net/zh-cn/blog/scale-high-performance-ai-inference-with-google-kubernetes-engine-and-nvidia-nim/
Wed, 16 Oct 2024 06:50:10 +0000http://www.open-lab.net/zh-cn/blog/?p=11724Continued]]>AI 模型的快速演進推動了對更高效、更可擴展的推理解決方案的需求。在企業組織努力利用 AI 的強大功能時，他們在部署、管理和擴展 AI 推理工作負載方面面臨挑戰。 NVIDIA NIM 和 Google Kubernetes Engine (GKE) 共同提供了應對這些挑戰的強大解決方案。NVIDIA 與 Google Cloud 合作，在 GKE 上引入 NVIDIA NIM，以加速 AI 推理，通過 Google Cloud Marketplace 提供的簡化部署，在大規模提供安全、可靠和高性能的推理。 NVIDIA NIM 是 NVIDIA AI Enterprise 軟件平臺的一部分，現已在 Google Cloud Marketplace 上提供。它是一套易于使用的微服務，旨在安全、可靠地部署高性能 AI 模型推理。NIM 現已與 GKE 集成，