劉霖 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Mon, 02 Sep 2024 07:43:35 +0000 zh-CN hourly 1 196178272 使用 NVIDIA NIM 在阿里云容器服務(ACK)中加速 LLM 推理 http://www.open-lab.net/zh-cn/blog/nim-aliyun-accelerates-llm-inference/ Mon, 02 Sep 2024 07:41:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=11124 Continued]]> 大語言模型(LLM)是近年來發展迅猛并且激動人心的熱點話題,引入了許多新場景,滿足了各行各業的需求。隨著開源模型能力的不斷增強,越來越多的企業開始嘗試在生產環境中部署開源模型,將AI模型接入到現有的基礎設施,優化系統延遲和吞吐量,完善監控和安全等方面。然而要在生產環境中部署這一套模型推理服務過程復雜且耗時。為了簡化流程,幫助企業客戶加速部署生成式 AI 模型,本文結合 NVIDIA NIM (一套專為安全、可靠地部署高性能 AI 模型推理而設計的微服務,是一套易于使用的預構建容器化工具)和阿里云容器服務 ACK 等產品,提供了一套開箱即用,可以快速構建一個高性能、可觀測、靈活彈性的 LLM 模型推理服務的操作指南。 阿里云容器服務 Kubernetes 版 ACK(Container Service for…

Source

]]>
11124
人人超碰97caoporen国产