劉霖 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Mon, 02 Sep 2024 07:43:35 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA NIM 在阿里云容器服務(ACK)中加速 LLM 推理
http://www.open-lab.net/zh-cn/blog/nim-aliyun-accelerates-llm-inference/
Mon, 02 Sep 2024 07:41:24 +0000
http://www.open-lab.net/zh-cn/blog/?p=11124
Continued]]>
大語言模型(LLM)是近年來發展迅猛并且激動人心的熱點話題,引入了許多新場景,滿足了各行各業的需求。隨著開源模型能力的不斷增強,越來越多的企業開始嘗試在生產環境中部署開源模型,將AI模型接入到現有的基礎設施,優化系統延遲和吞吐量,完善監控和安全等方面。然而要在生產環境中部署這一套模型推理服務過程復雜且耗時。為了簡化流程,幫助企業客戶加速部署生成式 AI 模型,本文結合 NVIDIA NIM (一套專為安全、可靠地部署高性能 AI 模型推理而設計的微服務,是一套易于使用的預構建容器化工具)和阿里云容器服務 ACK 等產品,提供了一套開箱即用,可以快速構建一個高性能、可觀測、靈活彈性的 LLM 模型推理服務的操作指南。 阿里云容器服務 Kubernetes 版 ACK(Container Service for…
Source
]]>
11124
人人超碰97caoporen国产