John Thomson – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 22 Jan 2025 06:11:04 +0000
zh-CN
hourly
1
196178272 -
在 NVIDIA TensorRT-LLM 中引入新型 KV 緩存重用優化策略
http://www.open-lab.net/zh-cn/blog/introducing-new-kv-cache-reuse-optimizations-in-nvidia-tensorrt-llm/
Thu, 16 Jan 2025 06:08:15 +0000
http://www.open-lab.net/zh-cn/blog/?p=12687
Continued]]>
語言模型通過預測下一個令牌 (給定所有先前的令牌，包括輸入文本令牌) 來生成文本。在 LLM 服務中，先前令牌的鍵和值元素用作歷史語境，用于生成下一組令牌。從先前的 token 中緩存這些關鍵和值元素可以避免昂貴的重新計算，并有效地提高吞吐量。但是，鍵值 (KV) 緩存會隨著語言模型的大小、批處理請求的數量和序列上下文長度呈線性增長，從而導致內存需求不斷增長。 NVIDIA TensorRT-LLM 可提供多種 KV 緩存優化，以在顯存大小增長與避免昂貴的重新計算之間實現具有挑戰性的平衡。TensorRT-LLM 是一個開源庫，可為 NVIDIA GPUs 上的眾多熱門大語言模型 ( LLMs ) 提供先進的推理支持。TensorRT-LLM KV 緩存包括多項優化，例如支持分頁 KV 緩存、量化 KV 緩存、循環緩沖區 KV 緩存和 KV 緩存重復使用 。 在本文中，
Source
]]>
12687
人人超碰97caoporen国产