Gomathy Venkata Krishnan – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Fri, 14 Feb 2025 03:16:27 +0000 zh-CN hourly 1 196178272 使用 NVIDIA NeMo 框架進行 LLM 模型剪枝和知識蒸餾 http://www.open-lab.net/zh-cn/blog/llm-model-pruning-and-knowledge-distillation-with-nvidia-nemo-framework/ Wed, 12 Feb 2025 03:10:23 +0000 http://www.open-lab.net/zh-cn/blog/?p=12841 Continued]]> 模型剪枝和知識蒸餾是功能強大且經濟高效的策略,用于從最初較大的同級獲得較小的語言模型。 在一篇“ 如何剪枝和蒸餾 Llama-3.1 8B ”博文中,討論了使用 大語言模型(LLM) 的最佳實踐,該模型將深度、寬度、注意力和 MLP 剪枝與基于蒸餾的知識重新訓練相結合。 在本文中,我們提供了一個關于 NVIDIA NeMo 框架中基于簡單數據集的剪枝和蒸餾工作流的演練教程。本教程使用 Meta-Llama-3.1-8B 作為教師模型,目標模型大小為 4B。我們還會可視化并討論訓練結果。 本教程重點介紹如何創建一個簡單的工作流,用于準備數據集,針對 WikiText-103-v1 數據集對教師進行微調,然后對模型進行剪枝和蒸餾以創建 4B 模型。WikiText-103-v1 數據集包含從維基百科上一系列經過驗證的“良好”和“精選”文章中提取的逾 100M…

Source

]]>
12841
人人超碰97caoporen国产