Japinder Singh – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 09 Jan 2025 02:43:50 +0000
zh-CN
hourly
1
196178272 -
微調小型語言模型以提高代碼審查準確性
http://www.open-lab.net/zh-cn/blog/fine-tuning-small-language-models-to-optimize-code-review-accuracy/
Tue, 17 Dec 2024 10:01:01 +0000
http://www.open-lab.net/zh-cn/blog/?p=12508
Continued]]>
生成式 AI 通過 推動眾多 應用的創新和提高效率，正在改變企業。然而，采用大型 基礎模型 會帶來一些挑戰，包括高成本、慢性能、以及數據隱私問題。許多企業不愿與外部 LLM 提供商共享敏感代碼或數據。此外，雖然基礎 LLM 擅長處理一般任務，但它們通常需要大量的提示工程，才能在以企業為中心的特定用例中實現高準確性。 微調 小語言模型 (SLMs) 通常利用知識蒸餾等技術，為應對這些挑戰提供了極具吸引力的解決方案。這些較小的 LLM 可提供接近更大模型的性能，并且速度更快、成本效益更高。此外，SLMs 可以部署在本地或虛擬私有云 (VPCs) 中，使企業能夠確保敏感數據的安全。然而，微調較小的模型需要高質量的標記數據，而創建這些數據既耗時又昂貴。 本文介紹了一種自動微調方法，該方法通過使用數據飛輪策略來應對這些挑戰。數據飛輪策略是一種反饋驅動機制，可迭代地提高模型性能。
Source
]]>
12508
人人超碰97caoporen国产