Yonggan Fu – NVIDIA 技術ブログ
http://www.open-lab.net/ja-jp/blog
Wed, 22 Jan 2025 08:38:06 +0000
ja
hourly
1
-
Hymba ハイブリッド ヘッド アーキテクチャが小規模言語モデルのパフォーマンスを向上
http://www.open-lab.net/ja-jp/blog/hymba-hybrid-head-architecture-boosts-small-language-model-performance/
Fri, 22 Nov 2024 08:01:01 +0000
http://www.open-lab.net/ja-jp/blog/?p=3108
Reading Time: 4 minutes Transformer は、その Attention ベースのアーキテクチャによる、強力なパフォーマンス、並列化能力、および KV (Key-Value) キャッシュを通じた長期記憶のおかげで、言語モデル (LM) の主 … Continued]]>
Reading Time: 4 minutes Transformer は、その Attention ベースのアーキテクチャによる、強力なパフォーマンス、並列化能力、および KV (Key-Value) キャッシュを通じた長期記憶のおかげで、言語モデル (LM) の主流となっています。しかし、二次計算コストと高いメモリ要求により、効率性に課題が生じています。これに対し、Mamba や Mamba-2 のような狀態空間モデル (SSMs) は、複雑さを一定にして効率的なハードウェア最適化を提供しますが、メモリ想起タスクが苦手でそれは一般的なベンチマークでのパフォーマンスに影響を與えています。 NVIDIA の研究者は最近、効率性とパフォーマンスの両方を向上させるために、Transformer の Attention メカニズムを SSM と統合したハイブリッド…
Source
]]>
3108
人人超碰97caoporen国产