Posts by Shizhe Diao
Generative AI
2024 年 11 月 22 日
Hymba ハイブリッド ヘッド アーキテクチャが小規模言語モデルのパフォーマンスを向上
Hymba 1.5B は、同様の規模である最先端のオープンソース モデルと比べ、良好なパフォーマンスを発揮し、同等のサイズの Transformer モデルで比較すると、Hymba はより高いスループットを発揮し、キャッシュを保存するために必要なメモリが 10 分の 1 で済みます。
4 MIN READ
