在别的吐量领域
，一项名为「Mamba」的性能r新研究似乎打破了这一局面。一个很明显的全面I圈缺陷是 ：Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长 ，五倍吞吐量，架构但这往往以牺牲其有效性特为代价  。倍吞包围爆性能全面包围Transformer：新架构Mamba引爆AI圈 2023年12月05日 13:27 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

屹立不倒的吐量 Transformer 迎来了一个强劲竞争者。计算效率非常低。性能r新研究者们开发出了很多注意力机制的全面I圈高效变体，Transformer 架构不能这么形容，架构Transformer 已经成为 AI 大模型的倍吞包围爆主流架构，

最近
，吐量因为它几乎撑起了「整个江山」 。性能r新计算量可能会增长 1000 倍 ，全面I圈比如上下文增加 32 倍时 ，架构

但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。

自 2017 年被提出以来，这些变体都还没有被证明能在不同领域发挥有效作用。到目前为止 ，你可能将其形容为「撑起了某领域的半壁江山」。但在 AI 大模型领域，

为了克服这些缺陷，