Transformer 很厉害，合起参阅《五倍吞吐量 ，使用」

1+1＞2 。使用SSM 和 Transformer 并不是替代非此即彼的两种架构
，早在去年就有研究者提出可使用 SSM 替代 Transformer，合起性能全面包围Transformer：新架构Mamba引爆AI圈》。使用这篇论文也得到了 Mamba 作者 Tri Dao 的替代点赞 ，参见文章《预训练无需注意力，合起扩展到4096个token不成问题，使用前些天基于 SSM 方法的替代 Mamba 更是异军突起，其不仅能轻松支持 65k token 长度的合起超长输入
，速度相比使用循环单元的使用 Transformer 足可提升十倍之多 ！而状态空间模型（SSM）则在长序列上的表现相当不俗。尤其是在处理长序列方面。推理吞吐量达到了 Transformer 的五倍之多 ，

近日公布的一篇 NeurIPS 2023 论文《Block-State Transformers》就采用了这种做法
，与BERT相当》
，而且计算效率还非常高 ，

但实际上 ，Mamba可以替代Transformer ，但并不完美，