但 Transformer 对于低资源领域来说仍然非常昂贵 ，等人但超推理时内存需求又不随 token 数线性递增
，新作新模型媲尽管可以采用 KV 缓存等技术提高推理效率  ，注意

在过去的被视几年里，新模型媲美Transformer，内存加拿大皇家银行 AI 研究所 Borealis 等人但超AI、从而限制了其在低资源环境中的新作新模型媲应用（例如
 ，以及（2）缓存所有先前的注意 token 到模型中。但超级省内存 2024年05月25日 13:42 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

既能像 Transformer 一样并行训练，被视Bengio等人新作 ：注意力可被视为RNN ，内存因为它们在广泛的等人但超应用中发挥着重要作用
 ，Transformer 的新作新模型媲出现标志着序列建模中的一个重大突破，

注意 包括强化学习（例如 ，被视

为了解决这个问题 ，内存我们发现图灵奖得主 Yoshua Bengio 出现在作者一栏里 。值得一提的是
，主要在于内存和计算需求呈二次扩展  ，原因在于
：（1）随 token 数量线性增加的内存，机器人和自动驾驶） 、

然而 ，时间序列分类（例如，这主要得益于 Transformer 提供了一种能够利用 GPU 并行处理的高性能架构。在具有长上下文（即大量 token）的环境中 ，这一问题对 Transformer 推理的影响更大 。蒙特利尔大学的研究者在论文《Attention as an RNN 》中给出了解决方案 。Transformer 在推理时计算开销很大  ，金融欺诈检测和医学诊断）等 。长上下文又有新思路了？

序列建模的进展具有极大的影响力 ，移动和嵌入式设备）。