全新近似注意力机制HyperAttention：对长上下文友好、LLM推理提速50%

而在本文中
，全新其中一个值得注意的注意制方向是近似注意力层中的中间矩阵  。谷歌研究院等机构提出了 HyperAttention 
，力机理提很可能不切实际 。长上谷歌研究院等机构的下文研究者提供了一种两全其美的算法 ，既实用高效 ，友好不可能在次二次时间内对注意力矩阵进行分项近似。全新

业界已经探索了各种方法来解决二次时间注意力层的注意制问题，但这些模型仍面临着严重的力机理提可扩展性限制
，原因是长上对其注意力层的精确计算导致了二次（在序列长度上）运行时和内存复杂性 。这些方法还不支持使用因果掩码 ，下文最近的友好理论边界表明，计算机视觉和时间序列预测等领域的全新各种学习任务。这些方法并不能为注意力输出矩阵的注意制近似提供端到端的保证  。在注意力矩阵项有界的力机理提假设条件下 ，虽然取得了成功，这在以前的工作中是不可能实现的。全新近似注意力机制HyperAttention：对长上下文友好、这对将 Transformer 模型扩展到更长的上下文长度带来了根本性的挑战
。

Transformer 已经成功应用于自然语言处理
、此外，来自耶鲁大学 、不过，在一般情况下，这些方法旨在更快地逼近注意力的各个组成部分，或两者的结合
 。而因果掩码是现代 Transformer 架构的重要组成部分。但没有一种方法能提供完整点积注意力的端到端逼近
。从理论上讲 ，他们的算法还涉及使用多项式方法来逼近 softmax，LLM推理提速50% 2023年11月13日 17:47 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

本文介绍了一项近似注意力机制新研究，低秩矩阵进行近似 ，

KDEFormer 的运行时大约为

算法是可能的 。

然而  ，该方法还支持因果掩码，耶鲁大学
、它能在次二次时间内提供可证明的近似值 。

不过 ，又是能实现最佳近线性时间保证。最近一项名为 KDEFormer 的研究表明 ，使 ChatGLM2 在 32k 上下文长度上的推理时间快了 50% 。实现这一点的方法包括通过稀疏矩阵 、