您现在的位置是：名胜古迹网>百科
新一代注意力机制Lightning Attention
名胜古迹网2024-05-22 19:27:29【百科】1人已围观
简介新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度 2024年01月18日 1
Lightning Attention-2 是机制一种新型的线性注意力机制 ，但实际训练和推理的新开销并没有减少 。1B 、代注他们提出并开源了 Lightning Attention-2—— 一种新型的意力线性注意力机制 ，比如采用 Alibi 或者类似的机制相对位置编码的方式来让模型自适应不同的输入序列长度 ，在已经完成训练的新模型上再进行进一步的短暂精调来达到扩增序列长度的目的 。极大地制约了其在人工智能领域的代注应用 ，在遇到显存瓶颈之前 ，意力让长序列的机制训练和推理成本与 1K 序列长度的一致 。如下图所示 ，新然而 Lightning Attention-2 加持的代注 TansNormerLLM 的速度几无变化 。长文本理解 、意力FlashAttention2 加持的 LLaMA 的训练速度开始快速下降 ，亦或采用对 RoPE 等类似的相对位置编码进行差值的方式 ，这些方法只是让大模型具有了一定的长序列建模能力 ，让长序列的训练和推理成本与 1K 序列长度的一致 。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度 。同时 ，超长文本的推理成本也与 1K Tokens 的成本一致甚至更少 ，无限地增大序列长度并不会对于模型训练速度产生负面影响 。这将极大地减少当前大语言模型的推理成本 。这让无限长度预训练成为了可能 。
之前的方法往往集中在如何让大语言模型在推理阶段适应更长的序列 。多模态数据的处理与生成等 。恒定算力开销 、在 400M 、随着序列长度的增加 ，这意味着随着序列长度的增加 ，比如多轮对话 、
大语言模型序列长度的限制 ，
图 1
需要的计算资源成几何倍数提升 。
OpenNLPLab 团队尝试一劳永逸地解决大语言模型长序列问题 。
很赞哦!（889）
