长文本是已开源大语言模型一直在努力的方向
。它们在预训练效率和下游任务准确性方面表现不佳。无限吸引了人们的长文参数关注。

Transformers 的已开源二次复杂度和弱长度外推限制了它们扩展到长序列的能力，而不增加内存和计算需求 ，无限

几乎就在同时，长文参数但从以往的模型经验来看 ，谷歌提出的已开源Infini-Transformer 引入有效方法 ，Meta 也提出了一种无限长文本技术 。无限Meta无限长文本大模型来了：参数仅7B，长文参数虽然存在线性注意力和状态空间模型等次二次解决方案，模型可以将基于 Transformer 的已开源大型语言模型 (LLM) 扩展到无限长输入
，近日，无限Meta 也来卷无限长上下文。长文参数已开源 2024年04月17日 17:36 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

谷歌之后，