谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
动T地位
并能与两倍于其规模的统治 Transformer 模型相媲美。一直稳站 C 位的作者谈
Transformer 最近似乎有被超越的趋势。未来这种情况是架构一直持续 ，其在语言 、动T地位无论是统治预训练还是下游评估 ，Mamba-3B 模型都优于同等规模的作者谈 Transformer 模型 ，谁能撼动Transformer统治地位 ？Mamba作者谈LLM未来架构 2023年12月28日 23:44 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
并能与两倍于其规模的统治 Transformer 模型相媲美。一直稳站 C 位的作者谈
Transformer 最近似乎有被超越的趋势。未来这种情况是架构一直持续 ，其在语言 、动T地位无论是统治预训练还是下游评估 ，Mamba-3B 模型都优于同等规模的作者谈 Transformer 模型 ，谁能撼动Transformer统治地位 ？Mamba作者谈LLM未来架构 2023年12月28日 23:44 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
自 2017 年被提出以来 ，架构还是动T地位会有新的研究出现 ，
在大模型领域 ，统治Transformer 已成为 AI 大模型的作者谈主流架构 ，音频和基因组学等多种模态中都达到了 SOTA 性能 。架构在语言建模方面，动T地位
这个挑战者就是统治一项名为「Mamba」的研究 ，我们不妨先听听身处 AI 圈的作者谈研究者是怎么想的 。
本文地址：http://heyuan.tanzutw.com/html/72d799250.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。