Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN

KAN 出现了 。用年迎挑在 Transformer 模型中 ，用年迎挑因为它们是用年迎挑机器学习中用于逼近非线性函数的默认方法。并且通常在没有后处理分析工具的用年迎挑情况下，例如 ，用年迎挑Transformer要变Kansformer ？用了几十年的用年迎挑MLP迎来挑战者KAN 2024年05月02日 16:34 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

MLP（多层感知器）用了几十年了 ，是用年迎挑当今深度学习模型的基础构建块。但它们存在明显的用年迎挑缺陷 。相对于注意力层来说 ，用年迎挑它们的用年迎挑可解释性较差 。

所以  ，用年迎挑

然而 ，用年迎挑MLP 几乎消耗了所有非嵌入式参数，用年迎挑真的用年迎挑没有别的选择了吗 ？

多层感知器（MLP），是用年迎挑否有一种 MLP 的替代选择？

今天 ，也被称为全连接前馈神经网络，

MLP 的重要性无论怎样强调都不为过，

MLP 是否就是我们能够构建的最佳非线性回归器呢？尽管 MLP 被广泛使用，