为了解决这个问题，团队提出如何系统性地设计具有万有逼近性质的逼近神经网络架构 ，稳定网络训练 ，性质论文被人工智能顶刊 TPAMI 接收 。络架并利用提出的设计框架设计了 ConvNext 、神经网络架构搜索（NAS）[1] 、阶优具有经网北京大学林宙辰教授团队提出了一种易于操作的化算基于优化算法设计具有万有逼近性质保障的神经网络架构的方法 ，但其通常需要一个显式的法启发北方法目标函数 ，论文还通过分析神经网络微分方程（NODE）的大林的神逼近性质首次证明了具有一般跨层连接的神经网络的万有逼近性质 ，实际上，宙辰这些设计方法在一定程度上失去了网络的先验性能保障 。在实际中 ，都很难在网络设计中考虑万有逼近性质 。目前 ，一阶优化算法启发 ，基于优化的神经网络设计虽然相对更具解释性，我们通常只能考虑有限宽的网络结构 ，现有经典神经网络架构设计大多忽略了网络的万有逼近性质 —— 这是神经网络具备强大性能的关键因素之一 。而这方面的表示分析的结果十分有限 。还是黑箱性质的神经网络架构搜索 ，从优化算法的角度设计网络结构。该方法通常在有显式目标函数的情况下 ，限制了其应用范围。就可以系统性地设计具有万有逼近性质的神经网络架构 ，经典的网络架构设计方法包括人工设计、以及基于优化的网络设计方法 [2] 。
然而 ，
这使得设计的网络结构种类有限，再根据实际应用问题对模块结构进行调整 ，取得了超越 baseline 的结果 。并且可以与现有大多数基于模块的网络设计的方法无缝结合。提高计算效率。其通过将基于梯度的一阶优化算法的梯度项映射为具有一定性质的神经网络模块 ，无论是启发性的人工设计，在实践中 ，ViT 的变种网络 ，人工设计的网络架构如 ResNet 等；神经网络架构搜索则通过搜索或强化学习的方式在搜索空间中寻找最佳网络结构；基于优化的设计方法中的一种主流范式是算法展开（algorithm unrolling） ，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法 2024年04月15日 12:14 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。