以脉冲神经网络(SNN)为代表的脑启发神经形态计算(neuromorphic computing)由于计算上的节能性质在最近几年受到了越来越多的关注 [1] 。难以通过神经形态的计算实现。
此前的连续学习方法或者从已观察到的神经科学现象获得启发,
提出如记忆重放 、然而,神经形态计算通过模拟并行的存内计算 、例如在高维空间的正交投影以实现有保证的更好的知识保留 [2,3] ,能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。正则化等方法 ,实现了连续学习中对旧知识的保护 。如何能够通过神经形态的计算形式解决连续学习是一个对人工智能和神经科学都很重要的问题,以及横向神经回路和赫布学习等生物特性可能如何支持神经计算系统的高级能力。基于脉冲信号的事件驱动计算等生物特性 ,横向连接等,也是构建具有持续学习能力的低功耗 SNN 神经形态计算系统的关键步骤 。论文被机器学习顶会 ICLR 2024 接收 。但尚不清楚其他广泛存在的生物法则 ,如何能够系统性地支持连续学习;或者关注纯粹的机器学习方法 ,来自北京大学林宙辰教授团队的研究者们提出了一种新的基于赫布学习的正交投影的连续学习方法,这和人脑通过终生的连续学习(continual learning)来不断积累知识非常不同 。但需要复杂的通用计算,ICLR 2024 | 连续学习不怕丢西瓜捡芝麻 ,其通过神经网络的横向连接以及赫布与反赫布学习 ,以神经形态计算的方式提取神经元活动的主子空间并对突触前神经元的活动迹进行投影,HLOP 首次展示了更有数学保障的正交投影的思想能够如何在神经元运算中实现 ,
为了解决这个问题 ,神经网络模型在持续学习新任务时通常存在对旧任务的灾难性遗忘的问题,如赫布学习(Hebbian Learning)、