自动化所成功将脑神经系统原理应用于类脑脉冲

研究人员表示,他们提出的模型特点在于计算机制上相比传统神经网络模型更具生物可解释性,在这种情况下,通过计算建模理解脑信息处理机制与过程的意义,以及由此带来的启发,要远大于对性能的追求。

论文链接

图1.三层脉冲神经网络架构

在这些学习准则中,神经元的动态分配、突触的生成与消亡、可塑性模型等被认为是脑神经网络处理信息的重要特性。研究团队将上述受脑启发的规则引入脉冲神经网络模型。

研究人员表示,模型性能的最优化并不是该研究追求的最终目标。团队提出的模型特点在于计算机制上相比传统神经网络模型更具生物可解释性,在这种情况下,通过计算建模理解脑信息处理机制与过程的意义,以及由此带来的启发,要远大于对性能的追求。

北京28官网 1

相比传统的人工神经元而言,脉冲神经元已具备更扎实的生物真实性,然而传统的脉冲神经网络模型仅仅抓住了脑信息处理过程中初步的局部学习训练法则。研究团队提出的7条学习准则都来源于对生物脑的实验研究,并各自从不同的侧面反映了生物网络的学习特性,如神经元的动态分配、突触的自适应生长和消亡机制、不同的突触可塑性学习机制(如不同类型的时序依赖突触可塑性)、网络背景噪声对学习的调控机制、兴奋性和抑制性神经元的比例对学习的调节机制等。

研究团队所提出的脉冲神经网络模型主要包含三部分:脉冲生成层、隐层、输出层。在脉冲生成层中,静态图像输入被转化为脉冲序列。在隐层中,神经元的动态分配、突触的生长消亡、不同类型的背景噪声、不同类型的脉冲时序依赖可塑性模型、兴奋和抑制性神经元被作为类脑的重要机制引入。在输出层,兴奋性神经元负责进行分类,抑制性神经元实现赢者通吃的机制。实验验证方面,研究采用了手写数数据集MNIST。

据此,中国科学院自动化研究所类脑智能研究中心团队研究员曾毅课题组提出以生物可塑性为核心的类脑脉冲神经网络,在MNIST手写识别任务中正确率接近人工神经网络水平,拉近了类脑脉冲神经网络与人工智能应用之间的距离。课题组主要遴选了两条生物可塑性规则作为研究对象:首先,任何的理论优化方法,其最终目的都是为网络实现稳定的功能表达,在微观尺度即是神经元的膜电位改变和输入电流达到平衡,在宏观尺度即是网络功能输出和信息输入达到平衡;其次,生物网络的训练中,突触权值往往是随着突触前后神经元放电的状态变化而被动的更新,如脉冲时序依赖的突触可塑性(Spike-Timing Dependent Plasticity,STDP)。基于上述两点规则的启发,研究将脉冲网络训练方法分为四个步骤:基于前馈的膜电位信息更新;基于输入输出稳态控制的膜电位信息更新;基于一层误差反馈的膜电位更新;基于STDP的由膜电位变化到突触变化的被动更新。“为了验证四个步骤网络训练的有效性,我们采用最简的三层脉冲神经网络进行测试,最终在MNIST任务上达到分类正确率为98.52%。据了解,这已是应用生物神经可塑性进行训练的纯脉冲神经网络应用到MNIST数据集上取得的最好结果,在我们的工作之前,最好的是2015年的一个结果,大致在95%左右。”研究人员介绍到,“这项研究使得类脑脉冲神经网络在MNIST手写数字识别问题上基本上具备了与深度神经网络的可比性。用脉冲神经元替换通过反向传播训练的人工神经网络上的神经元,可以构建卷积脉冲神经网络(Convolutional SNN),正确率甚至还可以进一步达到99.1%,但是这样的学习机制实际上仍然是人工神经网络和反向传播在发挥作用,而不是脉冲神经网络的能力,更不是真正的脑启发的学习机制。这项研究的模型具备相对更全面的生物合理性,更能反映智能的本质,揭示生物脑可塑性的原理应用到人工智能问题上的潜力”。

日前,中科院自动化研究所类脑智能研究中心研究员曾毅团队成员在一项研究中总结归纳了七条受脑启发的学习准则,并成功应用于改善脉冲神经网络。通过组合不同的受脑启发的规则,实验研究验证的结果是:随着越来越多的、经过仔细选择的、受脑启发的规则的引入,深层脉冲神经网络能够得到越来越好的分类性能。相关成果发布于《中国科学:信息科学》。

图1.通过不断引入不同的类脑机制提升脉冲神经网络的正确率

北京28官网 2

科学家将脑神经系统原理应用于类脑脉冲神经网络

该项研究工作的主要结论是:每一项引入的机制对于脉冲神经网络处理模式识别类问题都有自己独特的贡献,并且相互不可替代 。此外,在MNIST数据集上取得最好模式识别效率的兴奋性和抑制性神经元比例为15%抑制性神经元,85%兴奋性神经元,这与生物脑皮层感知区域的兴奋性与抑制性神经元比例近乎一致,从计算的视角初步佐证了脑神经系统在向解决认知任务优化的方向进化。相关研究成果发表于Science China Information Sciences

传统的基于误差反传的学习方法已经被证明可以很好地优化人工神经网络,然而其要求网络和神经元节点处处可微分,因此不适用于脉冲神经网络的优化,其原理也与生物脑的学习法则存在差距。目前还没有一套针对脉冲神经网络的通用训练方法。但是考虑到生物系统中自有一套可塑性学习机制指导着生物脉冲网络的学习和训练,因此以生物可塑性原理出发,最终启发得到脉冲神经网络的训练方法,将会是一个可能的途径。

实验表明,当引入精心选择的类脑机制后,模型的正确率会逐步提升。

图2.生物可塑性原理为核心的脉冲网络测试准确率

研究团队提出的7条学习准则都来源于对生物脑的实验研究,并各自从不同的侧面反映了生物网络的学习特性,如神经元的动态分配、突触的自适应生长和消亡机制、不同的突触可塑性学习机制(如不同类型的时序依赖突触可塑性)、网络背景噪声对学习的调控机制、兴奋性和抑制性神经元的比例对学习的调节机制等。

与传统人工神经网络相比,脉冲神经网络更接近人脑神经网络的工作机理,更适合用于揭示智能的本质,不但可以用来对脑神经系统进行建模,而且能够应用于解决人工智能的问题。脉冲神经网络具有膜电势的非线性积累、达到阈值后的脉冲放电以及放电后的不应期冷却等更加扎实的生物基础,这些特性在给脉冲神经网络提供了更加复杂的信息处理能力的同时,也为它的训练和优化带来了挑战。

北京28官网 3

相关研究成果已被第32届AAAI大会接收。

图2.两种抑制性神经元及其比例对模式识别类任务正确率的影响

虽然相比传统的人工神经元而言,脉冲神经元已具备更扎实的生物真实性,然而传统的脉冲神经网络模型仅仅抓住了脑信息处理过程中初步的局部学习训练法则。由于生物脑在学习过程中协同了若干个法则,因此不能奢望仅仅采用较少的法则设计的类脑脉冲神经网络模型就能够达到甚至超越生物脑的各种学习能力。

最近,中国科学院自动化研究所类脑智能研究中心研究员曾毅与团队成员在一项研究中总结归纳了七条受脑启发的学习准则,并成功应用于改善脉冲神经网络。通过组合不同的受脑启发的规则,实验研究验证了:随着越来越多的、经过仔细选择的、受脑启发的规则的引入,深层脉冲神经网络能够得到越来越好的分类性能。

在这些学习准则中,神经元的动态分配、突触的生成与消亡、可塑性模型等被认为是脑神经网络处理信息的重要特性。研究团队将上述受脑启发的规则引入脉冲神经网络模型,希望提升传统脉冲神经网络的效率。

北京28官网 4

本文由北京28官网发布于北京28官网,转载请注明出处:自动化所成功将脑神经系统原理应用于类脑脉冲