近日,清华大学1篇关于将神经模态计算和深度学习计算融会在同1块芯片(“天机芯”)的研究发表在了全球顶级自然科学期刊《自然》上,并且荣登杂志封面。该项研究取得全球顶尖杂志发表,证明了我国在神经模态和人工智能芯片研究走在了世界前列。那末,天机芯到底隐藏了甚么天机?本文将为大家仔细分析。

7年磨1剑的天机芯


天机芯是清华施路平团队历经7年打磨的芯片,使用28nm工艺流片。该芯片的最大特点是兼容包括神经模态脉冲神经网络、卷积神经网络和循环神经网络在内的多种神经网络同时运行。


目前来讲,以卷积神经网络(主要针对图象任务)和循环神经网络(主要针对语音和翻译任务)已得到学术界和工业界的广泛利用,也已有很多芯片(例如寒武纪等)问世。另1方面,对读者来讲神经模态脉冲神经网络比较陌生。从原理上说,脉冲神经网络和卷积神经网络/循环神经网络都是在模仿生物神经元之间连接和通讯的进程,辨别在于卷积神经网络/循环神经网络是使用宏观统计方法来描写生物神经元和突触,而脉冲神经网络则试图真正摹拟生物神经网络。在生物学中,1个神经元接收脉冲电荷并改变神经元的内部的电势能,当神经元电势能超过1定阈值后将会发射出脉冲,该脉冲1方面清空了发射脉冲神经元内部的电势,另1方面该脉冲会沿着神经突触进入其他神经元,并在其他神经元中积累电荷改变电势能,如此反复。大量神经元和突触之间构成的网络就是神经网络,而脉冲可以认为是神经元之间传递信息的方法。比较脉冲神经网络和卷积/循环神经网络,两种神经网络中都有神经元和神经元激活的概念;卷积神经网络/循环神经网络在前馈进程中每1个神经元的输出值即该进程中该神经元被激活的次数,而神经元之间的连接强度则用网络权重来表征,每1个神经元的输出乘以网络权重再传播给下1层的神经元,因此可以认为卷积神经网络/循环神经网络中的神经网络是使用数学计算的方法在模仿生物神经系统,神经网络并没有真正在发射脉冲而只是在做数学运算。与之相对,神经模态计算的前馈进程中,每1个神经元电路模块每被激活1次就会真的发射出1个电脉冲(而不是直接输出全部前馈进程中神经元被激活的次数)并传播给相连的其他神经元,因此可以认为神经模态计算是在真正重现生物神经系统的物理进程。


在天机芯之前,脉冲神经网络和卷积/循环神经网络芯片是截然不同的两种芯片,设计方法完全不同,例如IBM的True North是脉冲神经网络芯片,而寒武纪则是支持卷积/循环神经网络芯片,因此并没有任何1款芯片能同时兼容这两大类神经网络。而天机芯的天机,也恰恰在于提出了1种新的芯片架构能同时支持两种网络。




具体来讲,天机芯架构采取了众核架构,每1个核都可以自由配置成脉冲神经网络单元或卷积/循环神经网络单元,总共可以实现40000个神经元。因此,通过将不同的核配置成不同的神经网络单元,天机芯可以实现同时运行脉冲神经网络和卷积/循环神经网络。更重要的是,1个核还可以配置为兼容模式,即接受脉冲神经网络的输入(即电脉冲),并在计算后转化为卷积/循环神经网络的输出(即多比特的数字信号),或反之将卷积/循环神经网络的输入转化为脉冲神经网络输出。这样1来,天机芯就买通了脉冲神经网络和卷积/循环神经网络的界限,从而允许同1块芯片把两种神经网络融会在1起运行。在利用处景中,天机芯可以实现10倍以上的能效比。
天机芯为甚么能登上《自然》封面?


天机芯能登上《自然》封面,是由于天机芯有可能成为人类通往能人工智能的重要1步。通用人工智能(AGI)历来是《自然》和《科学》等顶尖杂志的关注要点,之前IBM的True North和Google的AlphaGo也登上了《自然》封面。


天机芯与通用人工智能的最大联系在于它买通了脉冲神经网络和传统深度学习(卷积/循环神经网络)。目前,传统深度学习神经网络在图象辨认等领域的表现乃至已超过了人脑,但是在抽象推理等能力上依然难以突破瓶颈。另1方面,脉冲神经网络由于和生物机理更接近,因此可望在神经元数量提升到1定数量后,能实现接近生物神经网络的性能,从而有可能实现抽象推理等高级脑部功能(但是具体是否是是能实现还需要看学界的下1步研究)。例如,脉冲神经网络非常善于自适应在线学习,因此可以弥补深度学习对数据量的需求,而天机芯可以为人工智能学界提供1个极好的研究脉冲神经网络做在线学习的研究平台。因此,通过结合深度学习和脉冲神经网络,天机芯可望能实现更进1步的机器智能。


除实现人工智能以外,天机芯的另1个用处是使用脉冲神经网络来做脑科学相干的研究。随着生物学和医学的发展,脑科学目前已成为人类亟待攻克的下1个重要课题,而使用脉冲神经网络来摹拟和研究脑部工作原理将成为脑科学研究中的重要组成部份。


综上,天机芯买通了脉冲神经网络和深度学习神经网络,因此为人工智能和脑科学研究带来了1种新平台,该平台可望在科学研究中成为下1代人工智能和脑科学的重要基础设施,因此得到学术界认可登上了《自然》杂志封面。
天机芯的价值所在


天机芯除在学术领域的重要意义以外,在芯片设计领域也有很高的价值,特别是对我国的半导体行业。这里的价值并非是狭义的完成了性能领先的人工智能芯片,而更是证明我国半导体业在下1代处理器架构领域能够跟上乃至引领潮流。


天机芯在中国处理器架构设计方面的第1个重要意义在于我国在众核处理器领域的进步。如前所述,天机芯通过众多核心互联和相互通讯可以灵活实现各种神经网络。这实际上是众核架构的典型利用,即芯片上的许多核心可以由编译器和软件来做调度,实现工作量的最优分割。这不单单需要芯片设计,还需要编译器技术能跟上,只有在软件和硬件都做好以后才能把众核处理器的性能充分发挥出来。因此,天机芯在众核处理器方面的探索可以说是我国半导体行业的1个重要标志性事件。


除众核以外,天机芯对异构计算和可重构计算的探索也走在了全球前列。随着摩尔定律遇到瓶颈,单纯通过半导体工艺节点已很难进1步推动处理器的性能,目前半导体业界的共鸣是使用异构计算的方法来进1步提升处理器性能,即在芯片上集成多个针对特定领域做优化的专用处理器,在遇到特定任务时调动专用的核来做处理,这样1来“特事特办”可以实现较高的性能和效率。但是,异构计算也存在1个问题,即在使用专用核来处理相应任务的时候,芯片上的其他部份即处于闲置状态,因此造成了芯片处理能力的浪费,即“暗硅问题”(dark silicon)。为了解决“暗硅”问题,1个可行的办法就是使用可重配置计算,即在不同的利用处景把同1块芯片配置成不同的模式,从而提升芯片针对不同利用处景的处理效率。但是,1旦加入可配置性,常常就意味着性能会相对专用化的设计打折扣。天机芯的设计哲学则很好地体现了在异构计算和可重配置之间的平衡。首先,在众核架构中,每1个核都可以配置成脉冲神经网络核或卷积/循环神经网络核,这体现了可重配置计算的思想;而在不同的核之间,可让1些核专门负责脉冲神经网络而另1部份负责卷积/循环神经网络,这又是体现了异构计算的思想。因此,可以说天机芯在下1代处理器架构需要解决的问题上提出了自己独特的思路,在全球走在了前列。


慎重声明:本文资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有,如有不愿意被转载的情况,请通知我们删除已转载的信息。发布此信息目的在于传播更多信息,与本网站立场无关。不保证该信息(包括但不限于文字、数据及图表)准确性、真实性、完全性等。