0
雷锋网按：类脑计算的概念可以追溯到20世纪80年代，历经40年，类脑计算依旧没有取得实际的成功，这引发了不少质疑。不过，近来的研究可以将参数从正常神经网络转移到尖峰神经元网络，以解决传统缺乏“学习规则”的问题。未来，尖峰神经元网络可能会成为主流。
四十年来，人们一直在努力构建模拟大脑结构的计算机。迄今为止，他们几乎没有取得任何实际的成功。但是，最近这种努力获得了一些令人惊讶的成绩。
今年La Jolla的Salk研究所的Terry Sejnowski研究实验室提出了一种使用标准形式的机器学习训练“尖峰”神经元（Spiking Neurons）的新方法，称为“递归神经网络”或“RNNs”。
Hava Siegelmann几十年来一直在开展计算机设计的开拓性工作，他与同事一起提出了一种尖峰神经元系统，可以实现“无监督”学习。
神经形态计算是指用各种方式构建类似大脑的计算。这个概念可以追溯到20世纪80年代早期传奇计算先驱Carver Mead，他对芯片中日益密集的晶体管集合如何最好地进行通信十分感兴趣。Mead认为晶体管之间的布线效率需要达到一定的大脑神经连接水平。
从那时起，已经有许多相关的研究项目，其中包括IBM的Almaden研究中心在圣何塞的Winfried Wilcke，还有TrueNorth芯片，以及英特尔的Loihi项目等。今年早些时候， Scott Fulton III 在神经形态计算方面有了一些有趣的进展。
到目前为止，这些项目几乎没有取得实际成功，引发了大量的质疑。在旧金山举行的国际固态电路会议期间，Facebook的人工智能研究负责人Yann LeCun就深度学习芯片的趋势发表了演讲。他对尖峰神经网络的工作有些不屑一顾。英特尔负责管Loihi项目的Mike Davies在会后表达强烈反对。Davies对LeCun的反击促使LeCun 在Facebook上再次攻击尖峰神经网络。
“AFAIK，尚未有明确证据表明尖峰神经元网络（在软件或硬件中）可以学习复杂的任务，”LeCun说。“事实上，我不确定任何尖峰神经网络是否已经接近现有普通神经网络的性能。”
但Sejnowski的实验室和Siegelmann在国防高级研究计划局的生物启发神经和动力系统实验室的团队提供了新的希望。
Salk研究所的Sejnowski 在4月与ZDNet对话时，他预测未来尖峰神经网络将发挥重要作用。“这将是另一次重大转变，可能会在未来五到十年内发生，”Sejnowski说。
Sejnowski说：“大脑非常有高效，其中一个使它高效的因素是它使用尖峰。如果有人能够使用尖峰神经元的模型，那么你需要的能量将会下降一千倍甚至更多。然后它会变得足够便宜，无处不在，就像手机中的传感器。“
因此，Sejnowski认为尖峰神经元可以成为推理的重要推动力，推理在电源受限的边缘计算设备（如移动电话）上进行预测任务。
机器学习先驱Terry Sejnowski和他在加利福尼亚州La Jolla的Salk研究所的团队开发了一种方法，将参数从正常神经网络转移到尖峰神经元网络，以解决传统缺乏“学习规则”的问题。Sejnowski预测，未来几年这种神经形态计算将发挥重要作用。
Sejnowski实验室的成果由Robert Kim，Yinghao Li和Sejnowski撰写，于3月发表，标题为《Simple Framework for Constructing Functional Spiking Recurrent Neural Networks》，该研究发布在Bioarxiv，描述了训练标准递归神经网络或“RNN”，然后将这些参数传递给尖峰神经网络。这个想法是为了解决尖峰神经元目前无法通过梯度下降（传统机器学习的关键）进行训练的情况。
换句话说，尖峰神经元不符合深度学习的标准学习规则。新的研究是一种所谓的“转移学习”，在一个地方设置参数并将它们带到一个新的地方，以克服尖峰神经元的缺点。
正如作者所解释的那样，“尖峰信号的不可微分性质阻止了使用基于梯度下降的方法来直接训练尖峰网络。”
“我们的方法包括使用基于梯度下降的方法训练连续可变速率RNN（递归神经网络），并将RNN网络的学习动态以及约束以一对一的方式传递给尖峰网络模型“。
DARPA生物启发神经和动力系统实验室的Hava Siegelmann及其同事声称使用改进的“投票”机制训练尖峰神经元的进展，该机制决定了各个神经元的输出。
“这是一个已经训练有素的网络，”Sejnowski解释道。“下一步将是对尖峰进行学习。我们认为我们也可以解决这个问题，但现在还处于早期阶段。”
至于谁将能实现这些电路还有待观察，尽管Sejnowski模糊地提到了像移动基带芯片的主要供应商高通这样的公司可能成为候选者的可能性。
西格尔曼集团在DARPA的工作具有类似的性质。题为《用于无监督特征学习的本地连接尖峰神经网络》于4月在arXiv上发表，该论文由Daniel J. Saunders，Devdhar Patel和Hananel Hazan以及Siegelmann和Robert Kozma撰写。
与Sejnowski的团队一样，Siegelmann的团队观察到问题是缺乏适当的训练程序或学习规则。“对于通用机器，从头开始对SNN进行强大学习训练的方法很少，”他们写道，“他们的能力具有高度的领域或数据集特性，为了获得好的性能，需要大量的数据预处理和超参数调整。“
为了应对这一挑战，Siegelmann的团队去年开发了一个名为“BindsNET”基于Python的编程软件包，他们在之前的研究中使用它来进行一种类似于Sejnowski团队的传递学习。（BindsNET发布在Github上。）
使用BindsNET，在当前的工作中，Siegelmann的团队模拟了由尖峰神经元组成的浅层人工神经网络。他们写道，浅网络（shallow network）类似于传统机器学习中的卷积神经网络。为了解决学习规则的问题，他们使用了一种称为“尖峰定时依赖的可塑性”或STDP（spike-timing-dependent plasticity），它作为一种投票机制，计算单个神经元响应数据触发的次数，以及触发的顺序。输入图像数据的神经元对其图像类别的候选者进行投票，并且他们的投票汇集形成图像分类器。
著名的MNIST手写数字数据库被用作测试，其中神经元的任务是对图像所代表的数字进行分类。
Siegelmann＆Co报告说，他们的神经网络结构被证明比其他具有尖峰神经元的方法更有效，这意味着它只需要更少的训练数据就能实现相同或更好的性能。在尖峰神经元的背景下，这个论文的重大成就是创建一种更有效的神经元排列，“通过学习分布式表示来划分和功课输入空间”。这意味着在训练期间只需要更少的训练样例来收敛，尖峰神经元可以更有效地向前发展。
Sejnowski团队和Siegelmann团队都表明他们的能量和智力活跃在神经形态计算的尖峰神经元角落。即使它还没有动摇怀疑论者，这个领域仍然值得关注。
雷锋网编译，via zdnet
2019 年 7 月 13 日举行的 CCF-GAIR 2019 类脑计算专场上，在主持人中国科学院计算所副研究员赵地的引领下，清华大学类脑计算研究中心主任施路平、北京大学信息科学技术学院教授吴思、中国科学院自动化研究所研究员余山、中国科学院半导体研究所副研究员刘力源将带来五场精彩纷呈的主题报告，带领大家走进类脑计算的最前沿。
全球人工智能与机器人峰会（CCF-GAIR） 由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。更多关于大会 & 购票的详情，欢迎登陆 https://gair.leiphone.com/gair/gair2019 进行查看。
相关文章：
跨出类脑芯片的关键一步，成立仅两年aiCTX有望先于IBM和Intel产业落地
想主导世界经济？必须在类脑计算这个领域领先丨CCF-GAIR 2019
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
