2020最佳AI新基建年度榜
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能学术 正文
发私信给蒋宝尚
发送

1

LSTM之父发文抨击本田奖:请尊重原创!

本文作者:蒋宝尚 2020-04-22 17:07
导语:强者越强的马太效应在学界同样适用

LSTM之父发文抨击本田奖:请尊重原创!

作者 | 蒋宝尚
编辑 | 丛 末

发明 LSTM 的大神Jürgen Schmidhuber和图灵三剑客在学术界的恩怨情仇是众所周知的事情了。

2015年的时候,在Hinton、Bengio、LeCun还未获得图灵奖之前,Jürgen就曾发文炮轰三位大神联合发表于 Nature 的综述文章“Deep Learning”。列出了九条条理由指责三巨头没有足够尊重前人的成果,没有提及深度学习之父、没有引用远古的BP思想等一些研究成果...... 

昨日,Jürgen再发博客批评2019年的本田奖颁给Hinton,博客主题是“停止把奖项颁给错误的人”,针对Hinton获奖的六条理由,给出了六条批评意见。

Jürgen:Hinton啥也不是 ,我才是奠基者! 

在文章中,c首先承认了Hinton在人工神经网络和深度学习方面做出了重大贡献,但批评本田奖的颁奖词把他人的根本发明归功于Hinton。

整篇博客围绕“Hinton 白嫖了前人以及我的工作贡献,却只字未提”论点,以公开发表的论文以及新闻稿为论据,有理有据的展开了论证工作。

1、本田奖:Hinton博士让深度学习广泛应用,包括创造了反向传播方法。

Jürgen:Hinton和他同事确实对深度学习做出了某些重大贡献,例如波尔兹曼机、胶囊网络等技术,但是将反向传播归功于他完全错误。且不说1985年那篇“反向传播”文章中,Hinton只是第二作者,而在这篇文章三年之前,将此方法用于神经网络的训练的思想就由Paul Werbos提出。

另外,1965年,Ivakhnenko和Lapa提出了第一个通用的、适用于任意多层的深层多层感知器的有效学习算法。

Ivakhnenko在1971年的论文已经描述了一个有8层的深度学习前馈网络,比1985年Hinton工作的要深得多.....这些奠基性的工作,Hinton近几年一嘴都没提过。

2、本田奖:2002年,Hinton提出了限制性波尔兹曼机器(RBM)的快速学习算法,此类方法让深度学习更加强大,也导致了目前的深度学习革命。

Jürgen:Hinton的神经网络无监督的预训与当前的深度学习革命无关。而且,他的深度前馈神经网络是我1991年类似工作的翻版。

Hinton在2006年的那份工作也和我使用的被称为神经历史压缩器类似。1993年我的方法已经能够解决先前一些无法解决的“非常深度学习”任务,然后,我们用更好的,纯监督的LSTM代替了历史压缩器(history compressor)。

所以说,我的实验室曾两次率先从无监督的转变监督学习,主导了2010年代初的深度学习革命。

3、本田奖:2009年,Hinton博士和他的两个学生利用多层神经网,在语音识别方面取得了重大突破,直接导致了语音识别能力的大幅提升。

Jürgen:这太扯了,最棒的端到端神经语音识别器是基于我的两个方法:1.长期短期记忆;2.连接主义时序分类算法。在2017年的时候,我们的团队就成功地将时序分类算法(CTC)训练的LSTM应用于语音。到2015年时候,CTC-LSTM大大改善了Google的语音识别技术。几乎所有的智能手机都支持这种功能。Google的2019 年设备语音识别(2019年不再在服务器上)仍基于 LSTM。

4、本田奖:2012年,Hinton博士和另外两名学生的工作彻底改变了计算机视觉。

Jürgen:Hinton的团队成功主要归功于用于加速CNN的GPU。

2011年的时候,我在瑞士的团队就做出了基于GPU的CNN,称作DanNet的网络实际上是第一个突破,他比早期网络更加深,而且当时它就表明:深度学习的效果远远好于现有的最先进的图像识别对象。

DanNet在2011年硅谷的IJCNN大会上大放异彩的成绩就充分说明了这一点。如今IBM、西门子、谷歌和许多初创公司都在用这种方法。

现代计算机视觉的大部分工作都是我2011年的延伸。

5、本田奖:Hinton发明了“dropout”。

Jürgen:“dropout”实际上是Hanson早先的随机Delta规则的一种变体。Hinton在2012年发表的论文并未引用这一点。此外,我们已经在2011年证明,dropout对于赢得计算机视觉竞赛并获得超过人类的成绩并不是必要的 ,唯一真正重要的任务是使CNN在GPU上更深、更快。

6、本田奖:Hinton的贡献史无前例、不可或缺。 

Jürgen:我才是!当前在计算机视觉、语音识别、语言处理、手写识别、机器人技术、游戏、医疗影像等领域产出的应用,其中2~6都依赖于我们的LSTM。

网友评论:Schmidhuber不正确!

这篇批判文章,距离本田奖的颁发已经有半年之久,经过这么长时间的准备,Schmidhuber用近百篇参考文献证明,本田奖颁给Hinton就是个错误。

Schmidhuber认为:Hinton最引人注目的工作是推广了其他人创造的方法,而且从来没有在论文中提到来源。本田应该纠正这一点,不应该把不属于他的原创工作归结到他的身上,也不该让企业公关行为扭曲了科学事实。

此文一出迅速在reddit上面引起广泛讨论,批评支持皆有,但批评居多。大家都在说,发明人或许很重要,但是最重要的人是传播者,Hinton获得多类奖项合情合理。

LSTM之父发文抨击本田奖:请尊重原创!

(雷锋网(公众号:雷锋网)

Jürgen很棒,但是没有三巨头,我们不会用BP来训练神经网络。  

LSTM之父发文抨击本田奖:请尊重原创!

(雷锋网)

BP在数学上很普通,重要的是,Hinton将它引入了神经网络!

LSTM之父发文抨击本田奖:请尊重原创!

(雷锋网)

我们应该把奖颁给实际改变世界的人,而不是仅仅第一个发明或者发现事物的人!       

LSTM之父发文抨击本田奖:请尊重原创!

还有人提出疑问:那么我该在论文中引用Schmidhuber和Hinton么? 

Schmidhuber:整个学术界都想遗忘的大神

在2019年,在图灵奖颁发给深度学习三巨头:Yoshua Bengio、Geoffrey Hinton、Yann LeCun的时候,有不少人质疑为什么奖项不颁发给Schmidhuber,若单论贡献Schmidhuber也是深度学习先驱者,他发明的LSTM对学术界和工业界的影响不亚于获图灵奖的某个人。

LSTM之父发文抨击本田奖:请尊重原创!

国内著名学者周志华认为 LSTM 是教科书级的贡献。做为瑞士Dalle Molle人工智能研究所的联合主任,除了在1997年提出LSTM之外,他还在1992年提出的一种PM(Predictability Minimization)模型,或者或为GAN的变种。

2011年JürgenSchmidhuber还与他的博士后学生在GPU上实现CNN(卷积神经网络)的显著加速,现在这种方法已经成为计算机视觉领域的核心。

LSTM之父发文抨击本田奖:请尊重原创!

而在谷歌学术上,Schmidhuber的LSTM就已经超越反向传播,登顶20世纪AI论文高引第一名。如此优秀的学者,在学界总是充满争议,是因为他的研究总是和其他人的研究莫名撞车,不光和图灵奖三剑客有过纠纷,还曾跟Ian Goodfellow争吵过GAN到底算谁的。

LSTM之父发文抨击本田奖:请尊重原创!

《硅谷钢铁侠》的作者在2018年5月写过一篇Jürgen Schmidhuber的特稿,题目是《这个人是AI圈想要忘记的教父》。这篇文章提到,在大多数学术界之外,Schmidhuber仍然很不为人知。主要是因为学术圈里的同伴不喜欢他,不少同行评价他自私、狡猾,给人带来痛苦。

由于Schmidhuber频繁在学术期刊和会议上怼研究人员,打断他人演讲要求同行承认他们借用甚至窃取了他的想法,后来业内创造了一个动词”Schmidhubered“,谁被别人攻击了就可以用Schmidhubered。

LeCun也曾在一封email回复中写道:“Jürgen 对众人的认可过于痴迷,总是说自己没有得到应得的很多东西。几乎是惯性地,他总是在别人每次讲话结束时都要站起来,说刚刚提出的成果有他的功劳,大体上看,这种行为并不合理。” 

奖项是否能够代表贡献?

我们顺着LeCun的回复思考,痴迷于众人的认可是否重要?或者说奖项是否能够代表贡献?这个回答从历史的角度来看似乎能够说句“是”。

学过微积分的都知道,有个基本定理称为牛顿-莱布尼茨公式,牛顿和莱布尼兹在谁是微积的创立者上,二人曾争论不休。鉴于当时牛顿皇家学会社会地位,如果莱布尼茨不拿出命来争,恐怕这个定理会被改名为牛顿公式,那么他的贡献也会被埋没。

定理的命名何不看做是一种奖项?能够让自己的工作得到别人的认可,知道自己研究能够带给别人帮助是顶尖科学家毕生的追求。如果奖项不本着公平、公正的态度,如果奖项的评选让资本、势力来干预,那会寒了做科研人的心。

这种资本操控技术认可的例子在科学历史上不是没有发生过,例如还是青年的特斯拉就因为资本的势力被爱迪生将27项专利转入爱迪生通用公司。获得资本加持的爱迪生如今还在小学教科书上表现为一生拥有2000多项发明、1000多项专利,一天不申请专利就浑身难受的发明狂人。

事实上,爱迪生一生发明无数,但不少都是其公司工程师研究出来的,然后强行以他的名字申请专利。他抢先注册了不少别人的专利,从而构建了专利网络来打压对手。而特斯拉晚年凄凉、穷困潦倒,最终死在了纽约一旅馆3327房间,并留下一大笔债务未还。

所以,强者愈强,弱者愈弱的马太效应在学界上也适用,如果在学术上能够获得非常多的奖项,那么更多的奖项也会随之而来,也会有更多的话语权。

LSTM的发明人Schmidhuber的处境或许没有莱布尼兹和特斯拉那么困顿,那种声嘶力竭要求认可,要求有更多的“奖项”,要求在论文中尊重原创者的做法非常相似。

目前Schmidhuber的心情或许可以用下面的这张图片表现,虽然两者表达的不是一个事情,但都表现出了那种绝望,“我真只吃了一碗”可以换成“这项工作真是我的”。  

LSTM之父发文抨击本田奖:请尊重原创!

雷锋网原创文章,未经授权禁止转载。详情见转载须知

LSTM之父发文抨击本田奖:请尊重原创!

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说