CCF-GAIR 2020
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
业界专题 正文
发私信给天诺
发送

2

Facebook的人工智能要靠这个人:Yann LeCun

本文作者:天诺 2014-08-15 17:40
导语:上世纪90年代末,他开发了一套图像压缩系统,希望可以扫描文件,让互联网上的人都能阅读。这项技术并没有获得成功,但是却给一个年轻人带来了启发,他就是Larry Page。1998年,Page还是研究生的时候在斯坦福大学听了LeCun的演讲,最终成为了谷歌的联合创始人

Facebook的人工智能要靠这个人:Yann LeCun

Yann LeCun是纽约大学终身教授,而扎克伯格最近更是亲任他为Facebook人工智能实验室负责人。为了表彰他在深度学习领域里的成就,IEEE计算机学会给他办法了著名的“神经网络先锋奖”。作为人工智能的一种形式,深度学习能够更好地模仿人类大脑,更重要的是,之前还很多人工智能研究人员还在公开嘲笑该领域,而仅仅过了几年,现在从谷歌,微软,到百度,Twitter,深度学习以及开始蔓延到整个商业科技世界了。

很多科技巨头正在挖掘一种特殊的深度学习,他们称之为卷积神经网络(convolutional neural networks),旨在构建更智能地的互联网服务,比如可以自动理解语言和识别图像。在谷歌,“卷积神经网络”帮助他们在安卓手机上开发语音识别系统;而百度则可以利用它开发全新的视觉搜索引擎。在这一领域里最负盛名的,非LeCun莫属。微软的Leon Bottou是LeCun早期合作人之一,他说道,“没有人比LeCun更能推动卷积神经网络发展了。”

实际上,深度学习从上世纪80年代开始并没有受到重视,一直到90年代才有所好转,但是LeCun一直坚持了下来,正如深度学习运动核心人物Geoffrey Hinton所说,“是LeCun高举着火炬,冲过了最黑暗的时代。”

LeCun和他的“LeNets”

在加盟Facebook之前,LeCun在贝尔实验室工作了超过20年,那里是全世界最著名的计算机研究实验室,诞生过许多伟大的产品。LeCun在贝尔实验室工作期间开发了一套能够识别手写数字的系统,并把它命名为LeNet。

自动识别银行支票,这是卷积神经网络第一次应由解决实际问题。“过去卷积网络就像是个小玩具,而Yann改变了这一切,他让这项技术能够大范围应用,解决实际问题,”Bottou说道。受到Yann LeCun的激励,另一位神经网络专家Kinihiko Fukushima在70年代和80年代发明了认知机(Congnitron)和新认知机(Neocognitron)。这些早期的神经网络,可以自己学习,靠自己从数据中选出各种模型,无需太多人为帮助。但是实现这一功能,在当时非常复杂,研究人员还无法完全搞清楚如何能让他们更好地工作。

此时出现了一种聪明的方法,可以减少卷积神经网络的错误,它就是“反向传播算法”。不过要理解反向传播,你首先要了解卷积神经网络是如何工作的。

卷积神经网络究竟是什么玩意儿?

其他神经网络一样,卷积网络是由互联层组织在一起的软件产物,和大脑中处理视觉信息的视觉皮层非常像。与众不同的是,他们在一个图像的多个位置上重复使用相同的滤镜,这意味着一旦这个网络学会识别,比如说在某个图片上识别出了一张脸,它就能在这张图的其他位置上找到其他脸(该功能同样适用于音频和文字)。

前段时间加入百度的吴恩达表示,卷积神经网络允许人工神经网络能够快速训练,因为他们所占用的内存非常小,你无须在图像上的每一个位置上都单独存储滤镜,因此非常适合构建可扩展的深度网络,卷积神经网络因此非常适合识别模型。

下面我们来看看反向传播。

你好,反向传播

反向传播是关于计算误差的一种算法,在一个神经网络中,用那个值来优化各神经网络层神经元之间的连接强度。Hinton,David Rumelhart,还有Ronald Williams提出了反向传播的一个版本,它可以立刻计算出多个输入的误差,之后得出一个平均值。这个值随后会反向传播回神经网络,从输出层到输入层。他们在1986年的《自然》杂志上发表了一篇论文,阐述了反向传播算法可以提高机器学习能力。

而此时的LeCun在巴黎紧张地开发自己的反向传播算法,LeCun并没有取平均值,他的反向传播算法版本每次会取到一个单独的样本数据,然后再计算错误。这种方法非常复杂,但是效果却不错,而且学习速度也更快。LeCun的LeNets深度学习网络可以被广泛应用在全球的ATM机和银行之中,它可以理解支票上写的是什么。但仍然存在很多质疑,LeCun说道,“不知何故,似乎现在还是无法说服计算机视觉领域圈子,他们仍然觉得卷积神经网络没什么价值。”其中部分原因,可能是因为这项技术虽然强大,但是没有人可以理解它为什么如此强大,而且这项技术的内部工作方式仍然是个谜。

关于人工智能未来的一个赌局

卷积神经网络受到了很多人的质疑,Vladinmir Vapnik就是其中之一,他是一名数学家,也是目前应用最广的人工智能模式之一的支持向量机之父。

1995年3月的一个下午,Vapnik和Larry Jackel(把LeCun招进贝尔实验室的人)打了一个赌。Jackel认为到2000年,我们能够明确了解人工神经网络能够发挥多大作用。Vapnik不同意这个观点,他认为就算到2005年,也没有人能够理解如何使用神经网络,与1995年的状况相差无几。他们的赌注是一顿奢华的晚餐,双方在证人面前签字画押,而LeCun则是第三方签名人,Bottou是非官方见证人。

Vapnik赢了一半,2000年,神经网络的内部工作原理基本上仍然被神秘所笼罩,甚至到现在也没什么改观,研究人员无法精确地判断出如何让神经网络更好地应用在现实生活之中。但是Jackel也赢了一半,对于LeCun来说这一半胜利更为重要。在2005年,深度神经网络仍然应用在银行和ATM机上,这完全得益于LeCun在上世纪80年代中后期和90年代初的工作成就。

未来会怎样?

实际上对于深度学习来说,这仅仅是个开始,包括LeCun在内的深度学习圈子仍然在优化这项技术。今天,卷积神经网络应用最广泛的地方都需要依靠监督学习。这意味着,如果你想要学习如何识别某个特定对象,那么你必须要列举好几个例子。想要真正像大脑那样进行无监督学习,还需要深度学习进一步探索。

“大脑无监督学习是如何实现的,我们还不得而知,我们还没有能力开发出一个类似大脑皮质的算法,”LeCun说道,“我们知道最终的答案是无监督学习,但是现在我们还没有找到这个答案。”

反向传播算法的未来也是一样,LeCun卷积神经网络背后的想法也许并不完美,但是就目前而言,它们已经是现在最先进的技术了。

LeCun的贡献

Facebook的人工智能要靠这个人:Yann LeCun

LeCun的工作已经远远超出了神经网络。上世纪90年代末,他开发了一套图像压缩系统,希望可以扫描文件,让互联网上的人都能阅读。这项技术并没有获得成功,但是却给一个年轻人带来了启发,他就是Larry Page。1998年,Page还是研究生的时候在斯坦福大学听了LeCun的演讲,最终成为了谷歌的联合创始人。

LeCun还致力于机器人技术和人工智能硬件。最近他在纽约大学创立了数字科学中心,并指导新一代人工智能研究人员,其中就包括了最近被Twitter收购的图像索引公司Madbits创始人Clement Fabaret。在LeCun的空闲时间,他还开发飞机模型。

扎克伯格力邀LeCun加盟一点都不奇怪,因为他希望让公司掌握的海量数据发挥更大价值。Facebook公司最近一直在忙于收购,比如虚拟现实公司Oculus,太阳能无人飞行器制造公司Ascenta,还有WhatsApp。这些产品必将受益于LeCun的人工智能技术。对于这次跳槽到Facebook,LeCun感到很兴奋,因为那里有他纽约大学的同事,另一位人工智能天才Rob Fergus。他们将一起把人工智能实验室发展成为一个世界级的研究机构,并与谷歌、微软、IBM、以及百度竞争。当然,最后我们回归本源,不要忘记著名的贝尔实验室,因为那里培育了很多技术,也是创新的发源地,包括深度学习。

VIA wired

相关内容

深度学习大牛Andrew Ng为何离开谷歌加盟百度?

 

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说