您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给杨晓凡
发送

0

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

本文作者:杨晓凡 编辑:郭奕欣 2018-01-31 15:05
导语:又对噪声鲁棒,又有可解释的规则

雷锋网 AI 科技评论按:深度学习的研究者们一直希望给神经网络加上显式的泛化能力,以便让它完成更困难的任务。DeepMind 近期也在这个方向上展开了研究并在 JAIR(Journal of Artificial Intelligence Research)杂志发表了论文,也在博客中以一个踢足球为引子介绍了论文的主要内容。雷锋网 AI 科技评论把博客内容编译如下。

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

假想你在踢足球。球到了你脚下,然后你打算把球传给没人盯防的前锋。这个看起来简单的动作,其实需要两种不同的思维。

首先,你需要认识到自己脚下有一个足球。这个认知动作需要直觉式的认识思维:你很难详细描述你是如何知道脚下有一个足球的,你只是看到了这个球而已。然后,你打算把球传给某一个前锋,做出这样的决策需要概念思维。这个决策是基于你自己的判断做出的:之所以你打算把球传给这个前锋,是因为没人盯防他。

这两种思维之间的区别让 DeepMind 的研究人员们感到非常有趣,因为这两种不同的思维刚好对应了两种不同的机器学习方法,那就是深度学习和符号程序生成(symbolic program synthesis)。深度学习的核心是直觉式的认知思维,而符号程序生成关注的是概念式的、基于规则的思维。两种系统各有所长,深度学习对有噪声数据的鲁棒性不错,但是难以解释,并且需要很多数据来训练;而符号化的系统解释起来就要简单得多,需要的训练数据也少得多,但是处理有噪声的数据就非常困难。人类的认知过程当然可以无缝衔接这两种不同的思考方式,但是在单个 AI 系统中同样实现这两种思维就不是一件简单的任务了。

DeepMind 的论文《Learning Explanatory Rules from Noisy Data》就研究了这个问题,表明在一个系统中综合直觉感知思考和可解释概念推理是可能的。这篇论文也发表在了 JAIR 杂志上。论文中介绍的系统,「∂ILP」,对噪声鲁棒、能高效地利用数据,而且能够产生可解释的规则。

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

在论文中,DeepMind 演示了 ∂ILP 在归纳任务中的表现。展示给系统的是成对的数字的图像,系统要做的是输出一个标签(0 或者 1)来表示左侧图中的数字是否小于右侧图中的数字。解决这样的任务就同时需要前面提到的两种思维:识别图像中的具体是哪个数字需要直觉性的认知思维,而足够泛化地理解「小于」关系则需要概念思维。

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

推理任务示例

对于一个标准的深度学习模型来说(比如带有 MLP 的卷积神经网络),如果给它足够的数据,它也能很快学会解决这个问题。一旦训练结束,给它看从未见过的对象对,它也能正确分类。可是如果想要它能正确地泛化,还是需要每一对数字都有很多个样本用来训练才行。这样的模型很善于做视觉任务的泛化:只要它看过所有测试集里有的每对数字(如下图绿色区域),它就能泛化到新的图像上。但是它做不了符号化思维的泛化:如果有一对数字是它没有见过的(如下图蓝色区域),它就没办法泛化。Gary Marcus 和 Joel Grus 等研究者最近也在文章中指出了这一点,令人深思。

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

∂ILP 和标准神经网络的不同之处就是在于它能以符号化的方式泛化,而且它也和标准的符号化程序不一样,它可以泛化它的视觉能力。它从样本中学习到的显式程序是可阅读的、可解释的、可验证的。对 ∂ILP 来说,给它样本集中的一部分(和需要的结果),它就能产生一个可以满足它们的程序。它会用梯度下降搜索整个程序空间。如果程序的输出和参考数据中得到的理想输出不一致,系统就会引导程序更新,让输出更符合数据。

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

图中是 ∂ILP 的训练循环

论文中介绍的系统 ∂ILP 可以符号化地泛化。当它看过「x<y」、「y<z」、「x<z」的样本之后,它就会考虑「<」这个关系有可能是传递性的。当它确认了这个通用规则之后,它就可以把它用在一对以前从来没有见过的数字上。

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

「<」关系的实验结果总结如图:标准的深度神经网络(蓝色曲线)面对没有见过的数字就无法正确泛化。相比之下,∂ILP(绿色曲线)就能够取得很低的测试错误率,即便它只见过所有数字对中的 40%。这就表明了它可以完成符号化的泛化。

DeepMind 的研究人员们认为,他们的这项成果某种程度上回答了「在深度神经网络中实现符号化泛化有没有可能」这个问题。在未来的研究中,他们还打算把类似 ∂ILP 这样的系统集成到强化学习智能体和更大的深度学习模型中。他们希望赋予智能体新的能力,不仅要能够推理,还要懂得做出即时反应。

论文地址:http://www.jair.org/media/5714/live-5714-10391-jair.pdf

via DeepMind Blog,雷锋网 AI 科技评论编译

相关文章:

李飞飞:在物体识别之后,计算机视觉还要多久才能理解这个世界 | IROS 2017

DeepMind 开源虚拟实验室 Psychlab,利用认知心理学对智能体进行研究

DeepMind眼中的神经科学研究:人工智能进步的另一个重要支点

雷峰网版权文章,未经授权禁止转载。详情见转载须知

既要深度学习又要符号化推理,DeepMind 新 JAIR 论文小试牛刀

分享:
相关文章

读论文为生

日常笑点滴,学术死脑筋
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说