您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
国际 正文
发私信给AI科技评论
发送

0

AI前沿 | 谷歌DeepMind与牛津学者新论文,探讨智能系统的目标控制

本文作者:AI科技评论 2016-06-03 17:23
导语:今年8月,Russel教授和谷歌DeepMind CEO都将参加雷锋网举办的人工智能与机器人创新大会。

AI前沿 | 谷歌DeepMind与牛津学者新论文,探讨智能系统的目标控制 图片来源:inteligencia

编者按:机器智能研究院(MIRI)的研究宗旨是,确保比人类更加智能的机器系统会带来积极影响,研究领域包括:可靠的代理设计,如何设计可靠的AI系统执行人类交给它的任务;价值学习,如何设计学习系统,让系统能够学会人类的价值观;错误包容,如何设计配合人类操作员的系统,能够包容程序员不可避免的错误。

MIRI的研究人员来自全球顶尖大学及企业,《人工智能:现代方法》的联合作者Stuart Russel教授担任其研究顾问。今年8月,Russel教授和谷歌DeepMind CEO Demis Hassabis都将参加雷锋网(公众号:雷锋网)在深圳举办的人工智能与机器人峰会。

谷歌DeepMind研究科学家Laurent Orseau和牛津大学研究副教授、机器智能研究院(MIRI)Stuart Armstrong博士共同发表了一篇新论文,探讨包容错误的智能代理设计。论文《可安全干预的智能代理》将于本月底在纽约的第32届“人工智能中的不确定性”大会上呈现。论文摘要如下:

“强化学习中的智能代理在与复杂环境(例如真实世界)互动时,不可能永远都在最佳状态上。如果代理在人类的监督下进行实时操作,系统会时不时地需要人类来按下暂停键,防止代理持续进行一系列有害的行为——对代理或对环境有害的行为——并由人类来将代理带往安全的环境。然而,如果学习中的代理期望从原本要执行的行为中获得奖励,长此以往,它可能会学会避免此类的人类干预,例如,代理会让暂停键失效——这是我们不想要的结果。

这篇论文探索了一种方法,可以确保代理不会学会如何避免(或寻求)环境或者人类操作员对其进行干预。我们提供了安全干预的定义,探索了无监管下的学习特性,并证明有些代理已经可以安全地进行干预,例如Q-learning,或者可以简单转变为可安全干预的代理,例如Sarsa。我们的结论是,即便是理想的、不可计算的强化学习代理,在总体可计算的(决定论的)环境中,也可以转变为可安全干预的代理。”

Orseau和Armstrong的论文为解决矫正问题带来了一个新的视角。可矫正的代理指的是,能够识别到自身有缺陷、或者正在开发中的代理,并能帮助其操作员进行维护、改善或者自我替换,而不是抗拒这些操作。

在强人工智能系统中,矫正主要是为了在系统终极目标不正确的时候,避免不安全的收敛工具性政策(例如,保护其当前的目标系统未来不受修改影响的政策)。这让我们能够实施基于试错和学习的恰当方法,来解决AI价值规范的问题。

干预是为了让直觉性的矫正概念形式化。例如,“无关用途”是过往对另一种矫正的定义:系统不介意程序员修改其终极目标,因此能避免强迫程序员进行修改、或避免修改。而“可安全干预的代理”则试图定义另一种系统,不介意程序员修改其政策,不会阻止程序员干预它们的日常行为(也不会强迫程序员去干预)。

这样做的目标是,让代理认为没有未来干预时选择最优的政策。即便代理过去经历过干预,也会好像未来不会有任何干预一样行动。Orseau和Armstrong在论文中让我们看到,若干类型的代理是可以安全干预的,或者可以简单转变为可安全干预的代理。

点击链接下载Orseau和Armstrong的论文全文。

VIA MIRI

 AI前沿 | 谷歌DeepMind与牛津学者新论文,探讨智能系统的目标控制

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说