您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能学术 正文
发私信给杨晓凡
发送

0

王威廉组满分CVPR论文:遵照自然语言指令的室内导航

本文作者:杨晓凡 2019-03-05 10:08
导语:强化学习结合NLP结合视觉结合自监督学习

雷锋网 AI 科技评论按:CMU 博士、UC Santa Barbara 计算机科学系助理教授王威廉(William Wang)是学术圈内的积极分子,研究领域涵盖信息提取、社交媒体、语言和视觉、口语处理、机器学习理论和知识图谱等。王威廉也是社交媒体红人。

王威廉组的学术研究非常活跃,小组内常有顶会论文出现。根据王威廉微博介绍,他们组有 6 篇论文被自然语言处理顶级会议 NAACL 2019 接收,其中甚至包括来自二年级本科生同学的论文。近日随着 CVPR 2019 发榜,王威廉组王鑫同学与微软研究院的合作文章《Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation》也被 CVPR 接收。王威廉表示,“本文是CVPR满分文章(3个Strong Accept),在5165篇投稿文章中审稿得分排名第一。今天被程序委员会和领域主席评审团确定为CVPR口头报告论文,我们将在夏天在洛杉矶长滩市进行报告。”

雷锋网 AI 科技评论把论文内容简单介绍如下。

Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation

用于视觉-语言导航的强化跨模态匹配及自我监督模仿学习

论文地址http://arxiv.org/abs/1811.10092

论文简介:视觉-语言导航(Vision-language navigation,VLN)任务是指在真实的三维环境中让具有实体的智能体进行导航并完成自然语言指令。在这篇论文中,作者们研究了如何解决这个任务中的三个重点挑战:跨模态参照,糟糕的反馈,以及泛化问题。作者们首先提出了一种新的强化跨模态匹配(RCM)方法,它可以通过强化学习的方式同时促进局部和全局的跨模态参照。具体来说,他们使用了一个匹配指标,它成为了鼓励模型增强外部指令和运动轨迹之间匹配的固有反馈;模型也使用了一个推理导航器,它用来在局部视觉场景中执行跨模态参照。在一个 VLN benchmark 数据集上进行的评估结果表明,作者们提出的 RCM 模型大幅超越已有模型,SPL 分数提高了 10%,成为了新的 SOTA。为了提高学习到的策略的泛化性,作者们还进一步提出了一个自监督模仿学习(SIL)方法,通过模仿自己以往的良好决策的方式探索未曾见过的环境。作者们表明了 SIL 可以逼近出更好、更高效的策略,这极大程度减小了智能体在见过和未见过的环境中的成功率表现的差别(从 30.7% 降低到 11.7%)。

王威廉组满分CVPR论文:遵照自然语言指令的室内导航

任务示意图 —— 人类给定指令:右转,面朝厨房。然后左转,从一张桌子旁边经过,进入走廊。沿着走廊继续走,拐进右手边没有门的那个门廊。在厕所门口停下来。

由于他们提出的学习框架是模块化的、不依赖模型的,其中的组件未来都可以继续分别作出改进。论文中的 ablation study 也表明了每个组件各自的效果。

论文原文见 http://arxiv.org/abs/1811.10092

雷锋网 AI 科技评论报道

雷峰网原创文章,未经授权禁止转载。详情见转载须知

王威廉组满分CVPR论文:遵照自然语言指令的室内导航

分享:
相关文章

读论文为生

日常笑点滴,学术死脑筋
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说