2020最佳AI新基建年度榜
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给雷锋字幕组
发送

1

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

导语:本论文中,我们将要学习基于模型值函数的强化学习方法。


雷锋网按:这里是,雷锋字幕组编译的 ICRA 2018 系列,带你了解机器人与自动化领域的最新研究成果。

原标题 :Reinforcement Learning of Depth Stabilization with a Micro Diving Agent

翻译 | 张哥华    整理 | 凡江

强化学习是机器人在与环境交互中解决控制问题的方法。本论文中,我们将要学习基于模型值函数的强化学习方法,这种方法适用于部分机器人和光嵌入式系统。

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

一开始,我们设计了一个潜水体,它利用强化学习来模拟水下的稳定性。我们还利用试验来展示了一个小的潜水体对任务的学习能力,我们将这个潜水体设置成——它的状态被取决于它的深度和速度。

潜水体包含一个固定容量的的储水仓和一个可变容量的储水仓,后者用于驱动本体。

我们对其深度的稳定性的目标是,控制其可变储水容量以维持一个期望的深度。通过强化学习方法来解决这个控制问题,而不需要有系统先验知识或者是有驱动器动力知识。这种方法的挑战在于未知的流体效应,以及缓慢的非线性变化的驱动器动力。体积调整的时间常数与系统的动力匹配,可变容量储水仓相对于固定容量储水仓也是很小的,所以系统的最大控制力和最大约束力也是很小的。

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

在状态空间中包含了潜水体的深度和速度,这个图表就展示了其状态空间,在目标深度附近的区域决定了算法学习的区域,在这个分布里包含了 101 个状态。在此区域之外的每一个点都被当做是终止状态。

动作空间包含了两部分:一部分是减少可变储水仓的水量来提供浮力,另一部分增加可变储水仓的水量,来让潜水体算法收到一个损失,这个损失会惩罚潜水体,让其向期望的深度移动。除此之外,如果潜水体到达终止状态的位置,为了通过试验验证强化学习算法,一个小潜水体被设计和制造了出来。它的运行时间大约是 90 分钟,非易失性内存是 512 KB。

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

我们证明了在一个试验中,潜水体是能够从零学习到关于自身稳定性的规则。在左下角的图表中显示了潜水体在学习区域成功学习的运动轨迹。

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

视频链接:https://www.youtube.com/watch?v=F7g3K0PXWX4&t=5s

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

雷锋网(公众号:雷锋网)雷锋网

雷锋网原创文章,未经授权禁止转载。详情见转载须知

ICRA 2018 | 强化学习模拟水下稳定性,潜水体15分钟学会规则

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说