互联网+ 电子商务 智能家居 地理信息 高端装备 信息安全 3D打印 工业4.0 人工智能 光伏 新能源汽车 消费品 集成电路 移动支付 汽车 数据中心
2018智能制造生态建设论坛
当前位置:首页 > 产业动态 > 战新 > 高端装备 > 正文

基于动态运动单元的机器人学习系统

发布时间: 2018-06-22 15:53   作者: 刘忠轩   来源: 人工智能杂志

       机器人学习是指机器人通过自主学习获得新的任务执行能力并提高执行的效果。这种能力是机器人从传统的依赖于人编程且相对固定环境的应用进入服务机器人领域所必然面对的挑战。针对实际应用环境,机器人学习系统需要具有基于极少量的实验就学会新技能的能力,在学习过程中保证安全,方便用户增加新的任务,对于环境、任务及机器人自身的变化进行快速调整,且能够应对海量机器人并行学习、大量任务在线更新等挑战。基于动态运动单元的机器人学习系统拥有复杂任务的高效学习能力,成为解决上述难题、提高服务机器人学习能力的有力方法。本文就这类方法的背景、进展与英特尔进行的相关研究进行了系统介绍。

  一、机器人学习

  对于机器人的想像几乎伴随着人类社会的历史,尤其是有了电影记录以来,从超能陆战队到超能查派,从机器人与弗兰克到太空旅客,人们对于机器人的想象越来越具象化。虽然这些机器人有各种形态,但共同的是这些机器人都具有多种多样的功能与极强的适应能力,而这点与我们真实看到的具有行动能力的机器人(主要是工业机器人和扫地机器人)有很大的不同。那么如何让机器人具有多样化且能自适应的能力就成为服务机器人应用的挑战,这个挑战实际上就是要让机器人具有学习能力,包括对于新的技能的学习以及在执行技能时具有自我优化的能力。虽然像扫地机器人这样的机器人具有一定的未知场景的适应能力,但当我们需要机器人去做更复杂的任务如端茶倒水、开门关门、擦桌做饭等时,都需要控制机械臂来自适应地执行多样化任务。

  机器人学习技术一般分为模仿学习和强化学习。模仿学习是让机器人通过模仿人的行为学习新的技能,而强化学习是让机器人优化技能执行的实际效果。模仿学习是强化学习初始化和提高学习效率的重要方式。

  强化学习的基本过程是通过给定当前状态及其回报优化下一步行为,来最大化从环境获得的预期回报。机器人强化学习面对的问题分为两类:无限时间问题和有限时间问题。前者包括:稳定运动如平衡问题、将摆摇到向上问题等,韵律运动如走路、弹琴、拍球等;后者包括:打乒乓球、摇(连线的)球入杯、平底锅翻饼、物体操作等。

  相比于其他强化学习问题如玩电脑游戏、优化神经网络参数等问题不同,机器人强化学习[1]面临着一系列独特挑战:首先是其要对于高维连续状态与行为空间和大量任务进行优化;其次是因为要在实际机器上运行所以采集数据成本高昂且采集数据具有感知噪声;另外算法在执行探索过程中不能破坏机器人且需要产生尽可能平滑的轨迹以方便提高控制精度。机器人强化学习方法分为两类:一类是基于过程的方法,即将机器人完成任务的过程进行参数化从而对这些参数进行优化,其具有采样效率高、获得轨迹平滑,不足之处是不好引入传感器反馈实时调整;另一类是基于步骤的方法,即对机器人完成任务每一步的行为进行优化,其特点与前者相反。而基于动态运动单元的策略搜索方法属于前者,其可以通过对动态运动单元参数搜索和模仿学习来压缩问题搜索空间,通过局部策略搜索来进行安全的策略更新,通过运动单元本身所具有的光滑性能来产生平滑的轨迹。

  机器人模仿学习[2]由于引入人的示教可以大大加快机器人学习的速度,所以近年来获得了研究和工程界的关注。机器人模仿学习的方法也分为两类:一类是行为克隆,即直接将人的运动轨迹映射到机器人各关节的运动轨迹上;另一类是逆强化学习,即通过观察人的行动得出行为的奖励函数,再根据奖励函数自动优化出机器人的运动行为。我们主要考虑基于动态运动单元的行为克隆,与运动分割和匹配等技术结合可以达到对于复杂运动的学习。

  以上内容精选于《人工智能》杂志第四期

  本文作者

  刘忠轩

  现任英特尔中国研究院研究员,博士。2005年毕业于中科院自动化研究所,2015年加入英特尔。主要研究领域为机器人强化学习、计算机视觉与神经拟态计算等。刘忠轩博士在加入英特尔之前,曾于法国电信、中科院自动化研究所从事科研工作,在IEEE TCSVT、IEEE SPL、JCST、ICIP、ICPR等国际期刊与会议上发表20余篇论文,在国际视频检索评测TRECVID中获得第三名。

  欲阅读完整文章,可通过以下方式购买《人工智能》杂志!

  订阅2018年《人工智能》杂志6期共计360元

  银行转账:北京赛迪出版传媒有限公司

  开户行及账号:北京银行北洼路支行20000030565000007701154

  银行转账,请备注:人工智能

  接收详细信息请发到:aiview@ccidmedia.com;或是添加客服微信:13601092749

收藏