互联网+ 电子商务 智能家居 地理信息 高端装备 信息安全 3D打印 工业4.0 人工智能 光伏 新能源汽车 消费品 集成电路 移动支付 汽车 数据中心
2018智能制造生态建设论坛
当前位置:首页 > 产业动态 > 战新 > 高端装备 > 正文

基于视触融合的机器人操作

发布时间: 2018-06-22 15:56   作者: 王涛   来源: 人工智能杂志

  在当前人工智能高速前进的时期,机器视觉首先得到了极大的发展,并在物体检测、人脸识别等领域不断超过人类的能力水平。但是,针对日益复杂的机器人操作,提供视觉信息仅仅只是第一步。越来越多的任务无法仅仅依靠视觉信息,例如高精度装配、恒力抓取等任务。这种情况下,感知能力决定了机器人操作所能够完成的任务难度。本文根据当前机器人操作过程中可能面临的问题,聚焦于基于视触融合的机器人操作,分析了当前所面临的挑战,介绍了基于视触融合的机器人操作平台的系统及案例。希望通过平台构建机器人抓取数据集,降低在视触融合、机器人操作上的研究门槛,促进相应算法的发展,推动机器人应用在复杂环境中。

  从机器人概念的产生时起,人们就开始设想让机器人帮助人类完成更多的工作。从最初的简单搬运到现在的精密装配,从初级的语音交互到复杂的情感交流,人们对于机器人的需求随着科技的发展不断提升。在工业机器人领域,协作机器人的出现对机器人操作提出了更高的要求;在服务机器人领域,操作能力正是当前机器人所缺少的。在这样的场景下,机器人操作能力提升成为了机器人发展的重要方向。区别于传统机器人按照固定程序、固定点位运动,视觉信息成为了当前机器人操作的重要输入。

  在当前人工智能高速前进的时期,机器视觉首先得到了极大的发展,并在物体检测、人脸识别等领域不断超过人类的能力水平。也正是因为机器视觉的逐步成熟,机器人领域对机器视觉的需求开始逐步得到满足,以往较难应用机器人的领域也随着机器视觉的发展被开拓出来。视觉模块成为了很多协作机器人及服务机器人的基本模块。

  但是,针对日益复杂的机器人操作,提供视觉信息仅仅只是第一步。越来越多的任务无法仅仅依靠视觉信息,例如高精度装配、恒力抓取等任务。这种情况下,感知能力决定了机器人操作所能够完成任务的难度。

  本文根据当前机器人操作过程中可能面临的问题,聚焦于基于视触融合的机器人操作,分析了当前所面临的挑战,介绍了基于视触融合的机器人操作平台的系统及案例。

  一、机器人操作中的挑战

  机器人操作是机器人与目标物体产生相互作用的行为,包含对物体的触碰、抓取、推拉、抛接、使用等行为。机器人操作能力是机器人与物理世界进行直接交互的基本能力。我们可以将基于视触融合的机器人操作过程分为感知、规划和执行三个阶段。

  感知

  机器人的感知包括机器人利用各类传感器获取信息并进行处理的过程,是机器人在物理环境执行任务的基础。我们将针对操作所用到的视觉、触觉及视触融合进行分析。

  (1)视觉

  就像人类开始某项工作一样,观察和感知周围环境通常是机器人行动前的第一件事。在机器人操作过程中,视觉通常被作为主要输入。同时,随着基于各类原理的深度摄像头逐步普及,机器人可以通过深度摄像头直接获取周围环境的三维信息,为操作任务提供了更加丰富有效的信息。

  a高性能传感器

  尽管当前摄像头的像素和拍摄帧率不断提高,体积也日益缩小。但是,随着对三维信息的需求增多,深度摄像头开始成为视觉传感器的新需求。深度摄像头按深度信息获取原理可分为双目、结构光和TOF等类型。目前市面上性能比较好的Intel RealSenseTM摄像头成像的原理为双目结构光,最高能够提供1280x720、90Hz的深度信息,以往基于结构光原理的摄像头在室外环境下相对容易受到阳光中红外线的干扰,但目前最新版本的RealSenseTM D415及D435已经能在室外强光环境下使用。目前市面上也有很多基于TOF(Time of Flight)原理的深度摄像头出现。但是,受限于TOF元器件的性能限制,市面上TOF原理的深度摄像头分辨率普遍为640x480,仍然还有待提升。

  b物体位姿及形变

  得益于深度学习的快速发展,目前物体检测领域有了飞速的发展。但是针对检出的物体进行操作往往需要更进一步的信息——物体的位姿。获取物体位姿的传统方法大多基于特征匹配,这类方式对在所获取的物体纹理、点云数据较少或者物体特征不明显时会产生较大的误差。当前还有基于深度学习的方法,利用物体不同位姿的RGB及深度图像作为样本训练网络,最终能够通过网络输出物体的类别及位姿。

  在当前普及的工业应用中,机器人很少对柔性的物体进行操作,而对于生活场景,往往有很多物体刚度较低,在操作过程中很容易产生形变。这种情况下,如何准确识别物体形变程度及判断当前操作状态非常关键。目前检测被操作物体的形变主要通过跟踪物体表面特征点位置变化实现,更加稳定的物体形变检测有助于机器人操作柔性可变形物体。

  (2)触觉

  人类通过最大的器官——皮肤,来感知触觉,可见触觉对人类日常生活之重要。但是,直至今日,触觉仍然没有大规模在机器人中得到运用。这其中一方面原因就是在传统工业机器人应用中,触觉并不是执行任务所必须的能力。

  但是,随着机器人技术的发展,机器人越来越多地被应用在诸如3C产业这类需要高精度的任务上。尽管目前工业机器人的重复定位精度可以达到0.01mm,但是用于精密装配的机器人往往还需要通过关节或者末端的传感器反馈当前操作受力,模仿人类试装过程才能完成装配任务。同样,服务机器人也需要通过力反馈实现更多样的交互过程。

  触觉作为末端执行器的传感配置,会随着机器人应用场景的增多,逐步成为机器人的基本配置,用于完成更为精细而复杂的任务。

  a传感器本体

  当前触觉传感器根据原理主要分为应变片、压阻、电容、视觉等几类。

  应变片原理的传感器相对精度较高,通过应变梁受力产生应变实现力的测量,当前广泛应用于各类多维力传感器和力矩传感器。应变片原理的传感器对传感器设计和材料上有较高要求,整体成本相对较高,体积相对较大,而且该类原理的传感器适用于测量合力,很难用于测量多点分力。

  压阻及电容形式的传感器原理是根据受外力产生的电阻、电容变化而计算受力。传感器的特点是体积较小,可以以薄膜传感器的形式出现,可以设计为传感器阵列使用。但是受传感器材料的特性及制作工艺的影响较大。

  视觉原理的传感器是近几年兴起的传感器类型,随着机器视觉的发展出现了越来越多的应用。其原理是依靠微距摄像头从传感器内部拍摄传感器作用面发生的形变,通过作用面上标志点阵列形变推算传感器作用面所受外力。同时,由于采用微距摄像头,视觉原理的传感器还能够直接观察作用物表面的纹理特征,这使得通过传感器判定区分物体纹理有较大优势,但受限于摄像头的成像原理,传感器尺寸很难缩小。

  b材质感知

  各类物体有着不同的物理特性,如形状、纹理、硬度等。通过触觉传感器触碰,可以直接获得接触点的位置信息,能够通过相对运动及施加外力感知物体的纹理及硬度信息。

  在形状方面,触觉被用于物体表面的建模,不同于视觉方案,触觉能够提供更为直接的物理接触,所获取的信息可能达到更高的精度。工业测量中所用到的高精度的测量仪,也是以触碰的形式获取关键点位的位置信息。通过触觉的感知机器人可以获取更为精准的尺寸信息,但是缺点在于触碰效率以及对于柔性可变形物体较难测量。

  对于不同物体的纹理,视觉能够提供大量信息,但是,鉴于视觉所能够提供的精度有限,更多的细微差别可以借助触觉进行感知。通过触觉传感器与物体发生相对运动,采集由纹理不同造成的受力差异进而对纹理进行区分,整个过程类似于人手抚摸感知物体纹理的过程。

  由于不同物体的材料特性有差异,其软硬程度也有区别,基于此很多学者用触觉进行物体的分类。在外力施加下,不同物体有不同的形变过程,对力-位移曲线进行记录分析即可以将不同物体进行分类。

  c滑觉检测

  末端执行器在执行任务过程中,根据被抓取目标,抓取情况的不同,其传感器的受力也会存在很大的差异。例如,在实验条件下进行物体滑觉检测,可以很好控制被测物体与传感器之间的关系,保证传感器能够获取受力信息。但是,实际抓取过程中,可能由于抓取位姿偏移,造成传感器无法获得实际受力的数值。此时,针对较差的传感器信息进行当前抓取状态的判定是较难的问题。因此,提取不同抓取过程中与数值大小无关的滑动特征能够具有更强的适应性。

  在滑觉检测上,当前主要针对抓取过程中物体滑动所产生的振动信息进行分析,主要的分析方法包含阈值判定、特征提取、神经网络等。

  阈值判定的方法所面临的问题在于实际抓取过程中针对不同物体所产生的抓取力差异较大,需要设置的不同的判定阈值,泛化能力较弱。

  对于特征提取的方式,常用的方法有傅里叶变换、小波变换、稀疏编码等方式,主要针对时序信息进行分析,从一段时间序列中提取滑动信号并进行判定,针对不同物体需要进行特定分析。

  对于神经网络的方式,可以用长短期记忆网络(LSTM)将一段时间序列及相应标记作为训练样本,通过网络模型学习不同物体滑动中共同的特性,进行滑动预测。

  以上内容精选于《人工智能》杂志第四期

  本文作者

  王 涛

  英特尔中国研究院新技术中心研究员,目前致力于机器人操作方向,研究领域包含稳定抓取、视触融合及主动学习等。2016年加入英特尔中国研究院担任机械手项目负责人,完成了Eagle Shoal灵巧手及其操作平台的设计研发。

  欲阅读完整文章,可通过以下方式购买《人工智能》杂志!

  订阅2018年《人工智能》杂志6期共计360元

  银行转账:北京赛迪出版传媒有限公司

  开户行及账号:北京银行北洼路支行20000030565000007701154

  银行转账,请备注:人工智能

  接收详细信息请发到:aiview@ccidmedia.com;或是添加客服微信:13601092749

收藏