控制与决策  2020, Vol. 35 Issue (8): 1873-1878  
0

引用本文 [复制中英文]

王斐, 梁宸, 韩晓光, 茹常磊, 李景宏. 基于焊件识别与位姿估计的焊接机器人视觉引导[J]. 控制与决策, 2020, 35(8): 1873-1878.
[复制中文]
WANG Fei, LIANG Chen, HAN Xiao-guang, RU Chang-lei, LI Jing-hong. Visual guidance of welding robot based on weldment recognition and pose estimation[J]. Control and Decision, 2020, 35(8): 1873-1878. DOI: 10.13195/j.kzyjc.2018.1635.
[复制英文]

基金项目

中央高校基本科研业务费专项项目(N172608005, N182608003, N182612002);辽宁省科学事业公益研究基金项目(20170021);辽宁省自然科学基金项目(20180520007)

作者简介

王斐(1974-), 男, 副教授, 博士, 从事人机协作、模式识别等研究, E-mail:wangfei@mail.neu.edu.cn;
梁宸(1994-), 男, 硕士生, 从事机器视觉的研究, E-mail:1700951@stu.neu.edu.cn;
韩晓光(1994-), 男, 硕士生, 从事机械臂控制的研究, E-mail:1770547@stu.neu.edu.cn;
茹常磊(1993-), 男, 硕士生, 从事机器人抓取的研究, E-mail:1870652@stu.neu.edu.cn;
李景宏(1965-), 男, 副教授, 博士, 从事智能信息处理、现代电子设计等研究, E-mail:lijinghong@ise.neu.edu.cn

通讯作者

王斐, E-mail:wangfei@mail.neu.edu.cn

文章历史

收稿日期:2018-11-28
修回日期:2019-04-14
基于焊件识别与位姿估计的焊接机器人视觉引导
王斐 1, 梁宸 1, 韩晓光 2, 茹常磊 2, 李景宏 2     
1. 东北大学 机器人科学与工程学院,沈阳 110169;
2. 东北大学 信息科学与工程学院, 沈阳 110004
摘要:为实现智能化柔性化焊接, 并解决焊件本身立体结构遮挡焊缝影响视觉引导的问题, 提出一种基于物体识别与位姿估计思想的焊接机器人视觉引导方法.首先, 通过焊件的CAD模型离线建立焊接模型库; 然后, 在线计算焊件点云的VFH特征, 与焊接模型库进行比对实现焊件识别, 计算FPFH特征实现SAC-IA和ICP结合的两步位姿估计, 并通过假设验证优化结果; 最后, 利用焊接模型库的焊接信息结合焊件位姿生成焊接轨迹, 为焊接机器人提供视觉引导.实验结果表明, 所提方法可以利用目标整体三维信息准确识别焊件并估计其姿态, 进而引导机器人完成智能柔性的焊接操作.
关键词焊接机器人    三维视觉引导    物体识别    位姿估计    假设验证    点云特征    
Visual guidance of welding robot based on weldment recognition and pose estimation
WANG Fei 1, LIANG Chen 1, HAN Xiao-guang 2, RU Chang-lei 2, LI Jing-hong 2     
1. Faculty of Robot Science and Engineering, Northeastern University, Shenyang 110169, China;
2. College of Information Science and Engineering, Northeastern University, Shenyang 110004, China
Abstract: A visual guidance method for the welding robot based on the weldment recognition and pose estimation is proposed to implement intelligent and flexible welding and solve the problem of that the visual guidance is affected by the three-dimensional structure of the weldment itself shielding the weld seam. Firstly, a welding model library is constructed by weldment CAD models off-line. Then, the viewpoint feature histogram (VFH) features of the weldment point cloud are calculated online and compared with the welding model library to implement weldment recognition. The fast point feature histogram (FPFH) features are calculated to implement a two-step pose estimation combining the sample consensus initial alignment (SAC-IA) and the ICP (iterative closest point) to obtain weldment pose. And the result is optimized by hypothesis verification. Finally, the welding trajectory is generated using the welding information in the welding model library combined with the pose of the weldment to provide visual guidance for the welding robot. The experimental results show that the method can accurately recognize the weldment and estimate its pose by using the target's overall three-dimensional information, and guide the robot to implement intelligent and flexible welding operations.
Keywords: welding robot    3D vision guidance    object recognition    pose estimation    hypothesis verification    point cloud feature    
0 引言

当前国内外工业生产中广泛应用的焊接机器人仍以传统示教方式为主, 其焊接路径和焊接条件完全依赖预先设置确定, 缺乏实时信息感知及反馈调节功能, 且对新型焊件而言准备时间长, 显然不符合智能化柔性化焊接的要求.视觉传感器具有信息量丰富、精度高、抗干扰能力强、不与焊件接触等优点, 在智能化焊接中有着很好的应用和发展前景.现有焊接视觉传感技术大都通过工业相机或激光结构光[1-2]来获取焊接区域的图像特征及轮廓信息, 通过图像预处理、焊缝中心线提取和焊缝特征点提取等步骤准确识别焊缝位置及其变化趋势.此外, 还可以通过提取熔池形态[3]、红外热像[4]等间接特征来反应与焊缝中心位置的定量关系, 从而获得焊缝位置信息.然而, 目前焊接机器人的视觉引导系统大多是基于二维图像处理算法提取焊缝, 再通过相机标定信息映射到三维空间, 部分涉及三维信息的工作也仅关注焊缝区域的局部三维结构特征.现有方法依赖焊缝信息的提取, 并且对待焊物体整体三维信息缺乏有效的利用.

三维物体识别与位姿估计是许多机器人领域的关键步骤, 例如家庭服务机器人[5]、装配机器人[6]、分拣机器人[7]等.三维视觉在三维空间中执行某些复杂的视觉任务时具有二维视觉所没有的一些优势[8], 如三维点云可以提供丰富的几何(空间坐标、表面法线、深度边界)和光度(颜色、透明度、反射强度)信息; 在识别外观方面信息量低(例如低纹理)的对象, 以及直接获取对象的完整6自由度位姿时, 能够获得更加优异的结果.国内外学者提出了许多基于三维点云的物体识别与位姿估计方法[9-10], 并应用于机器人抓取与操纵等任务[11], 对三维视觉信息在焊接机器人领域的应用具有重要的启示作用.

本文通过深度相机直接获取三维场景点云, 基于三维物体识别与点云配准实现焊件6自由度位姿估计, 将焊件位姿应用于焊接信息的生成, 使得焊接机器人充分利用焊件整体三维信息, 能够对任意姿态的焊件实现智能柔性的焊接操作, 并且在焊件立体结构遮挡焊缝的情况下仍具有较好的鲁棒性.

1 目标识别与位姿估计理论基础 1.1 点云全局特征描述子VFH

视点特征直方图(VFH)[12]在目标点云没有被遮挡时能够更加准确地识别目标, 并且对噪声具有鲁棒性[13-14].点云C中使用pv表示相机坐标系原点, 即视点位置, 使用pc和单位法向量nc表示点云C的质心坐标及质心法向量.对于点云C中的每一个点pi, 在点pc处定义一个局部坐标系, 如下所示:

(1)

其中p*表示点p*的坐标向量, 后文相同.

利用上述定义的局部坐标系uwv, 点云的特征描述可以用一组角度来表示, 如图 1所示.

图 1 点云特征描述

点云中任意一点pi的特征描述可用五元组(α, ϕ, θ, d, β)表示, 其计算方法如下:

(2)

统计点云C中点的cos α、cos ϕθd、cos β的值落在不同子区间的百分比, 分别对应特征直方图中横坐标[1, 45]、[46, 90]、[91, 135]、[136, 180]、[181, 308]范围上的曲线.由于点间距离d沿视点方向是逐渐增加的, 局部点的密度将会影响特征结果, 因此在机器人获取的2.5维数据中往往省略d, 以获得更好的鲁棒性.

1.2 点云局部特征描述子FPFH

由于全局特征VFH相对于沿视角方向的旋转具有不变性, 无法提供焊件完整的6自由度位姿信息.为了解决这个问题, 本文引入快速点特征直方图(FPFH)[15]来实现SAC-IA[15]与ICP[16]结合的两步配准算法以获得焊件的精确位姿. FPFH是点特征直方图(PFH)的简化计算形式, 对于具有n个点且每个点计算特征时考虑的邻域数量为k的点云C而言, FPFH在保留PFH大部分识别特性的同时将算法的计算复杂度从O(nk2)降低到了O(nk), 从而能够在实时应用中使用.对于点云中每一个查询点pi, 只计算其与邻域范围内的点之间的一个三元组(α, ϕ, θ)的值, 得到的结果称为简化点特征直方图(SPFH).然后, 再次确定每个点的k邻域范围, 并使用邻近点的SPFH值来计算pi的快速点特征直方图, 如下式所示:

(3)

其中权重wk表示查询点pi与其邻域内点pj在给定度量空间中的间隔距离.

1.3 假设验证原理

假设验证在基于局部特征的识别算法中取得了理想的效果[17], 本文基于其布置几何约束的思想, 同时考虑模型到场景及场景到模型的拟合, 对焊件识别与配准算法的结果进行假设验证, 以提高视觉系统的鲁棒性.

对识别与配准结果建立假设关系H(Mh, Th), 基于模型假设Mh和姿态假设Th可以得到识别的模型点云在场景点云S中的位置和姿态, 然后通过几何约束来判断模型点云对场景点云的解释程度, 以确定代表假设成立与否的bool型变量x的值.使用pq表示点坐标, npnq分别表示他们的法线, 以最小化几何约束为目标函数, 给出数学模型如下:

(4)
(5)
(6)
(7)

其中:式(4)表示最小化几何差异, λ表示正则项常数; 式(5)计算不被解释的场景点的杂波项γx(p)以及场景点被模型点解释的程度Ωx(p), N表示集合中的最近邻点, EM分别表示可被假设解释的场景点集合与模型假设的点集合; 式(6)和(7)分别计算光滑平面对点的惩罚约束以及两点间的局部拟合程度, κ表示惩罚同一光滑表面未解释点的常数参数, l表示光滑平面标签, ρcρe表示点间距离阈值, º表示每当负值时舍入为0以避免负权重的点积(因为所有法线指向传感器方向).根据式(7), 没有被任何场景点拟合的局外点数量记为|Φ|.

2 焊接机器人的视觉引导方法 2.1 焊接模型库的生成

离线阶段建立由多视角焊件点云模型库与焊接知识库构成的焊接模型库以供在线阶段使用.

2.1.1 多视角焊件点云模型库的构建

通过以每个焊件的CAD模型为球心建立半径为r的包围球面, 在球面上均匀选取视点, 采用虚拟深度相机[18]采集焊件点云.如图 2所示, 首先为了保证视点选取的覆盖性与均匀性, 绕包围球面的经度和纬度每隔15 ^º选取一个视点, 记为(η, θ); 然后, 在各个视点架设虚拟深度相机采集对应视点下的模型点云, 并记录此时物体模型在相机下的位姿数据; 最后, 离线处理点云数据, 计算各个视点下点云的VFH特征及FPFH特征, 并将特征文件保存在多视角点云模型库中.

图 2 多视角点云模型库的构建
2.1.2 焊接知识库的生成

通过对每个CAD模型进行离线分析, 可以明确焊件结构信息与参数信息.考虑焊接条件、焊接设备等因素, 以焊接工艺、焊接经验为指导, 规划出焊件模型上焊接路径、焊接顺序等信息, 建立面向焊接过程的焊接知识库, 从而实现三维CAD模型对焊接操作的指导.

2.2 在线焊件识别与位姿估计

在线工作的采集场景中, 将焊件以任意姿态摆放在工作台上.视觉传感器采用Kinect v1深度相机, 通过标定相机内参获得高精度的三维场景点云数据.对焊接过程而言, 通常只关注待焊工件, 因此需要对场景点云进行预处理操作, 以从中分割出焊件点云.首先通过预定义限制范围的直通滤波器可以快速过滤掉工作台区域以外的点; 然后使用RANSAC算法识别并剔除场景点云中的工作台平面点云; 最后通过欧式聚类分割得到目标焊件的点云.图 3说明了从场景点云到焊件点云的处理过程.

图 3 点云预处理

得到焊件点云后, 计算其VFH特征与FPFH特征.将VFH特征通过基于K-D树的近邻搜索方法与多视角点云模型库进行比对, 寻找与目标焊件特征卡方距离最小的k个近邻模型结果.卡方距离小于阈值的初步识别结果构成候选者集合N={n0, n1, …, {nn}(0≤ nk), 设定合适的阈值以使候选者集合包含正确识别结果.然后按照近邻顺序对其中的元素ni依次进行精确配准与假设验证, 以应对最近邻模型是误识别结果的情况, 提高焊件识别的准确性.对于候选识别结果ni, 首先利用FPFH特征进行SAC-IA算法配准, 并将得到的旋转平移矩阵Tsi作为目标点云与模型点云之间的初始变换关系, 之后使用ICP算法计算精确变换关系Ticp. ni的假设关系Hi由识别结果Mhi与精确姿态Thi给出, Thi通过下式计算:

(8)

建立假设关系之后可以根据式(4)确定候选识别结果ni的假设验证结果, 若假设验证为真, 则确定ni为最终识别结果, 不再对后面的候选者进行判断; 否则, 对集合中的下一候选者进行上述步骤, 直到获得最终结果.

焊件识别与位姿估计的总体流程如图 4所示.

图 4 焊件识别流程
2.3 位姿驱动的焊接机器人引导

根据多视角点云模型库中的姿态数据, 可以得到识别结果在虚拟相机下的姿态矩阵Pmodel.基于模型点云与目标点云之间的精确变换关系Thi以及深度相机与机器人坐标系之间标定的外参矩阵Tcal, 根据下式即可得到目标焊件在机器人坐标系下的位姿Pobj:

(9)

根据此位姿矩阵和焊接知识库中基于焊件坐标系的焊接轨迹信息, 即可指导焊接机器人生成焊枪在笛卡尔空间坐标中的焊接轨迹规划, 完成视觉驱动的焊接操作, 从而实现对焊件种类及姿态具有自适应性的智能柔性化焊接操作.

3 实验结果与分析

本文实验平台如图 5所示, 焊接机器人采用ABB公司的IRB 1200机器人, 通过末端夹持器夹取一个红色激光发射器模拟焊枪, 深度相机Kinect v1固定于支架上, 构成手眼系统.

图 5 焊接机器人实验平台

离线阶段根据2.1节描述的方法建立8种不同焊件的焊接模型库, 焊件及其CAD模型如图 6所示, 其中CAD模型的红线代表焊接轨迹信息.

图 6 实验对象

在线阶段对8种焊件进行实验测试, 在保证焊缝处于机器人工作空间内的条件下, 每种焊件设置10种不同初始位姿.实验如2.2节所述进行焊件识别与位姿估计, 图 7展示了视觉算法结果.当k设定为9时,初步识别结果按照卡方距离从小到大的顺序由左下角开始排列, 卡方距离小于阈值的候选者被保留, 超出阈值的近邻模型以红线划掉, 如图 7(a)所示.对候选结果进行精确配准后进行假设验证, 剔除误识别, 得到最终正确的识别结果, 如图 7(b)所示. 8种焊件的实验测试结果记录如表 1所示.

图 7 焊件识别结果
表 1 视觉算法实验记录

表 1可以看出, 本文提出的视觉算法对8种焊件的平均识别准确率为98.75 %, 平均运行时间为3.336 s, 配准的平均RMSE为2.734e-5 m, 具有较高的可靠性、速度和精度, 符合焊接机器人视觉引导的需求.对具有部分相似结构的焊件1、焊件2及焊件3, 识别率几乎没有受到相似结构的影响, 这是因为算法中加入了假设检验, 通过几何条件的约束排除误识别结果, 因此提高了算法的鲁棒性.

为了验证本文采用的两步位姿估计算法的性能, 将其与采用单一算法进行对比实验. 图 8展示了不同配准算法的效果.模型点云与焊件点云之间的相对位姿如图 8(a)所示, 传统ICP算法和SAC-IA算法的结果分别如图 8(b)图 8(c)所示, 本文算法效果如图 8(d)所示. 表 2记录了3种算法对8种焊件的配准性能对比.

图 8 点云配准结果
表 2 配准算法性能对比

结合图 8表 2的结果可以看出, 单纯使用ICP算法虽然速度更快, 但在没有较好的初始位姿时会陷入局部最优, 造成配准的失败. SAC-IA算法虽然能够保证配准的成功, 但是其精度及稳定性均不如本文方法.本文方法在保证配准成功的前提下, 具有更高的精度和稳定性, 符合精确配准的性能要求.

视觉系统完成焊件识别与点云配准后按照2.3节所述生成焊接轨迹规划, 如图 9所示.驱动焊接机器人使其末端焊枪沿规划路径和姿态运动完成焊接操作, 达到三维视觉系统驱动精准焊接操作的效果, 如图 10所示.

图 9 焊接轨迹生成
图 10 视觉引导焊接操作

对8种焊件的实验结果表明, 对于以6自由度姿态摆放的焊件, 该焊接机器人视觉引导方法可以准确识别焊件种类并得到焊件的精确位姿, 在焊件本身立体结构对焊缝造成部分遮挡的情况下也能生成合理的焊接轨迹, 引导机器人完成不限制焊件种类及姿态的智能柔性的焊接操作.

4 结论

针对焊接机器人对姿态变化的焊件的智能柔性焊接需求, 本研究将三维机器视觉与焊接机器人的工作相结合, 提出了一种基于焊件识别与位姿估计的焊接机器人视觉引导方法, 并对其中涉及的关键理论技术进行了方法和实验研究.该方法使视觉引导系统能够利用待焊物体整体三维信息, 不依赖焊缝提取来引导焊接机器人对灵活姿态的焊件完成智能柔性的焊接操作, 是对现有焊接机器人视觉传感技术的一个扩展.由于未来焊接趋向自由化、灵活化, 执行焊接任务的复杂度和精细度越来越高, 如何构建具有高鲁棒性和精确性的三维感知系统以及如何将本文方法与焊接工作过程中的实时校正相结合将是今后研究的方向.

参考文献
[1]
Wang X P, Bai R L, Liu Z T. Weld seam detection and feature extraction based on laser vision[C]. Control Conference. Piscataway: IEEE, 2014: 8249-8252.
[2]
Wang Z, Jing F S, Fan J F. Weld seam type recognition system based on structured light vision and ensemble learning[C]. IEEE International Conference on Mechatronics and Automation. Piscataway: IEEE, 2018: 866-871.
[3]
Wang X J, Shi Y H, Yu G Q, et al. Groove-center detection in gas metal arc welding using a template-matching method[J]. International Journal of Advanced Manufacturing Technology, 2016, 86.
[4]
Gao X D, You D Y, Katayama S. Infrared image recognition for seam tracking monitoring during fiber laser welding[J]. Mechatronics, 2012, 22(4): 370-380. DOI:10.1016/j.mechatronics.2011.09.005
[5]
Yang Y, Cao Q X. Monocular vision based 6D object localization for service robot's intelligent grasping[J]. Computers & Mathematics with Applications, 2012, 64(5): 1235-1241.
[6]
Fang S, Huang X, Chen H, et al. Dual-arm robot assembly system for 3C product based on vision guidance[C]. 2016 IEEE International Conference on Robotics and Biomimetics (ROBIO). Piscataway: IEEE, 2016: 807-812.
[7]
Zeng A, Yu K T, Song S, et al. Multi-view self-supervised deep learning for 6D pose estimation in the amazon picking challenge[C]. 2017 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2017: 1386-1393.
[8]
Lima J P S D M, Teichrieb V. An efficient global point cloud descriptor for object recognition and pose estimation[C]. 2016 29th SIBGRAPI Conference on Graphics, Patterns and Images. Piscataway: IEEE, 2016: 56-63.
[9]
张凯霖, 张良. 复杂场景下基于C-SHOT特征的3D物体识别与位姿估计[J]. 计算机辅助设计与图形学学报, 2017, 29(5): 846-853.
(Zhang K L, Zhang L. 3D object recognition and 6DoF pose estimation in scenes with occlusions and clutter based on c-SHOT 3D descriptor[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(5): 846-853. DOI:10.3969/j.issn.1003-9775.2017.05.008)
[10]
Aldoma A, Tombari F, Rusu R B, et al. OUR-CVFH-Oriented, unique and repeatable clustered viewpoint feature histogram for object recognition and 6DOF pose estimation[C]. Pattern Recognition: Joint 34th DAGM and 36th OAGM Symposium. Heidelberg: Springer, 2012: 113-122.
[11]
Czajewski W, Kolomyjec K. 3D object detection and recognition for robotic grasping based on RGB-D images and global features[J]. Foundations of Computing and Decision Sciences, 2017, 42(3): 219-237. DOI:10.1515/fcds-2017-0011
[12]
Rusu R B, Bradski G, Thibaux R, et al. Fast 3D recognition and pose using the viewpoint feature histogram[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway: IEEE, 2014: 2155-2162.
[13]
Aldoma A, Marton Z C, Tombari F, et al. Tutorial: Point cloud library: Three-dimensional object recognition and 6 DOF pose estimation[J]. Robotics & Automation Magazine IEEE, 2012, 19(3): 80-91.
[14]
Aldoma A, Vincze M, Blodow N, et al. CAD-model recognition and 6DOF pose estimation using 3D cues[C]. IEEE International Conference on Computer Vision Workshops. Washington DC: IEEE Computer Society, 2011: 585-592.
[15]
Rusu R B, Blodow N, Beetz M. Fast point feature histograms (FPFH) for 3D registration[C]. IEEE International Conference on Robotics and Automation. Piscataway: IEEE, 2009: 3212-3217.
[16]
Besl P J, Mckay N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14: 239-256. DOI:10.1109/34.121791
[17]
Aldoma A, Tombari F, Stefano L D, et al. A global hypotheses verification method for 3d object recognition[C]. European Conference on Computer Vision. Heidelberg: Springer, 2012: 511-524.
[18]
Gschwandtner M, Kwitt R, Uhl A, et al. BlenSor: Blender sensor simulation toolbox[C]. International Conference on Advances in Visual Computing. Berlin: Springer-Verlag, 2011: 199-208.