现代电子技术
Modern Electronics Technique
Jan.2022Vol.45No.2
2022年1月15日第45卷第2期
0引言
目前，视觉工业机器人在工业生产中有很多应用，比如机器人抓取、焊接、喷涂、搬运等各个方面[1]。在工业机器人视觉领域中，手眼标定的主要目的是获取相机到机器人末端法兰盘的转换关系[2⁃3]，根据这种转换关系将空间中点的坐标转换到机器人基坐标系下，这样才能
更好地控制机器人的手臂去完成相应的任务，因此手眼标定的研究对于工业机器人视觉有着重大的意义。
对于手眼标定的研究，文献[4]中叙述了手眼标定的定义；文献[5]提出一种相机标定和四点位姿估计的手眼标定方法，但该方法需要进行相机标定获取相机的外参，即需要获取标定板到相机的转换关系；文献[6]提出一种高精度的手眼标定方法，对标定过程中采集的图像
DOI ：10.16652/j.issn.1004⁃373x.2022.02.033
引用格式：葛绍强，杨永辉，周自维.基于3D 深度相机的机器人手眼标定方法研究与应用[J].现代电子技术，2022，45（2）：172⁃176.
基于3D 深度相机的机器人手眼标定方法研究与应用
葛绍强，杨永辉，周自维
（辽宁科技大学电子信息与工程学院，辽宁鞍山
114051）
摘
要：针对工业机器人视觉领域中现有手眼标定方法复杂的问题，提出一种基于3D 视觉的简便手眼标定方法，即将
3D 深度相机和矿山爆破机器人相结合，利用3D 深度相机能够获取空间点坐标的原理以及3个参考点的几何关系，获取标定板上参考点到相机的坐标转换关系。同时机器人末端法兰盘中心到机器人基坐标系的转换关系已知，可利用TSAI 两步法求取相机到机器人末端法兰盘中心的转换关系，继而求得参考点在机器人基坐标系中的位姿。把此手眼标定方法应用到矿
山爆破机器人系统中，实验结果表明，最大坐标误差为5.7mm ，最小误差为0mm ，精度满足现场矿山孔洞的定位要求。该文的创新点是利用深度相机的原理和3个点的几何关系求取参考点到相机的转换关系。
关键词：矿山爆破机器人；3D 深度相机；手眼标定；TSAI 两步法；坐标转换；矿山孔洞定位中图分类号：TN876⁃34；TP242；TP391.41
文献标识码：A
文章编号：1004⁃373X （2022）02⁃0172⁃05
Research and application of robot hand⁃eye calibration method
based on 3D depth camera
GE Shaoqiang ，YANG Yonghui ，ZHOU Ziwei
（College of Electronic and Information Engineering ，University of Science and Technology Liaoning ，Anshan 114051，China ）
Abstract ：In allusion to the complexity of the existing hand⁃eye calibration methods in the field of industrial robot vision ，a easiest hand⁃eye calibration method based on 3D vision is proposed ，that is ，the 3D depth camera is combined with the mine blasting robot ，the principle that the 3D depth camera can obtain the coordinates of spatial points and the geometric relationship of three reference points are used to obtain the coordinate conversion relationship from the reference point on the calibration
board to the camera.At the same time ，the transformation relationship from the center of the robot end flange to the robot base coordinate system is known.The TSAI two⁃step method can be used to obtain the transformation relationship from the camera to the center of the robot end flange ，and then obtain the position and attitude of the reference point in the robot base coordinate system.This hand ⁃eye calibration method is applied to the mine blasting robot system.The experimental results show that the maximum coordinate error is 5.7mm and the minimum error is 0mm ，and the accuracy meets the requirements of the on⁃site
mine hole positioning.The innovation of this paper is to calculate the conversion relationship from reference point to camera by using the principle of depth camera and the geometric relationship of three points.Keywords ：mine blasting robot ；3D depth camera ；hand⁃eye calibration ；TSAI two⁃st
ep method ；coordinate conversion ；
mine hole positioning
收稿日期：2021⁃04⁃30
修回日期：2021⁃06⁃14
基金项目：国家自然科学基金资助项目（71771112）；国家自然科学基金资助项目（21978123）
172
第2期
进行校正，提高相机外参的精度，进而进行手眼标定。文献[7]提出一种基于ROS 的机器人自动手眼标定方法，其中利用PnP 的方法求解标定板到相机的转换关系。对于手眼标定复杂的问题，本文根据深度相机的原理和棋盘格上的参考点的几何关系，求取参考点到相机的转换关系，再结合机器人末端法兰盘到机器人基坐标系的转换关系，求解相机到机器人末端法兰盘的转换关系。
1矿山爆破机器人视觉系统设计
矿山爆破机器人视觉系统，由六自由度工业机器人
（KUKA R16⁃2F ）、深度相机RealsenseD435、机器人抓取工具组成，采用眼在手上的方式，将深度相机固定在机器人末端处，深度相机随着机器人的位姿变换而变化，这种类型的手眼标定，相机的视野更大。矿山爆破机器人视觉系统结构图如图1
所示。
图1视觉系统结构图
首先，相机利用深度学习算法YOLOV3识别出矿山中的孔洞，得出孔洞中心点的像素坐标；然后，结合深度相机原理计算出孔洞中心在相机坐标系下的空间坐标，随后结合手眼标定关系，将孔洞中心的空间坐标转换到机器人基坐标系下。
2
手眼标定
2.1
手眼标定原理介绍
手眼标定分为两种类型：一种是眼在手上的手眼标定（Eye⁃in⁃Hand ）；一种是眼在手外的手眼标定（Eye⁃to⁃
Hand ）[8]
。本文主要叙述眼在手上的手眼标定类型，首
先对照下手眼标定的示意图，如图2所示。Base 表示机器人的基坐标系，在机器人末端法兰盘上安装一
个相机（图中Center 表示法兰盘的中心，Camera 表示的是相机），在机器人视野前面固定一个标定板（棋盘格，图中用Checkerboard 表示），棋盘格上的某个参考点与机器人基坐标的关系是固定不变的，利用这个不变的关系进行机器人的手眼标定。
用示教器控制机器人移动，让相机拍摄棋盘格标定板，把此时的机器人位姿定义为1，用T gi 表示机器人末
端法兰中心到机器人基坐标系下的转换关系，
T cg 表示相机坐标系到机器人末端法兰中心的转换关系（待求，这个关系是固定不变的），
T ci 表示参考点到相机的转换关系。同样控制机器人移动到另外一个位姿下，把此时的机器人位姿定义为2，用T gj 表示机器人末端法兰中心到机器人基坐标下的转换关系，T cg 仍然是相机坐标系到机器人法兰中心的转换关系，
T cj 表示此时参考点到相机的转换关系。T gij 表示位姿1和位姿2机器人末端法兰中心坐标系之间的相对位置的齐次变换矩阵。T cij 表示位姿1和位姿2下特征点到相机的转换关系的齐次变换矩阵[9]。根据标定板上棋盘格中的某参考点到机器人基坐标系下的转换关系不变的原则有如下关系：
T gi T cg T ci =T gj T cg T cj
（1）首先，对式（1）两边同时右乘T -1
ci ，得：
T gi T cg =T gj T cg T cj T -1
ci
（2）再对式（2）两边同时乘T -1
gj ，得：
T -1gj T gi T cg =T cg T cj T -1
ci
（3）
式中：T -1
gj T gi 就是表示位姿1和位姿2之间的法兰中心坐标系的齐次变换矩阵T gij ；T cj T -1ci
就是表示位姿1和位姿2下参考点到相机转换关系的齐次变换矩阵T cij 。得到：
T gij T cg =T cg T cij
（4）可以令T gij =A ,T cij =B ,T cg =X ，得：
AX =XB
（5）
式中，A ,B 已知，那么手眼标定的问题转换成求解AX =
XB 的问题[10⁃14]，求解X 利用TSAI
两步法求解。
图2手眼标定示意图
2.2
参考点姿态确定方法
根据参考点的像素值、深度值和深度相机
RealsenseD435的SDK 函数rs2_deproject_pixel_to_point （），获取棋盘格上参考点的空间坐标，这里参考点选择3个，且这3个点构成一个直角三角形，利用直角三角形有两个边相互垂直的原理，可确定角度为90°的参考点姿态。
葛绍强，等：基于3D 深度相机的机器人手眼标定方法研究与应用173
现代电子技术
2022年第45卷
具体原理如图3
所示。
图3参考点姿态确定原理图
根据图3所示，A ，B ，C 三点构成一个直角三角形，AB 和BC 两边相互垂直，且A ，B ，C 三点在相机坐标系下的空间由3D 相机原理获得，根据A ，B 两点的空间坐标
和A ，C 两点的空间坐标，可以计算出向量
AB 和向量 AC ，让两个向量作叉积，即可得向量 AD ， AD 与平面ABC
垂直；接着让向量 AD 与向量
AC 作叉积运算，确保向量 AB 和平面ACD 垂直；然后分别对 AB ， AC ， AB 作单位化处理，该结果即是A 点的姿态。棋盘格上的参考点A ，B ，C 三点的示意图如图4
所示。
图4棋盘格上参考点示意图
已知A 点处的姿态的空间坐标（位置）和姿态，就可确定A 点的位姿，或者说是参考点到相机的转换关系矩阵。
3手眼标定实验与分析
根据第2节手眼标定的叙述，画出了整个手眼标定
的流程图，如图5所示。根据图5所示，首先操作机器人到位姿1处，拍摄棋盘格图片，根据特征点的几何关系确定点的姿态，姿态和位置已知，计算参考点到相机的转换关系矩阵，同时计算机器人末端到机器人基坐标系的转换关系矩阵。反复操作机器人到9个不同的位姿处，可以获得9张棋盘格图片、9组参考点到相机的转换关系和9组机器人末端到机器人基坐标系下的变换矩阵，8组T gij 和8组T cij 。9张图片如图6
所示。
图5
手眼标定流程图
图6拍摄的9张棋盘格图片
取8组T gij 和8组T cij 中的3组数据如表1所示。
序号1
23
T gij
é
ë
êê
êêùûúúúú1-0.006
-0.0003-0.00150.00000.9368-0.34990.1748-0.00000.34910.93710.00220001éë
êêêêùû
úúúú0.97070.0372-0.23700.0962-0.08370.9784-0.18730.07470.2245
0.20140.95320.007300
1éëêêêêùûúú
úú0.9776
-0.0244-0.21100.08310.0282 1.0000.0179-0.00880.2105-0.0238
0.9773-0.00360001T cij
éëêêêêùû
úúúú0.94770.00860.3381-0.1233-0.01090.99990.0049-0.0003-0.3380
-0.0083
0.94110.007100
1éëêêêêùûúú
úú0.97800.08960.1884-0.0560-0.04710.9746-0.21880.0698-0.2033
0.20510.9574-0.0056000
1éëêêêêùû
úú
úú0.9996-0.0258
-0.01070.00500.02330.9825-0.18490.05670.01530.18450.9827-0.02100
1表1T gij 和T cij 的数据
174
第2期
根据8组T gij 和8组T cij 数据，再结合TSAI 两步法，即可求得相机到机器人末端的转换关系矩阵T cg ，用Matlab 程序进行仿真，求T cg 矩阵和在机器人基坐标系下，参考点与相机的相对位置的关系图，T cg 如下：T cg =éë
êêêêùû
úúúú-0.0133
0.9995
-0.0275-0.0536-0.9999-0.01310.0066-0.03340.0062
0.02760.99960.126100
1.0000（6）相对位置关系如图7
所示。
图7参考点与相机的相对位置关系
图7中，分散的点表示相机的姿态，密集的点表示参考点的姿态。
利用该标定关系，将棋盘格中参考点的像素坐标转换到机器人基坐标系下，参考点坐标在机器人基坐标系下的，理论值和实际值如表2所示。
表2实际值和理论值
mm
序号123456789
理论值
（1704.9，-253.5，1024.4）（1705.8，-251.1，1027.7）（1705.1，-253.2，1030.2）（1704.8，-254.4，1032.1）（1704.6，-249.0，1032.6）（1705.4，-250.8，1030.6）（1704.1，-253.3，1030.9）（1703.7，-255.0，1029.5）（1704.5，-252.0，1029.6）实际值
（1704.8，-252.5，1030.1）（1704.8，-252.5，1030.1）（1704.8，-252.5，1030.1）（1704.8，-25
2.5，1030.1）（1704.8，-252.5，1030.1）（1704.8，-252.5，1030.1）（1704.8，-252.5，1030.1）（1704.8，-252.5，1030.1）（1704.8，-252.5，1030.1）
其中，理论值是根据T gi *T cg *T ci 关系求得的，因为机器人共移动9个位姿，因此理论值有9个，实际值是根据控制机器人末端的法兰盘移动到参考点，根据示教器读出的该参考点在机器人基坐标系下的坐标且都为（1704.8，-252.5，1030.1）。从表中可以看出，其理论值中3个坐标值和实际值中3个坐标值的误差最大为
5.7mm ，最小误差为0mm 。随后，搭建一个模拟矿井隧道，孔洞的半径大约控制在50mm 左右，控制机器人工具抓取注药工具运动到炮孔中心测试，每次都能精准地抓取注药管运送到孔洞中心处，其精度满足矿山爆破的需求。测试过程中的实验图如图8
所示。
图8实验测试图
4结语
本文提出一种基于深度相机的手眼标定方法，该标定平台利用棋盘格上的特征点几何关系，获取棋盘格上参考点到相机的转换关系矩阵，同时利用示教器读取的机器人末端的位姿计算机器人末端到机器人基
坐标系下的转换矩阵，把这两个关系矩阵与TSAI 两步法结合，即可求得相机到机器人末端法兰盘的转换关系。此过程充分利用深度相机的原理，不需要对其求取相机的外参，过程简便且精度满足矿山爆破任务的要求。该标定平台在其他应用工业机器人视觉领域中也有一定的借鉴意义。
注：本文通讯作者为杨永辉。
参
考
文
献
[1]田鹏飞，杨树明，吴孜越，等.结合精度补偿的机器人优化手眼
标定方法[J].西安交通大学学报，2020（8）：99⁃106.[2]王昌云，李立君.基于四元数的机器人手眼标定算法[J].传感器与微系统，2019，38（12）：133⁃135.
[3]SHARIFZADEH S ，BIRO I ，KINNELL P.Robust hand ⁃eye
calibration of 2D laser sensors using a single⁃plane calibration artefact [J].Robotics and computer ⁃integrated manufacturing ，2020，61：101823.
[4]WU L ，WANG J L ，QI L ，et al.Simultaneous hand⁃eye ，tool⁃
flange ，and robot ⁃robot calibration for comanipulation by solving the AXB=YCZ problem [J].IEEE transactions on robotics ，2016，32（2）：413⁃428.
[5]吴安成，何卫锋，欧阳祥波.基于OpenCV 的码垛机器人手眼
标定方法[J].制造技术与机床，2018（6）：45⁃49.
葛绍强，等：基于3D 深度相机的机器人手眼标定方法研究与应用175
现代电子技术2022年第45卷
[6]任杰轩，张旭，刘少丽，等.一种高精度机器人手眼标定方法[J].现代制造工程，2020（4）：44⁃51.
[7]陈宝存，吴巍，郭毓，等.基于ROS的机器人自动手眼标定系统
设计[J].计算机仿真，2020，37（2）：343⁃348.
[8]张妍.工业机器人手眼标定精度分析研究[D].扬州：扬州大学，2019.
[9]何佳唯，平雪良，刘洁，等.一种机器人手眼关系混合标定方法[J].应用光学，2016，37（2）：250⁃255.
[10]LI H Y，MA Q L，WANG T M，et al.Simultaneous hand⁃eye and robot⁃world calibration by solving the AX=YB problem without correspondence[J].IEEE robotics and automation letters，2015，1（1）：1.
[11]TABB A，YOUSEF K M A.Solving the robot⁃world hand⁃eye
（s）calibration problem with iterative methods[J].Machine vision and applications，2017，28（5/6）：569⁃590. [12]MA Q，LI H，CHIRIKJIAN G S.New probabilistic approaches to the AX=XB hand⁃eye calibration without correspondence[C]//2016IEEE International Conference on Robotics and Automation.Stockholm：IEEE，2016：4365⁃4371.
[13]GROSSMANN B，KRÜGER V.Continuous hand⁃eye calibration using3D points[C]//2017IEEE15th International Conference on Industrial Informatics.Germany：IEEE，2017：311⁃318.
[14]ZENG J，CAO G Z，LI W B，et al.An algorithm of hand⁃eye calibration for arc welding robot[C]//2
01916th International Conference on Ubiquitous Robots.Seoul：IEEE，2019：1⁃6.
手眼作者简介：葛绍强（1994—），男，安徽亳州人，硕士，主要研究方向为计算机视觉与机器人控制。
杨永辉（1971—），男，辽宁鞍山人，教授，主要研究方向为计算机视觉与智能控制。
周自维（1974—），男，辽宁鞍山人，副教授，主要研究方向为智能机器人与计算机视觉。176
发布评论