Vol.54 No.8Aug.2%2%
第54卷第8期
2020年8月
西安交通大学学报
JOURNAL OF XI'AN JIAOTONG UNIVERSITY
田鹏飞S 杨树明S 吴孜越$，李湛3，胡鹏宇S 瞿兴1
#.西安交通大学机械制造系统工程国家重点实验室,710049，西安；2.河南科技大学
机电学院，471023，河南洛阳；3.固高科技（深圳）有限公司，518057，广东深圳）
摘要：为了解决制造现场机器人高精度视觉测量定位的问题提出了一种结合模型精度补偿的机器
人方位与手眼关系同步标定方法。该方法首先将视觉系统与机器人之间的位姿关系即手眼关系以
及标定板与机器人坐标系的空间转换关系作为待优化求解对象，用齐次坐标矩阵分别表示机器人 运动学正解以及视觉系统与标定板之间的位姿关系，进而构建闭环的机器人手眼关系优化方程；然
后，使用三维旋转表示旋转矩阵，建立了标定模型方程，用非线性全局优化的方式同步得到标定
方程中矩阵的旋转和平移初始解，采用最小化相机的重投影误差提高了标定精度；最后，使用机器 人运动学标定设备提升了本体的模型精度，再进行视觉标定得到了更准确的标定结果。实验结果
表明：该标定方法只需提前示教若干点即可自动完成，操作简易高效；在补偿了机器人本体的臂长和关节零位误差后，算法精度从0. 15 mm 提升至0. 10 mm 。与经典的手眼标定方法相比，所提方法在不同测试数据集下的标定精度和稳定性均最优。
关键词：机器人；优化；重投影误差；模型精度补偿中图分类号：TP249文献标志码：A
DOI ： 10. 7652/xjtuxb202008013 文章编号：0253-987X （2020）08-0099-08
OSID 码
An Optimal Hand-Eye Calibration Method for Robots
Based on Precision Compensation
TIAN Pengfei 1 , YANG Shuming 1 , WU Ziyue - , LI Zhan 3 , HU Pengyu 1 , QU Xing
(1. State Key Laboratory for Manufacturing Systems Engineering & Xi'an Jiaotong University & Xi'an 710049, China ； 2.SchoolofMechatronicsEngineering &Henan UniversityofScienceandTechnology &Luoyang &Henan471023&China (
3.GoogolTechnology (Shenzhen %Ltd. &Shenzhen &Guangdong518057&China %
Abs)rac)： AsimultaneouscalibrationmethodbasedonLiegrouptheoryanditerativeoptimization
for robot orientation and hand-eye calibration is proposed to solve the problem of high precision vision measuremen@and posi@ion for indus@rial manufac@uringfield ********** me@h
od uses op@imiza@ionaf@erenhancing@heaccuracyofrobo@.Firs@ly &@heposerelaionshipsbe@ween@he
visionsys@em and @he robo@&@ha@is &@he hand-eye relaionship and @he spa@ialconversion relaionshipbe@weencalibra@ionpla@eandrobo@coordina@esys@em &are@akenas@heobjec@sfor
op@**************************@icssolu@ionof@herobo@and@heposerelaionshipbe@ween@he vision sys@em and@he calibra@ion pla@e are represen@ed by a homogeneous coordina@e ma@rix &and @henaclosed-loopop@imizaionequa@ionof@hehand-eyerela@ionshipof@herobo@iscons@ruc@ed.
Fur@hermore &a@hree-dimensional ro@a@ion group is used@o represen@a ro@a@ion ma@rixand@o
收稿日期：201911-04"
作者简介：田鹏飞（1995—），男，硕士生；杨树明（通信作者），男，教授，博士生导师。
基金项目：
国家自然科学基金优秀青年基金资助项目（51722509）；国家自然科学基金资助项目（51575440）；陕西省创新人才推进计划
——科技创新团队资助项目（2019TD-011）"
网络出版时间:2020-05-11
网络出版地址:http ： // kns. cnki. net/kcms/detail/61. 1069. T. 20200511. 1505. 002. html
100西安交通大学学报第54卷
establish a calibration model equation.Then the nonlinear global optimization is used to simultaneously obtain initial solutions of rotation and translation of the matrix in the calibration equation.The calibration accuracy is improved by minimizing the reprojection error of the camera.Finally&the model accuracy of the robot is improved by using the robot kinematics calibration equipment,and more accurate calibration result is achieved by carrying out visual calibration.Experimental results show that the calibration method can be completed automatically by teaching a few points in advance&and the operation is simple and efficient.
Precision analysis shows that the accuracy of the visual calibration algorithm is significantly improved f
rom0.15mm to0.1mm by compensating the arm length and joint zero error of the robot body.Comparisons with the classical hand-eye calibration methods show that the proposed algorithm has the best calibration accuracy and stability in different test data sets.
Keywords:robot；optimization(reprojection error(model accuracy compensation
在智能化的发展过程中，机器人视觉传感已被使用在配、柔性测量、内窥镜手术、无人机导种，尤其在工业，机械臂逐渐代替完成了、喷涂、焊接以及某工作。当觉传感器加装在机器人本体之后，首先需要确定的是机器人与视觉系统的方位关系，即Tsa，义的标定「门。Zhuang等将该问题拓展为同步标机器人本体方位关系「2,。有两步法、单步法和迭代求解3种主流的方法对标程进行求解。Shah等基直积给出一种两步、解+3］，但两步将旋的求解误差递量求程中。Heller等采用线5迭代优化同步求解旋分的全局最优解⑷。Li等基直积提出了同步求解旋分的单步法页，的旋 需要修正后才能保证单位正交性。Tabb 基束的优化迭了较高精度的标定结果金门，虑机器人本体误的影响o 2016年,Li等采用李李的概率统计求解机器人的关系「8,，未在实际机器人系统上实验。李基 的全局优化：得最优解，后基束出了无需标标的全局优化解法［9-10］-2018年，张铁等基于线激光尖端对点的出一种抗干扰能力强的标，并用于机器人砂带打磨工艺中+11］，显示出工业机器人的工艺需要高精度的视觉标定功能。
了避免求解标定方程过程中的误差传递，并且提高测量噪声的，本文提出了一种基李迭优化的机器位
与关系同步标；使用李表示旋能保证计算过程中旋转矩阵的正交性，同时又能以简洁的数学表示旋转轴和旋度。为了提高机器精度，有学者在机器端添加约束构成闭环运动学+13或者利用外部冗余传感器+15］实现机器人的精度补偿。在实验中机器动学误导致迭精度较低甚收敛的，因此本高机器人本体精度，再进行视觉系的标误计，完机器觉系的高精度标定。
1机器人手眼关系优化方程
1.1问题描述
机器位与手眼标定问题表示为AX=8*，8-［0,n—1］，模型如图1所示，其中X表示机械臂末端工具坐标系与视觉传感器之间的（手关系）,Z表示世界坐标系与机器人本体坐标系之间的（机器位））觉传感器；
*为机器动学。A.XJZ*7 4X4的齐次矩阵，机器人运动至工作空间的不同位置静止拍摄靶标，得到每位置的A与*乍，因相机固机械端，靶标固工作空间，X 与Z矩阵被认为是不变量1*1x1z分别为齐的旋分tx.t z分表示；
图1AX=ZB^型示意图
第8期田鹏飞，等：结合精度补偿的机器人优化手眼标定方法101
部分，则AX =ZB 可表示为
R a
t )] [R ^ J 、R z tz ]
R b 9 b ']
(1)
J0t 13=0t J 0T 1
R a R x
二
=RR i j
(2)
R a ^^ % t )
=
二 Rzt B
% t z (3 )
相反，已知旋转矩阵R ，存在&-R ”X ”，II & I
1及(-R ，使得R =e (，求得旋转轴和旋转角
(=arccos(
)
(10)r 11
r 12r 13]R =
r 21r 22r 23(9)
r 31
r 32
U 33丿
cos (0sin ：]10
1
0cos (4—s i n 4
—sin ：0co ( 0
sin 4
co s (
所使用的机器人控制系统为ZYX 欧拉角系
统,R *计算式如下
"co (R ―sin (z 0、
R * = R #z ,y
= sin R
cos 仇 0 ・ 0 0 13
(4)
1 2构建基于李理论的优化方程
李既是一个G ，又是一个光滑流形，目前已
用在机器人运动学和控制领域描述刚体的运动，其
优点在于可以避免用局部坐标系描述刚体时造成的 奇异性，并且大大简化了对机构的分析"
R ”X ”空间的旋转矩阵可定义为
S o (-) - {R - R"]"：RR T - det R - 1} (5) 当-=3时,S 。#)是一个以单位矩阵作为单位元素, 以矩阵乘法作为运算的，又被称为三维旋转。
另外，将所有3X3反对称矩阵的矢量空间记为
s 。#), 一般情况下,-X -维反对称矩阵的矢量空间 表示
s 。—)= { - R ”]”：S T =—S }
(6)
机器 学 的 般 动 是 体
定轴转过一定角度的旋转运动，自由刚体相对于固 定坐标系旋转后的位形可唯一地用R -S °(3)表示,
此时以指数坐标表示旋转，将R 表示为&与(的 函数
R(&,( -
(7)
式(7)表示物体以单位速度绕&轴旋转(角度，其中
&是反对称矩阵。当；& ；61时，有
e &s = ； % * ① * sin ( || & |() %
II & II
II & n 2 (1 — cos ( II & IO)
(8)
II & I
根据欧拉定理，任意姿态R -S o (3)等效于绕固
定轴&-R ”X ”旋转[0,2")。从几何角度来讲，反 对称矩阵与旋转轴对应，指数变换产生的旋转量与 绕轴的旋转角度量(相对应。并且每一个旋转矩阵
皆可以表示为某个反对称矩阵的矩阵指数，即指数 变换是S °(3)上的满射变换。
旋转矩阵R 的迹定义为
tr R — r ii % r —$ % 心3 — 1 + 2cos (
(11)
若(60，则取
>U 32 — r —3'
& = 21b ,3-r 3i
(12)
1
— r 12 3
对于安装在机械手末端的相机，可采用等效轴
来表示其位姿关系，但若R = I ，则&可以任选，这种
情况被称为奇异性，在实际应用中应尽量避免安装 此类相机。同样地，旋转也存在其他形式的坐标
表示，如欧拉角、四元数这类经典的运动学描述。本 文在实验中将对不同参数表示的标定结果作对比。
本文将旋转轴、旋转角度以及平移向量作为优 化参数，共有7维向量，则式(1)可写为
(13)
式(13)中旋转矩阵部分已用指数形式代替。
2最优解与误差评价方程
2. 1基本代价函数
迭代优化的代价函数定义如下
-—1
S]
— 'll AX — ZB , II -
(14)
8-0
式中：-为机器人移动拍摄的位置个数;A 为用文献
[16]
方法获得的相机外参数矩阵；B 为机器人运动 学解。
同样,AX =ZB 等价于A =ZBX T，相应的代价
函数为
S — — 'I A, — ZB,X -1 I "
(15)
8 = 0
将机器人方位和手眼关系同步作为优化对象，以0八0"表示S o (3)中的&与(参数，S 1与S —对应的全局优化函数为
-—1
argmin
'
°4 4' o z , N 8 = 0
A 8
R (=4)0T
4
、 \R ((z )1「丨 0T
9z
1
2
B 8
F
(16
)
;02西安交通大学学报第54卷
-—1 argmin'°*&*2z&Z8-0—RCo z%0T1B‘O T N1C o*)(17)为简化表示，以J表示式(16)优化方法，以K 表示式(17)优化方法。这两种优化函数均可将X 与Z矩阵中的旋转和平移部分一同解出，并在取得全局最小值时同步得到标定矩阵X S Z。
2.2最小化相机的重投影误差
基于最小化重投影误差的思想到X S Z矩阵的全局最优解，因该优化对初值选择敏感，故将第一步迭代优化的解作为该步骤的迭代初值。机器人在每一个拍照位置均能拍摄清晰完整的棋盘格图像，可以使用文献+6]方法进行相机内参数和畸变系数的标定。P为包含相机内参数和畸变系数的12维向量
P=[+1+2,A1,k：，沧3,k],k§,k6,**,*y,00,”0]T
O表示(25)在取全局最小值时同步得到Z与X，即为机器人的方位和手眼关系。f 的Z X标B8表示机器在第8个位置的运动学解。
2.3误差评价方程
为了对比各个标定方法的精度，使用了4种不同的误差评定指标，而且这4种方式都有明确的物理意义。
(1)旋转矩阵与角度平均误差(单位为(°))
R.—(R z R b,)t(R a R x)(26)
由式(10)可求得每一个位置点的旋转角度，再代入式(27)即可得到角度平均误差。
(2)平均平移误差(单位为mm)
<?T
1-T
—'||%9,)—(R zt*%Z)
-8_02
相机畸变模型采用8参数模型。径向畸变系数为
18)
N—1%A1U%ku4%k3u6(19)
D=1%k4r2%k5U4%k6u6(20)成像平面畸变校正后的像素计算式为
X』:=*d.%2+i*』y i%(%2*』)(21)
£==y d.%2+l*』y』%p1(U%2y』)(22)(3)重投影误差(单位为像素)
(28)
式中：(*』,y』)为实际成像位置(X i，人)为理想成像位置(1〜k6是考虑径向畸变的泰勒级数前6项的系数(是成像点到成像中心的距离+1+2为考虑切向畸变的泰勒级数前2项的系数。投影点坐标的计算公式如下
4,=*#,1Z B!X—1)3X4'>%(23)
式中：表示棋盘格上角点的三维世界坐标矩阵,j -+,m—1],m为棋盘格上的角点个数。
重投影误差的最小二乘和为
U—''II X,—X,|2(24)
8-0j-0
式中U表示理想成像点和计算投影点之间的距离的平方;m为棋盘格角点的个数;-为采集图像的位置个数;X，为机器人在第8个位置拍摄图像的第j 个角点图像坐标，精度为亚像素级别。
将式(7)的优化解作为相机最小化重投影误差的迭代初值解，则可以得到
arg min''||X,—f(p,(ZBX—)x4'>)II2 8-0j-0
(25)
%*T S U mms的数值大小与测量数据密切相关"已知机器人运动学模型精度和测量噪声都会对标定结果造成影响，倘若模型精度差，噪声强，可能导致迭代不收敛或陷入局部最优解。如果迭代收敛到全局最优解，则此3个评价指标也可直观地给出测量数据的可靠程度，偏差越大，即使得到了收敛结果，则测量数据离散程度也会越高。
(4)三维重建精度误差(单位为mm)对于每一个角点均进行迭代优化，求得最优解为”，算法如下
-—1
手眼arg min'||X,—f(.p,(ZB X—1)3X4X)I：
8-0
(30)式中：U为所求误差，单位为mm，表达式为
u—丄'II y,—x,|2(31)
m,=0
其中，y是由-张图片优化得到的三维坐标,x，为棋盘格角点的三维世界坐标。
在机器人三维视觉测量中，需要把图像坐标转化为机器人坐标系下的三维坐标。已知棋盘格的标准尺寸，可将获得的标定矩阵Z与X作为已知量代
第8期田鹏飞，等：结合精度补偿的机器人优化手眼标定方法103
入式(30)(31)来判断棋盘格点的重建精度。因此，
r ae更能体现标定结果作用于实际靶标的三维重
建精度。
3实验与结果
3.1系统标定与实验
在5同分别运用本文算法和以往
经典的进行关系求解，以2.3出的
4种误标对比各个标的精度。
首先进行实验描述，如表1所示，均为不
同密度、不同、不同机器号的实
验数据。前3个数据集来自于文献［17］，第4、5个
自于实际工厂试验中。在采集D4数据实
验前，出现了迭代不收敛的，修改机器基
本后采集了D4,N为采，厂叫为
机标定精度，单位。
表1实验数据集描述
数据集
尺寸
/像素
焦距
/mm
机器人型号N仏/像素
DI640X4808Denso VS-6577GM-B880.185224 D21600X12006Denso VM-BIG200.447333 D31228X10296Denso VS-6577GM-B150.123168 D41280X102412Kawasaki RA010NA360.04781 D51280X102412Kawasaki RA010NA360.05413
采用如图3所示的专用标定设备对Kawasaki RA010NA进行了本体运动学模型标定后再在如图2的实验上采集D5。在以上5
上进行不同算法的性能对比。
图2实验平台
用日本川崎公司的RA010NA型10kg
机器人，本体在工厂2年以上，相机为度申公司的U3VT130M-H，分辨率为1280X1024像素，棋盘格每格尺寸为6mmX6mm o现场实际操作中将标固工作空间某一位置，相机固：机器端，机器人带动相机移动到36 同位置拍摄完整的标定板图像，同时记录每一位置机器人坐标系下的位姿矩阵，然后完成相机标定，由表1已知相机标定的误差均值约为0.17像素o 获得的的机器人位姿标定程序即可完成标定的功能。
标定程序采用OpenCV4.0,Eigen、Ceres Solver的算法库，在Windows系统下采用C++编程。CPU主频为1.8GHz,8GB内存，运行使用2个处理器，因此现有的工业现场边缘计完全：此类性能需求。OpenCV是开觉，Eigen 是开C++库,Ceres Solver是谷歌
开发的用于非线性优化求解的库［18］，本文优化方程的求基此3开。后编(;6)
(17)(25)的代价函数来构建优化问题，通过配置求解器迭代求解。
本文的机器人优化手眼标定算法主要基于式(16)(17)和式(25)进行，探究机器人本体模型精度的的求解精度影响。式(16)和(17)各代表了一种基于李的标定算法，即依据全局优化直接求标定结果，但是准确；提出式(25)的目的在于通过最小化重投影误差进一步提高标定精度，该步迭代初值(16)或者(17)的求结果。因此，本文的含3种不同的机器人关系求&基李构
。
说明，李是一种三维空间位姿表示方法，另外，还有欧拉角(Euler)理论、轴/角度(axis/angle)理论、四元数(quaternion)理论这3种不同的三维空间位姿理论。因此，还需要考虑基于同三维间表示优化程求精度的影响，而且式(16)(17)和(25)均可以将其中的旋转矩用拉，轴/度。因此本出的在4种不同的三维空间位姿理论支撑下共有12种变，加上结［23,5］提出的3种state-of-art共有;5种需要能比。为了简化描述，依次用号称。本将+］算法简称A、文献［3］算法简称B、文献［5］算法简称C；将采用欧拉角理论构建式(16)(17)
(25)优化方程来求关系的分别简称算法
D、E、F；将用轴/角度理论构建的分别简称：G、H、I；将用构建的分别简称; J、K、L；将在式(16)(17)(25)中使用本文提出的基李的优化求关系的分简称M、N、O。
发布评论