104 《激光杂志》2〇2丨年第 42 卷第 1 期 LASER JOURNAL(Vol.42，N。. 1,2021)
最小化重投影误差的手眼标定优化算法
马清华，燕必希，董明利，孙鹏
北京信息科技大学光电测试技术及仪器教育部重点实验室，北京100192
摘要：为了减小图像噪声对手眼标定精度的影响，在传统的手眼标定算法的基础上，利用基于最小化重
投影误差优化算法求解手眼标定方程。以基于矩阵直积参数化方法计算出的手眼关系矩阵为初值，以摄影测
量光束平差为优化模型，最小化重投影误差为代价函数，获得最优的手眼关系标定值。实验结果证明了该方法
的具有较好的稳定性和精确性，算法求解了10次实验结果，手眼标定矩阵的最大重投影误差为1.037个像素，波动值为0.007像素。与最小化代数误差的优化方法和线性优化分步估计方法相比，提高了手眼标定的求解
精度。
关键词：视觉传感器；手眼标定；重投影误差，矩阵直积
中图分类号:TN249 文献标识码：A d o i：10. 14016/j. cnki. jgzz. 2021.01. 104
Hand-eye calibration optimization algorithm based on
minimizing reprojection error
MA Qinghua,YAN B ix i,DONG M ingli,SUN Peng
School of Instrument Science and Optoelectronic Engineering, Beijing Information Science and Technology University, Beijing \00\92y China
Abstract：In order to reduce the influence of image noise on the accuracy of hand eye calibration, based on the traditional hand eye calibration algorithm, the hand eye calibration equation is solved by the optimization algorithm based on the m inimum reprojection error. The h a n d-e y e relation matrix calculated based on the direct product param eterization m ethod of matrix is taken as the initial v alue, the photogram m etric beam adjustm ent is used as the optim ization m o d el, and the cost function is
used to minimize the reprojection error. Experim ental results show that this method has good stability and accuracy. The algorithm solves the results of 10 experim ents, and the maximum reprojection error of the h a n d-e y e calibration m atrix is 1. 037 p ixels, and the fluctuation value is 0. 007 pixels. Com pared with the optim ization method of m inim izing the algebraic error and the linear stepwise estim ation m ethod, the accuracy of hand -eye calibration is improved.
Key words：vision se n so r；h a n d-e y e calib ratio n；reprojection e rro r,nonlinear optimization
i引言
自第一台工业机器人问世以来，随着科技的迅速 发展，工业机器人的应用愈发普及如机器人抓取[1]和 医疗工程[2]。在工业机器人的研究中，手眼标定技术
收稿日期:2020-09-21
基金项目：北京市教委科技计划重点项目（N o. KZ201711232029)
作者简介：马清华（1993-)，女，硕士，主要研究方向为视觉测量。£- mail：****************
通讯作者：燕必希（1970-)，男，教授，硕士生导师，主要研究方向为光 电检测技术、机器视觉。E-m
ail:*************** 是基于视觉的机器人控制的重要组成部分。它的目 的是测算搭载在机器手末端执行器上的相机坐标系 到末端执行器坐标系的姿态变换矩阵。自1989年 T s c a i等[3]和S h iu等[4]首次提出手眼标定问题以来，国内外学者对此进行了大量的研究。根据标定矩阵 的求解顺序可将手眼标定问题的求解方法分为两大 类，一种是先求标定矩阵的旋转矩阵再求标定矩阵的 平移向量；典型的算法有C h o u等提出一种基于单位 四元数的手眼标定闭环线性解法[5];Park等结合欧氏 运动SO，提出一种改进的手眼标定方程求解算
《激光杂志》2〇2!年第 42 卷第 1 期 LASER JOURNAL(Vol.42，Na 1,2021)105
法[6];Malti提出的基于对偶四元数理论的手眼标定 矩阵求解方法[71；王金桥等面对关节臂扫描测量系统 中的手眼标定问题提出一种双阶段手眼标定方法等[8]；王昌云等使用四元数与奇异值分解相结合的方 法对机器人进行手眼标定[9]；张召瑞等提出融合旋转 平移约束的手眼标定方法[1°]；罗保林等提出融合罗 德里格矩阵和整体最小二乘的双目机器人手眼标定 算法[U]。因为这类方法旋转矩阵和平移向量分开求 解，旋转矩阵的误差会传递到后续平移向量的解算 中，因此，这类算法适用于旋转矩阵估计精度较高的 情况。另一种是同时对矩阵的旋转部分和平移向量 求解。典型的算法如Andreff针对标定小范围移动的 测量场景，提出一种基于矩阵直积的手眼标定方程闭 环解法[12]；王军臣等提出利用最大似然估计优化模 型的手眼标定算法[13],Zhao提出一种基于〇〇-范数优 化模型的手眼标定算法[14]；李巍等结合随机抽样一 致性算法利用旋转轴之间的夹角对标定数据进行预 筛选，利用四元数理论，提出一种新的手眼
标定优化 方法[|5]。Tabb等提出了基于迭代优化方法的手眼标 定算法，并用非线性优化器求解[16]；陆艺等提出基于 结构光视觉感器的机器人手眼标定方法，利用平面耙 标和结构光视觉传感器对标定方程进行求解[17]。
以上算法分别从不同的参数化角度（轴角变换、矩阵直积、四元数、对偶四元数等）表示标定方程中的 旋转矩阵和平移向量，通过最小化代数误差来解算标 定矩阵。然而，由于上述方法只考虑到最小化代数误 差来解算标定矩阵，并未考虑到图像噪声对标定精度 的影响。
针对上述问题，用重投影误差可以同时考虑标定 矩阵和图像处理所产生的误差的特性，构建一个基于 重投影误差的代价函数来优化手眼标定矩阵，考虑到 平移误差对标定方程求解的精度影响较大[17]，采用 矩阵直积的参数化方法，将手眼变换矩阵中的旋转矩 阵和平移向量分开求解，并以重投影误差的均方差作 为评价标准，提高手眼关系矩阵的标定精度和可靠 性。
2机器人手眼标定
2. 1机器人手眼标定模型
手眼校准要求准确估计机器人手/末端执行器与 附着在末端执行器上的摄像机的光学框架之间的同 质变换。问题可以表述为狀=灿，其中4和B分别是机器人手臂和相机在两个连续时间帧之间的姿态，X是机器人手（末端执行器）和相机之间的未知变换[3-4]。
如图1所示的手眼标定示意图，设P, ,P2表示标 定板世界坐标系到2个不同姿态的摄像机坐标系的 齐次变换矩阵，<?2，(?2分别代表2次不同姿态变换的 机器人末端坐标系到机器人基坐标系的齐次变换矩 阵表示摄像机坐标系到机器人末端执行器坐标系的齐次变换矩阵，则手眼关系可以表示为式（1):
AX=XB,A=P2P~' ,B=Q-'Q](1)其中，都为4x4的矩阵，将上式展开可以 解耦表示成只含有旋转矩阵《和平移矩阵71的方程 形式为：
(2)
根据(2)，（3)可知，至少需要2次旋转轴的非平 行相对位姿变换才可以解出唯一的手眼变化矩阵，即需要至少3个站位才能确定唯一的手眼标定矩阵。2.2矩阵直积参数化方法
设M为mxra阶矩阵，记向量化符号为t^，利用 向量化符号可将M表示为维向量，如下所示：從c(A/)= [M丨丨…财丨”仏…风」(4)设2个矩阵分别为M矩阵与yv矩阵，2个矩阵的 直积运算可表示为如下形式：
M®N--
~MU N•••
凡y v…
(5)
若Mt/+WV=D，根据矩阵直积的性质，可将方程 式转化为如下形式：
(M(^)I+I(^)N)vec( U) =vec(D)
将矩阵直积性质用于(2) ,(3)得：
〇9x3vec( R x)'〇9x l
’3-况4.K
(6)
(7)
(7)式为其次线性方程组，利用最小二乘法求解
106_______《激光杂志》2021 年第 42 卷第 1 期 LASER JOURNAL(Vol.42, No. 1,2021)即可求得X。
3基于最小化重投影误差的优化算法
3. 1光束平差模型
相机在不同站位下对同一点的成像光束必然在 空间中交于某一点。在理想的相机成像模型中，三维 空间点与像面成像点满足共线的几何约束关系，即空 间点财、它在图像上的像面点/n和相机光心A在一条 直线上。
设空间中任一三维点a/的坐标为[I y Z]T，它的相面点m的坐标记为[外]T，由共线性约束可得:•=_r…(Z-J0)+r,2(y-y0)+r13(Z-Z0)
r3l(X-X0) +r32( Y-Y0) +r33(Z-Z0)
'r2t(X-X0)+r22(Y-Y0)+r2i(Z-Z0)(8)
r~"C r31(J-Z0)+r32 (F-F0)+r33(Z-Z〇)式中,c为相机的有效焦距，示相机 的光心在世界坐标系中的坐标'为相机坐标系与世 界坐标系之间的旋转变换矩阵。
厂11 r i2 r i3
R=r2\ r22r23
_r31 r32 r33_
将所有的像点在所有站位中的共线方程联立，组 成一个大规模的非线性方程组，在已知各个站位下点 的图像坐标和相机参数时，可以求得点的三维坐标。
3.2基于最小化重投影误差的优化算法
利用最小二乘法求解（7)式得到Z的过程中，由于缺少对旋转矩阵的约束条件导致方程解的不稳定 性。针对这个问题，将基于最小化重投影误差的优化 算法应用于手眼标定。
设P为棋盘格角点在世界坐标系中的位置，将m 个棋盘格角点记为P，心e (〇，m- 1))，假设所有的角 点都可以在采集的图像中被检测到。利用相机的标 定参数将/^从机器人第i个位姿投影到图像上，得到 图像点G，记G对应的原始图像点为/% ，根据手眼标 定方程可得：
P'^cpik^X B X-1]^,)(9)左为相机的参数，表示将世界空间的三维点投 影到图像空间的操作，相机的外参根据所拍图像和相 机内参获取。[]3x4表示括号内参数的3x4子矩阵。
记点匕的重投影误差为en?，则点的重投影误差为：
e叩=i X丨丨尸r6丨丨2(*°)
,=〇; =〇
将(9)代人（10)得：
n-1 m—1
e r r厂S X llA -<^(左，叫1丨]3x4〜）丨|2
i=0j = 0
(11)
将标定矩阵X表示为旋转矩阵和平移向量带人 上式，构建如下函数：
n-1
=a r g r a i n^•
R*'1* i = l,j = i+l
1Rx tx Rx tx
-i
p,, - U,B,
\0r10T1
2
2
(12)
以基于矩阵直积的参数化方法求解出的手眼关 系矩阵为初值，对目标函数/(圪,〇进行迭代求解，可求得关系矩阵X。
3.3优化算法的误差评价
由于无法得到真实绝对的标定值，采用以目的为 导向的评价方法，分析优化算法的精度。即根据已标 定的手眼关系Z和机械手提供的齐次变换矩阵逆求解相机运动变换矩阵的估计值1，并将其值与经过 相机标定得到的相机运动变换矩阵的值进行比较分析。定义标定矩阵的旋转误差和平移误差分别如 下所示：
111= 1
= 士 x i u
n i=i
重投影误差均方根计算公式如下：
为了对优化算法进行评价，将最小化重投影误差 优化算法计算出的手眼关系矩阵与最小化代数误差[12](Minimizing Algebraic Error，MAE)和线性优化分 步估计[I5]( Nonlinear Optimization Separated，NOS)算 法对机器人的手眼关系进行标定解出的手眼关系矩 阵进行对比。
4实验结果与分析
使用Ihtisham A li等提供的照片数据进行分析处 理。图2和图3为不同姿态下拍摄的标定板的图像。
马清华等：最小化重投影误差的手眼标定优化算法
《激光杂志》2021 年第 42 卷第 1 期 LASER】OURNAL(Vol.42，No. 1，2021)107
图2姿态1下拍摄的棋盘格图像
图3姿态2下拍摄的棋盘格图像
实验过程如下：首先，利用机器人搭载工业相机 每次选取15个不同位姿对棋盘格靶标拍照成像，图2 和图3为15个姿态中2个姿态下的棋盘格的图像，记录不同位姿下的机器人位置信息然后，利用 Matlab Camera Calibration Toolbox 工具箱标定相机得 到不同位姿下的相机外参数，…15)，并将其两
两进行组合可以得到a/=15(125+ 1)= 120组手眼标定
数据集丨f广，％1及丨（i=l，…15)。用基于矩阵直 积的参数化方法求解标定矩阵记为X。以X为初值，利用基于最小化重投影误差的优化方法求解标定矩 阵记为XM R E。重复上述实验1〇次，下面为优化前和 优化后求得的手眼关系矩阵1〇次实验中的一组结果：
■-0.031 7-0. 049 60.998 30.015 0 '
-0. 999 00.033 2-0.030 10. 107 7
X=
-0.031 7-0. 998 2-0. 050 6-0.081 6
_0001.0000 _
优化后的手眼关系矩阵X MRE 为：
■-0.030 3 -0. 049 5 0.998 3 0.014 1 '
-0. 998 7 0.039 9 -0. 284 -0. 108 0
-0. 038 5 -0. 997 9 -0. 050 0 -0. 080 0
.000 1.0000」
10组手眼标定重复性实验基于最小化重投影误 差优化前后的重投影误差比较见表1和图4所示，旋 转误差和平移误差见表2所示优化前的重投影误差 记为e，优化后的重投影误差记为e'。优化前的旋转 误差和平移误差分别记为eR,e t；优化后的旋转误差和平移误差分别记为
表1实测实验重投影误差对比
组数e/p ixel e/p ixel
1 1.761 1.037
2 1.8760.988
3 1.9370.974
4 1.7580.922
5 1.9330.927
6 2.0870.956
7 1.9550.965
8 2.0330.955
92.0860.930
101.8840.893
鐾3 ——优化箭7
••―备-优化后
12345678910
组数
图4优化前后的重投影误差
通过图4可以明显地看到，优化前手眼标定的重 投影误差为2个像素左右，经过优化后，手眼标定的 重投影误差稳定在1个像素左右，且起伏较小。
表2优化前后旋转误差和平移误差
e R/( mrad)e R/(mrad)e R/(mm)e,/ m m
1. 2.5580.072 1.0150.531
2 2.6000.085 1.0140.673
3 2.6370.090 1.0150.668
42.6680.080 1.0150.579
5 2.7100.100 1.0150.772
62.7440. 113 1.0150.803
手眼7 2.7710.097 1.0140.685
82.8060. 103 1.0140.795
9 2.8400. 116 1.0130.845
10 2.8720. 108 1.0120.796
通过表2可以看出，优化后旋转误差和平移误差 都有所减少。优化后旋转误差最大为〇. 116 mmd，平 移误差最大为〇. 845 mm。
分别使用最小化代数误差手眼标定算法和非线 性优化分步估计算法对机器人的手眼关系进行标定。
使用以目的为导向的误差评价方法，分别计算3 种优化方法1〇次重复性实验的旋转误差和平移误差，结果如表3所7K:
_1
雎
礆n
举〇
w
马清华等：最小化重投影误差的手眼标定优化算法
108 《激光杂志》2021 年第 42 卷第 1 期 LASER JOURNAL(V〇1.42, No. 1,2021)表3实测实验旋转误差和平移误差结果
4R E/ (mrad)
e r/
(mrad)
er v
(mrad )
e”E R/
(mm)
e(M A E/
(mm)
e,N0S/
(mm)
10. 072 1.3450.0700.531 3. 106 3.303 20.0850. 8600.4580. 6731. 878 6.437
30. 0901. 1420.2180.6680.428 3.980
40.080 1.2390.2030.579 2.648 5. 269 50. 100 1.4150.7120.772 2. 3238.466
60. 113 1.4630.6160.803 2. 6228.588
70.0970.6530. 8390.685 2. 5257. 149
80. 103 1.212 1.0010.795 1.2107.288
90. 116 2. 1630.9790. 845 2. 251 6. 854 100. 1081. 1420.6550.796 4.990 6.881
由上表可以看出，基于最小化重投影误差的优化 算法可以在保证旋转精度的前提下，减小标定的平移 误差，且平移误差最大为〇.845mm，最小为0•531mm，较优于MAE算法和NOS算法。
5结论
鉴于相机标定过程中不可避免地存在图像噪声，因此，手眼标定优化问题中对图像噪声的处理十分重 要。在传统的标定算法的基础上，利用基于最小化重 投影误差的优化算法求解手眼标定方程。该方法不
仅考虑到了关系矩阵自身的代数误差对标定精度的 影响，也考虑到了图像的噪声对标定精度的影响。实 测结果表明，基于最小化重投影误差的优化方法较传 统的基于最小化代数误差的优化方法和线性优化分 步估计算法具有较高的精度和稳定性。
参考文献
[1]LEVINE, S. ,Pastor, P. ,Krizhevsky A. et a l.Learning
hand-eye coordination for roboticgrasping with deep learn
ing and large - scale data collection. Int [ J ].J.Robot.
Res. 2018, 37, 421136.
[2] P A C H T R A C H A I, K. , AUan, M. , Pawar, V. et a l.Hand-
eye calibration for robotic assistedminimally invasive surgery
without a calibration object [J ].In Proceedings of the Inter
national Conference onlntelligent Robots and Systems
(IROS), Daejeon, Korea, 9-14 October 2016；pp. 2485
-2491.
[3 ]TSAI R Y, L E N Z R K. A new technique for fully autono
mous and efficient 3D robotics hand/eye calibration [J ].
IEEE Transactions on robotics and automation,1989, 5
(3) ： 345-358.
[4] SHIU Y C, A H M A D S. Calibration of wrist-mounted robot
i c sensors by solving homogeneous transform equations of
the form A X= X B[J ].ieee Transactions on Robotics and
Automation, 1989, 5(1)：16-29.
[5] C H O U J C K, K A M E L M. Finding the position and orienta
tion of a sensor on a robot manipulator using quaternions
[J].The international journal of robotics research, 1991,
10(3) ： 240-254.
[6] P A R K F C, M A R T I N B J.Robot sensor calibration：sol
ving A X= X B on the Euclidean group [J ].IEEE Transac
tions on Robotics and Automation, 1994, 10(5)：717-
721.
[7] M A L T I A, B A R R E T O J P. Robust hand-eye calibration for
computer aided medical endoscopy [C]//Robotics and A u
tomation (ICRA) ,2010 IEEE International Conference on.
IEEE, 2010： 5543-5549.
[8]王金桥，段发阶，汪润.精确标定关节臂视觉检测系统
手眼关系[J]•计算机工程与应用，2015,（21): 225-
229.
[9]王昌云，李立君.基于四元数的机器人手眼标定算法
[J].传感器与微系统，2019,38(12) :133-135.
[10]张召瑞，张旭，郑泽龙，等.融合旋转平移信息的机器人
手眼标定方法[J].仪器仪表学报，2015,36(ll):2443-
2450.
[11]罗保林，张献州，罗超.融合罗德里格矩阵和整体最小二
乘的双目机器人手眼标定算法[J].测绘科学技术学报，
2019,36(03)：244-249.
[12] A N D R E F F N,H O R A U D R, ESPIAU B. On-line hand-
eye calibration [C ]// 3-D Digital Imaging and Modeling,
1999. Proceedings. Second International Conference on,
1999： 430-436.
[13]王君臣，王田苗，杨艳，等.非线性最优机器人手眼标定
[J].西安交通大学学报，2011,45(09) :15-20+89.
[14] Z H A O Z. Hand-eye calibration using convex optimization
[C]//Robotics and Automation (ICRA), 2011 IEEE In
ternational Conference on. IEEE, 2011 ： 2947-2952.
[15]李巍，吕乃光，董明利，等.凸松弛全局优化机器人手眼
标定[J]•计算机应用，2017,37(05): 1451-1455.
[16] Tabb,A. ,Ahmad Yousef, K. Solving the robot —world
hand-eye (s) calibration problem with iterative methods •
Mach. Vis. Appl. 2017, 28, 569-590.
[17]陆艺，沈添秀，郭小娟，等.线结构光视觉传感器机器人
手眼关系标定[1].中国测试，2019,45(10):6-9.
发布评论