2021年4月
第49卷第8期
机床与液压
MACHINETOOL&HYDRAULICS
Apr.2021
Vol 49No 8
DOI:10.3969/j issn 1001-3881 2021 08 007
本文引用格式:杨伟姣,杨先海,薛鹏,等.基于Halcon的固定视点手眼标定方法[J].机床与液压,2021,49(8):35-37.
YANGWeijiao,YANGXianhai,XUEPeng,etal.Hand⁃eyecalibrationmethodoffixedviewpointbasedonhalcon[J].
MachineTool&Hydraulics,2021,49(8):35-37.
收稿日期:2020-01-02
基金项目:国家自然科学基金青年科学基金项目(51905320)
作者简介:杨伟姣(1993 ),女,硕士研究生,研究方向为机器视觉及图像处理㊂E-mail:1961572959@qq com㊂通信作者:
杨先海(1963 ),教授,博士生导师㊂E-mail:yxh@sdut edu cn㊂
基于Halcon的固定视点手眼标定方法
杨伟姣1,杨先海1,薛鹏2,孙阳1,代瑞恒1,谭帅2
(1 山东理工大学机械工程学院,山东淄博255049;2 胜利油田高原石油装备有限责任公司,山东东营257000)
摘要:在视觉引导机器人完成抓取的过程中,最重要的步骤是手眼标定,手眼标定的精度将直接影响后续工作的精度㊂充分考虑相机畸变对手眼标定的影响,在Halcon环境下,设计一种高精度的固定
视点手眼标定方法,该方法在确定了机器人基础坐标系与相机图像坐标系之间关系的同时也标定了相机的内外参数,并通过实验进行验证㊂结果表明:该标定方法具有较高的精度,可广泛应用于视觉机器人的定位抓取工作㊂
关键词:机器视觉;相机标定;手眼标定中图分类号:TP391
Hand⁃eyeCalibrationMethodofFixedViewpointBasedonHalcon
YANGWeijiao1,YANGXianhai1,XUEPeng2,SUNYang1,DAIRuiheng1,TANShuai2
(1 SchoolofMechanicalEngineering,ShandongUniversityofTechnology,ZiboShandong255049,China;
2 ShengliOilfieldPlateauPetroleumEquipmentCo.,Ltd.,DongyingShandong257000,China)
Abstract:Intheprocessofvisuallyguidingrobottocompletegrasping,themostimportantstepishand⁃ey
ecalibration.Theac⁃
curacyofhand⁃eyecalibrationwilldirectlyaffecttheaccuracyofsubsequentwork.Fullyconsideringtheeffectsofcameradistortiononthecalibrationoftheopponent seyes,inHalconenvironment,ahigh⁃precisionfixed⁃viewhand⁃eyecalibrationmethodwasdesigned.Inthismethod,therelationshipbetweentherobot sbasiccoordinatesystemandthecameraimagecoordinatesystemwasdeterminedwhiletheinternalandexternalparametersofthecamerawerealsocalibrated.Itwasverifiedbyexperiments.Theresultsshowthatthe
calibrationmethodhashighaccuracyandcanbewidelyusedinthepositioningandgrabbingworkofvisualrobots.
Keywords:Machinevision;Cameracalibration;Hand⁃eyecalibration
0㊀前言
机器人视觉控制是智能机器人领域的重要研究内容,也是现阶段研究的热点之一[1
-2]
㊂视觉与机器人
的关联方式主要包括固定视点的眼到手配置模型(Eye-to-Hand)和非固定视点的眼在手配置模型(Eye-in-Hand)㊂本文作者主要针对摄像机固定安装在机械臂本体以外的Eye-to-Hand模型进行研究,Eye-to-Hand模型因其摄像机单独固定,避免了因机械臂运动造成的定位误差,在工业机器人定位抓取和
装配等领域有着广泛的应用[3]㊂1㊀双目视觉系统原理
双目视觉是根据视差原理,通过多幅图像获取测量物体三维信息的方法[4
-5]
㊂如图1所示为双目立体
视觉原理图㊂其中xLyL表示左图像平面,xRyR表示
右图像平面㊂对于空间任意一点p,在左摄像机成像
平面的投影点为pL,在右摄像机成像平面的投影点为pR,pL㊁pR相互对应㊂
图1㊀双目立体视觉原理
通过视差原理,可以计算空间点p在相机坐标系
下的三维坐标p(Xc,Yc,Zc):
Xc
=x-cxfZ=(x-cx)Bd-cx+cxᶄYc=y-cy
fZ=y-cy()Bd-cx+cxᶄZc=Bf
d-cx+cxᶄ
ìîíïïïïï
ïïï(1)
其中:B为基线距,mm;d为视差,mm;f为相机焦
距;cx㊁cxᶄ分别表示左右相机的图像中心与光心x轴水平方向偏移量,mm;cy为左相机图像中心与光轴x轴垂直方向偏移量,mm㊂
2㊀摄像机标定坐标转换
手眼标定的前提是要进行摄像机标定,求解空间中的世界坐标系与图像像素坐标系的关系,即为摄像机标定过程[6]㊂该过程中涉及的坐标系包括世界坐标系(xw,yw,zw)㊁摄像机坐标系(xc,yc,zc)㊁图像物理坐标系(x,y)㊁图像像素坐标系(u,v)㊂
(1)世界坐标系与摄像机坐标系的转换xcyczcéëêêêêùûúúúú=Rxwywzwéëêêêêùûú
úúú+T=r11r12r13r21r22r23r31
r32
r33éëê
êêêùû
úúúúxwywzwéëêêêêùû
úúúú+txtytzéëêêêêù手眼
û
úú
úú(2)
其中:R为旋转变换矩阵;T为平移变换矩阵㊂
(2)摄像机坐标系与图像坐标系的转换
u-u0=x/dx=sxxv-v0=y/dy=syy
{
(3)
(3)世界坐标系与图像坐标系的转换
Xf
=u-u0fx=r11xw+r12yw+r13zw+txr31xw+r32yw+r33zw+tzYf=v-v0fy=r21xw+r22yw+r23zw+tyr31xw+r32yw+r33zw+tzìî
í
ïïïï(4)
将式(3)和式(4)代入式(2),可得齐次坐标为zcuv1éëêêêùûúúú=fx0
u000fyv000
01
0éëêêêù
û
úúúRT0
T1éëêêùû
ú
úxwywzw1éëêêêêêùû
ú
ú
úúú=M1M2X=MX(5)
其中:ax=sxfx=fx/dx,ay=syfy=fy/dy;M1为摄像机内部参数;M2为摄像机外部参数㊂
3㊀固定视点手眼标定3 1㊀标定模型的建立
在机器视觉中,机械手臂抓取运动过程中主要涉及机械臂基坐标系㊁工具坐标系㊁标定板坐标系㊁摄
像机坐标系和世界坐标系[7-
8]㊂整个过程的变换实质是将图像坐标系的坐标转换为机械臂基坐标的位姿变换㊂固定视点手眼标定模型如图2所示㊂
图2㊀Eye-to-Hand模型
㊀㊀手眼标定的目标:
(1)求解摄像机坐标系下机械手基础坐标位姿camHbase;
(2)求解工具坐标系下标定板坐标位姿toolHcal㊂3 2㊀摄像机内参获取
本文作者基于Halcon进行标定㊂Halcon是德国
MVtec公司开发的图像处理软件,具有完善的综合标准软件库和机器视觉集成开发环境[9]㊂选用Halcon三维标定,该方法可以有效地消除径向畸变和视角畸
变,在x㊁y㊁z方向平移和旋转标定板,相机和镜头参数作为标定过程中算子StartCamPar的初值㊂获取摄像机的内参的标定过程如图3所示㊂
(1)选择标定板并初始化参数㊂标定过程选用7ˑ7的圆形阵列㊁直径为10mm㊁圆心距为20mm㊁厚度为0 18mm的标定板,在标定初始选择标定文件路径和摄像机参数;
(2)图像采集㊂将摄像机固定,机器人末端夹具带动标定板变换至不同空间位置,保存标定板位于
63㊃机床与液压第49卷
不同位置时的摄像机图像,采集图像15幅,由于
Halcon图像采集对光照等条件要求较高,在实时采集过程中需要对标定板位置进行实时调整,采集满足标定要求的标定板图像;
(3)提取原点中心并标定㊂提取标定板中阵列分布的原点中心并进行标定,去除图像畸变,获取校正后的摄像机内部参数㊂图4为标定图像
图3㊀
摄像机内参的标定流程
图4㊀标定图像
3 3㊀固定视点手眼标定
通过机械臂末端工具带动标定板移动到不同位置,标定手眼关系同时获取摄像机内部参数,调用摄像机内参标定得到的二维图像,通过手眼关系的转换得到准确的三维信息,获取手眼标定的目标参数关系㊂获取机械臂末端工具相对于机械臂底座基坐标的位姿baseHtool以及标定板相对于摄像机的位姿camHcal,同时获取摄像机坐标系与机器人工具坐标系之间的相互关系,并得到了工具坐标系相对于相机坐标系的位姿camHtool,从而可以得到手眼标定的结果,即基础坐标系下标定板位姿
cam
Hcal:
cam
Hcal=
cam
Hbase㊃
base
Htool㊃tool
Hcal
基于Halcon进行手眼标定的流程如图5所示
图5㊀基于Halcon手眼标定流程
标定板坐标系相对于基坐标系的位姿计算式为:base
Hobj=baseHcam㊃camHobj,表示出最终需要的工件位姿,得到这个位姿便可以给机器人发送运动指令,控制手抓进行抓取任务㊂
4㊀实验结果及分析
选用BB2双目摄像机和UR5机器人进行实验,摄像机通过支架固定于机械臂末端夹具上方,整个系统可获取摄像机内外参数以及摄像机与机械臂的相对位姿㊂通过文中提出的基于Halcon的标定方法,可以较为准确地获取图2中各坐标系之间的相互转换关系,满足了工业生产中对目标物体的准确抓取和定位工作,得到表1所示的标定结果㊂
表1㊀手眼标定结果
标定变量
标定结果/mm
标定变量标定结果/(ʎ)
x坐标0.162x轴旋转量90.159y坐标0.002y轴旋转量0.284z坐标
0.073
z轴旋转量
90.065
㊀㊀由表1可得标定结果仍存在一些误差㊂分析误差产生的主要原因有:(1)在图像采集过程中会受光照变化等噪声影响产生标定误差;(2)摄像机固有精度所带来的的实际误差;(3)各方面误差的累积影响标定结果㊂
5㊀结束语
本文作者提出基于Halcon的固定视点手眼标定方法,在获得机器人基础坐标与相机图像坐标之间关系的同时也标定了相机的内外参数㊂实验结果表明该方法标定精度较高,标定方法简便㊂该固定视点的手眼标定方法可广泛应用于流水线生产过程中的分拣和装配等工作㊂
参考文献:
[1]张艳芳,李倩,刘晓刚,等.基于开放平台的机器人视觉
抓取控制系统设计[J].机床与液压,2017,45(21):31-
34.
ZHANGYF,LIQ,LIUXG,etal.Designofrobotvisiongraspingcontrolsystembasedonopenplatform[J].Ma⁃chineTool&Hydraulics,2017,45(21):31-34.[2]丘椿荣.基于视觉伺服的机器人动态跟踪抓取技术研究
[D].武汉:华中科技大学,2019.
QIUCR.Studyonroboticdynamicaltrackingandgraspingtechnologybasedonvisualservoing[D].Wuhan:HuazhongUniversityofScienceandTechnology,2019.
(下转第71页)
㊃73㊃第8期杨伟姣等:基于Halcon的固定视点手眼标定方法
㊀㊀㊀
TIANJ,NIWG,ZHUSX.Magneticcircuitanalysisandsi
mulationofshear⁃valvemodemagnetorheologicaldamper[J].ChineseHydraulics&Pneumatics,2015(12):45-48.[9]WANGMK,CHENZB,WERELEYNM.Magnetorheologicaldamperdesigntoimprovevibrationmitigationun⁃deravolumeconstraint[J].SmartMaterialsandStruc⁃tures,2019,28(11):114003.
[10]冯彪.飞机前起落架摆振仿真分析与参数优化[D].南京:南京航空航天大学,2012.
PENGB.Simulationandoptimizationofaircraftnoseland⁃inggearshimmy[D].Nanjing:NanjingUniversityofAero⁃nauticsandAstronautics,2012.
[11]王功成.汽车前轮摆振系统动力学分析与评价平台开发[D].合肥:合肥工业大学,2014.
WANGGC.Analysisandevaluationplatformforfrontwheelshimmysystem[D].Hefei:HefeiUniversityofTechnology,2014.
[12]许晓龙.基于磁流变减震器的起落架振动仿真平台开发[D].天津:中国民航大学,2015.
XUXL.DevelopmentofvibrationsimulationplatformforlandinggearbasedonMRdamper[D].Tianjin:CivilAvi⁃ationUniversityofChina,2015.
[13]刘照曦.基于磁流变减震器的起落架落震仿真模块开发[D].天津:中国民航大学,2015.
LIUZX.Simulationmodel sexploitationofMRdamperonlandinggear[D].Tianjin:CivilAviationUniversityofChina,2015.
[14]田静,王恕浩.飞机前轮摆振影响因素分析[J].机械设计,2019,36(7):52-57.
TIANJ,WANGSH.Analysisontheinfluencingfactorofshimmyoftheaircraft snosewheel[J].JournalofMa⁃chineDesign,2019,36(7):52-57.
[15]胡挺,吴立军.CATIA二次开发技术基础[M].北京:电子工业出版社,2006.
[16]张越.基于VB对CATIA二次开发的非标零件标准化设计研究[D].长春:长春理工大学,2018.
ZHANGY.Researchonstandardizationdesignofnon⁃standardpartsbasedonVBCATIAsecondarydevelop⁃ment[D].Changchun:ChangchunUniversityofScienceandTechnology,2018.
[17]赵宏强,衡保利,谭青,等.利用MATLAB与VB的传感器静态自动标定技术[J].现代制造工程,2010(5):30-32.
ZHAOHQ,HENGBL,TANQ,etal.Sensorstaticauto⁃calibrationtechniquebasedonMATLABandVB[J].ModernManufacturingEngineering,2010(5):30-32.[18]冯雪.基于MATLAB与VB的工频波形分析系统[D].上海:上海交通大学,2009.
FENGX.Powerfrequencywaveformanalysissystembas
edonMATLABandVB[D].Shanghai:ShanghaiJiaoTongUniversity,2009.
[19]LORDCorporation.MRF-132DGmagneto⁃rheoloticalfluid[Z].USA:LORDCorporation,2011.
[20]MANJEETK,SUJATHAC.MagnetorheologicalvalvesbasedonHerschel-Bulkleyfluidmodel:modelling,mag⁃
netostaticanalysisandgeometricoptimization[J].Smart
MaterialsandStructures,2019,28(11):115008.
(责任编辑:张艳君)
(上接第37页)
[3]谢小鹏,彭泽林.一种固定视点的机器人手眼关系标定方法[J].中国测试,2018,44(6):1-5.
XIEXP,PENGZL.Ahand⁃eyecalibrationmethodbasedonrobotwithstationaryviewpoint[J].ChinaMeasurement&Test,2018,44(6):1-5.
[4]王之凤,张文君,许键.双目智能眼镜视差快速测试系统设计[J].光学技术,2018,44(1):30-34.
WANGZF,ZHANGWJ,XUJ.Rapid⁃testingsystemofbinocularsmartglassopticalparallax[J].OpticalTech⁃nique,2018,44(1):30-34.
[5],胡炜,顾寄南,等.上下料机器人视觉测量系统关键技术的研究[J].机床与液压,2018,46(15):68-70.LICC,HUW,GUJN,etal.Researchonkeytechnologyofbinocularvisionmeasurementsystemofloadingandunloa⁃dingrobot[J].MachineTool&Hydraulics,2018,46(15):68-70.
[6]胡松,王道累.摄像机标定方法的比较分析[J].上海电力学院学报,2018,34(4):366-370.
HUS,WANGDL.Comparativeanalysisofcameracalibra⁃tionmethods[J].JournalofShanghaiUniversityofElectricPower,2018,34(4):366-370.
[7]舒奇,黄家才.基于Halcon的机器人手眼标定方法研究[J].南京工程学院学报(自然科学版),2019,17(1):45-49.SHUQ,HAUNGJC.Astudyonrobothand⁃eyecalibrationmethodbasedonHalcon[J].JournalofNanjingInstituteofTechnology(NaturalScienceEdition),2019,17(1):45-49.[8]陆艺,沈添秀,郭小娟,等.线结构光视觉传感器机器人手眼关系标定[J].中国测试,2019,45(10):6-9.
LUY,SHENTX,GUOXJ,etal.Robothand⁃eyerelation⁃shipcalibrationbasedonlinestructuredlightvisionsensor[J].ChinaMeasurement&Test,2019,45(10):6-9.[9]田春林,陈李博,马国庆,等.基于Halcon的工业机器人手眼标定方法研究[J].制造业自动化,2018,40(3):16-18.TIANCL,CHENLB,MAGQ,etal.Researchonhand⁃eyecalibrationmethodofin
dustrialrobotbasedonHalcon[J].ManufacturingAutomation,2018,40(3):16-18.
(责任编辑:张艳君)
㊃17㊃
第8期田静等:基于磁流变减摆器的摆振仿真平台开发㊀㊀㊀