ModularMachineTool&AutomaticManufacturingTechnique
No.11Nov.2019
文章编号:1001-2265(2019)11-0112-04 DOI:10.13462/j.cnki.mmtamt.2019.11.028
基于深度学习的汽车轮毂表面缺陷检测算法研究
(河北工业大学a.机械工程学院ꎻb.河北省机器人感知与人机融合重点实验室ꎬ天津 300132)摘要:汽车轮毂在加工和搬运过程中难免会产生划痕和擦伤等表面缺陷ꎬ为解决传统人工检测低效、耗时、检测精度低的缺点ꎬ提出使用机器视觉技术完成轮毂表面缺陷的检测ꎮ由于轮毂的表面结构复杂ꎬ提出将视觉系统安装在机械手末端完成图像采集ꎬ并以此提出了一种基于深度学习的汽车轮毂表面缺陷检测算法ꎬ该算法首先对采集的原始图片进行分割ꎬ然后对分割的图片进行图像增强处理ꎬ增强图像的对比度和缺陷的特征ꎬ然后将处理后的图片输入已经训练好的卷积神经网络ꎬ得出最终的检测结果ꎮ实验结果表明ꎬ该算法具有很高的准确率ꎮ关键词:汽车轮毂ꎻ缺陷检测ꎻ机器视觉ꎻ图像处理ꎻ深度学习中图分类号:TH165.4ꎻTG506 文献标识码:A
ResearchonSurfaceDefectInspectionAlgorithmsofAutomobileHubBasedonDeepLearning
ZHAOHai ̄wenaꎬbꎬZHAOYa ̄chuanaꎬbꎬQIXing ̄yueaꎬbꎬLIFengaꎬb
(a.SchoolofMechanicalEngineeringꎻb.HebeiKeyLaboratoryofSmartSensingandHuman ̄RobotInterac ̄tionꎬHebeiUniversityofTechnologyꎬTianjin300132ꎬChina)
Abstract:Surfacedefectssuchasscratchesandscratcheswillinevitablyoccurintheprocessofprocessingandhandlingofautomobilehub.Inordertosolvetheshortcomingsoftraditionalmanualinspectionꎬsuchaslowefficiencyꎬtime ̄consumingandlowdetectionaccuracyꎬmachinevisiontechnologyisproposedtocompletetheinspectionofwheelhubsurfacedefects.Becauseofthecomplexsurfacestructureofthehubꎬavisionsystemisinstalledattheendofthemanipulatortocompleteimageacquisition.Basedonthisꎬadepthlearningalgorithmfordetectingdefectsonthesurfaceofthehubisproposed.Firstꎬtheoriginalim ̄ageissegmentedꎬthenthesegmentedimageisenhancedtoenhancethecontrastanddefectcharacteristicsoftheimageꎬandthenthelocationofthedefectisenhanced.Afterimageprocessingꎬthetrainedconvolu ̄tionneuralnetworkisinputandthefinaldetectionresultsareobtained.Theexperimentalresultsshowthatthealgorithmhashighaccuracy.
Keywords:automobilehubꎻdefectinspectionꎻmachinevisionꎻimageprocessingꎻdeeplearning
赵海文aꎬbꎬ赵亚川aꎬbꎬ齐兴悦aꎬbꎬ李 锋aꎬb
0 引言
目前对汽车轮毂表面缺陷检测的研究不是很多ꎬ检测方式为人工检测ꎬ然而这种枯燥的工作以及恶劣的环境会对工作人员的检测质量和效率造成一定程度的影响ꎮ汽车轮毂的表面缺陷主要分为划痕和擦伤ꎬ集中在轮毂轮辐的外表面ꎬ属于金属表面缺陷ꎮ传统的缺陷检测算法有图像差分法[1]、图像匹配法[2]和Blob分析法
[3]
缺陷检测[9]中ꎮ本文提出一种基于图像处理与卷积神经网络相结合的轮毂表面缺陷检测算法ꎮ由于汽车轮毂结构复杂ꎬ本文算法基于把视觉系统安装于机械手的末端ꎬ通过机械手末端的移动完成整个轮毂表面的图像采集ꎮ该算法首先将采集的原始图片经过图片分割得到若干张分割图片ꎬ然后对分割之后图片进行图像增强处理ꎬ增加图像对比度和缺陷特征ꎬ然后将图像处理之后的图片输入已经训练好的卷积神经网络ꎬ以此实现汽车轮毂的表面缺陷检测ꎮ
等ꎬ而这些算法大多不能对缺陷进行分
类ꎬ且抵抗外界干扰的能力差ꎬ识别率低ꎮ卷积神经网络(convolutionneuralnetworkꎬCNN)是一种具有卷积运算的前馈神经网络ꎬ是深度学习算法的一种[4]ꎬ到目前为止卷积神经网络已经成功应用于手写数字识别[5]、车牌字符识别[6]、人脸识别[7]、行为检测[8]以及
1 图像处理
图像处理在数字图像中占了很重要的地位ꎬ图像质量的好坏ꎬ直接影响着缺陷检测的结果ꎮ本文图像处理的过程包括图像分割、图像灰度化以及图像锐化ꎮ
收稿日期:2018-12-23ꎻ修回日期:2019-01-23
作者简介:赵海文(1973—)ꎬ男ꎬ河北邯郸人ꎬ河北工业大学副教授ꎬ硕士研究生导师ꎬ博士ꎬ研究方向为机电一体化ꎬ智能检测与控制ꎬ(E-mail)
imachine@yeah.netꎮ
2019年11月 1.1
图像分割
赵海文ꎬ等:基于深度学习的汽车轮毂表面缺陷检测算法研究113
图像分割是指将图像分割成若干个、具有不同性质的区域图片的过程ꎮ本文缺陷分类算法基于卷积神经网络ꎬ轮毂表面的缺陷相对于采集的图片太小ꎬ若以采集的原始图片作为训练样本ꎬ会增加卷积神经网络的学习难度ꎬ难以实现缺陷的分类检测ꎮ故本文将采集的原始图片分割为16张ꎬ原始图片的像素为3840×2748ꎬ分割之后图片的像素为960×687ꎬ采集的原始图片和分割之后的图片如图1所示ꎮ
(a)灰度图片 (b)Sobel算子图像锐化图片
(a)原始图片图1 图像分割对比图
(b)分割图片
1.2 图像灰度化
工业相机采集的照片是RGB图像ꎬ如果R=G=B时ꎬ则彩色表示一种灰度颜色ꎬ其中R=G=B的值叫灰度值ꎬ因此ꎬ灰度图像每个像素只需一个字节存放灰度值ꎬ灰度范围为0~255ꎮ由此可见ꎬ图像的大小缩小了三分之一ꎬ提高了训练和测试的速度ꎮ
常用的灰度化方法有分量法、最大值法、平均值法和加权平均值法ꎮ加权平均值法是对彩色图像中的3个分量按照不同的比例求和得到灰度值ꎬ只要选择合适的权值ꎬ就可保留图像中的特征信息[10]权平均值法ꎮ计算公式为:
ꎬ故选用加gray=w式中ꎬw1R+w2G+w3B
(1)
1ꎬw2和w3为权值ꎬ且w2所示1+wꎮ
2+w3=1ꎮ
图像灰度化的结果如图(a)分割图片图2 灰度对比图
(b)灰度图片
1.3 图像锐化
图像锐化是增强图像边缘的一种图像增强方法ꎮ
本文针对的是汽车轮毂的划痕、擦伤等缺陷ꎬ图像锐化是为了突出图像的边缘、纹理等特征ꎬ提高图像的对比度ꎬ提高轮毂表面缺陷检测的准确率ꎮ
图像锐化就是指用不同的图像增强算子与原图像进行卷积运算ꎬ来达到图像增强的效果ꎬ常用到的锐化方法为梯度锐化和拉普拉斯锐化等Sobel的图像锐化对比图如图算子、Roberts算子ꎬ常用到的算子有3、和所示Laplacianꎮ
算子ꎬ3种算子 (c)Robert算子图像锐化图片图3 图像锐化对比图
(d)Laplacian算子图像锐化图片
从图3可以看出ꎬ3种算子锐化后的图片特征更加明显ꎬlaplacian算子相对于robert算子和sobel算子来说2 cian卷积神经网络结构
算子对图像进行锐化处理ꎬ图像特征更加清晰ꎬ效果最好ꎮ
ꎬ故本文选择lapla ̄局部感知等方式降低了网络的复杂性CNN是一种深度前馈神经网络ꎬ通过权值共享和[11]络结构主要包括卷积层、池化层和全连接层ꎮCNNꎮ本文采的网用7层卷积神经网络结构ꎬ包括3层卷积层(C)、3层池化层(S)和1层全连接层(F)ꎮ
2.1 卷积层
卷积层是CNN的关键ꎬ图像的一个像素为一个神经元ꎬ每个神经元的输入与前一层局部连接ꎬ通过卷积运算提取图像的局部特征ꎮ卷积层特征图的大小根据式(1)计算得出ꎮ
So=
(Si+2×spad-K)
d
+1
(2)
式中ꎬSo和Si为输出图像与输入图像的尺寸ꎬpad为边缘扩展像素的个数ꎬK为卷集核的尺寸ꎬsd为卷积滑动步长ꎮ
将卷积运算的结果加上一个偏置输入到激活函数中ꎬ通过激活函数得到卷积层的特征图ꎮ卷积层的计算公式为:
xic=f(∑(Wxi-s
1
+bi式中ꎬW代表卷集核ꎬf代表激活函数))ꎬbi代表偏置(3)
ꎮ
2.2 池化层
池化层又叫下采样层ꎬ根据图像局部相关性原理ꎬ对图像进行子采样可以减少计算量ꎬ同时保证图像的旋转不变性ꎮ采样的目的主要是混淆特征的具体位置ꎬ某个特征找出来之后ꎬ它的具体位置已经不重要ꎬ只需要这个特征和它的相对位置ꎬ这种混淆具体位置的策略能对变形和扭曲的图片进行识别ꎮ
卷积层和池化层交替出现ꎬ随着层数的增加ꎬ特征图的个数增多ꎬ尺寸减小ꎬ对特征的表达能力增强ꎮ
1142.3 全连接层
组合机床与自动化加工技术 第11期
全连接层的每一个结点都与上一层的所有结点相连ꎬ用于综合从前面提取的特征ꎮ全连接网络输出神经元为需要分类的类别数量ꎮ
3 CNN训练及参数调试
本文在轮毂加工厂采集了350张样本图片ꎬ通过图像分割制作了正常图片500张ꎬ划痕缺陷图片和擦伤缺陷图片各200张ꎮ考虑到样本图片的数量直接影响着缺陷识别的精度ꎬ本文通过图像对称变换、图像添加噪声、缺陷特征位置变换等方法将正常图片样本扩卷积神经网络的参数调试是一个难点ꎬ参数调试的好坏直接影响了收敛的精度以及最终模型的准确率ꎬ网络训练所耗费的时间等等ꎮ卷积神经网络的参数主要包括学习率、Batch和迭代次数等ꎮ
学习率控制着基于损失梯度调整神经网络权值的速度ꎬ直接影响我模型能够以多快的速度收敛到最小值ꎬ设得太大的话算法可能永远都不会收敛ꎬ设得太小会使算法优化得太慢ꎬ而且可能还会掉入局部最优ꎮ迭代次数是指训练过程遍历数据集的次数ꎬ过多会发生过拟合ꎬ过少又会导致分类精度过低ꎬ选择合适的迭代次数直接影响着分类的精度ꎮBatch是指每次输入CNN模型中图片的数量ꎬ过大的值也会发生过拟合ꎮ
充到1250张ꎬ其中1100张作为训练集图片ꎬ150张作为测试集图片ꎮ划痕缺陷图片和擦伤缺陷图片扩充到各550张ꎬ其中训练集图片各500张ꎬ测试集图片各50张ꎮ三种样本的图片如图4所示ꎮ
(a)划痕样本图片
(b)擦伤样本图片
(c)图4 正常样本图片
样本图片
本文的硬件平台基于Win10操作系统ꎬ安装内存为8.0GBꎬ处理器为Intel(R)Core(TM)i5 ̄8400ꎬ显卡为GTX1050ꎮ训练和实验平台都是基于Matlabꎬ使用的是DeepLearnToolbox ̄masterꎬ它是一个深度学习包ꎬ里面含有很多机器学习算法ꎬ如卷积神经网络CNNꎬ深度信念网络DBN等ꎮ
内ꎬBatchBatch越大其确定的下降方向越准是机器学习中一个重要的参数ꎬ引起的训练震ꎬ在一定范围荡越小ꎮBatch过大会使最终的收敛精度陷入不同的局部Batch值迭代次数的增加而增加的大小为ꎬ通过前50ꎬ期卷学习率为积神经网络的训练ꎬ最终选取ꎬ当迭代次数选0.2ꎮ模型的准确率随着5000时ꎬ模型的准确率不再发生变化ꎬ故本文选择的最终迭代次数为5000次ꎮ将测试集图片输入训练好的神经网络ꎬ测试结果如表1所示ꎮ
表1 本文算法检测结果
划痕缺陷擦伤缺陷正常样本数量5050150正确分类数量
4748148准确率
94.0%
96.0%
98.7%
从测试结果可以看出ꎬ训练过后卷积神经网络具有很高准确率ꎮ
4 实验
由于汽车轮毂表面结构比较复杂ꎬ本文轮毂的外表面由6个轮辐组成ꎬ每个轮辐表面由正面和左右两个侧面组成ꎬ故每个轮幅的检测需要采集正面和左右两个侧面3张图片ꎬ本文通过将视觉系统安装在机械手的末端完成图像的采集工作UR3作机器人协作机器人ꎬ可以满足本文轮毂检测的位姿要求ꎬUR3是一种具有ꎮ本文实验选用的是6自由度的小型协ꎮ相机和镜头分别选用的是大恒图像水星1070 ̄10GC ̄PPOE相机MER ̄将相机与PC和机相连并安装于Computar公司的UR3M0824 ̄MPW2的末端ꎮ本文轮毂镜头ꎬ表面反光现象严重ꎬ而同轴光源主要用于检测反光程度很厉害的金属物体ꎬ故照明方式选用的是同轴照明ꎬ并将同轴光源安装于镜头的下方ꎬ轮毂图像采集系统图如图5所示ꎮ
图5 轮毂图像采集系统图
2019年11月 赵海文ꎬ等:基于深度学习的汽车轮毂表面缺陷检测算法研究115
本文用示教的方式确定了每个图像采集的位置点ꎬ当机械手运动到图像采集点时ꎬ使用PC机完成图像的采集ꎮ本文总共采集了54张图片ꎬ通过图像分割得到正常图片751张ꎬ划痕缺陷图片67张ꎬ擦伤缺陷图片46张ꎬ经过图像处理后输入已经训练好的卷积神经网络ꎬ检测结果如表2所示ꎮ
表2 检测结果
划痕缺陷
图片数量
正确检测图片数量
准确率
676191.0%
擦伤缺陷464393.4%
正常75172296.1%
提高样本图片的质量ꎬ优化卷积神经网络结构ꎬ调整网络参数ꎬ提高分类器的准确率ꎮ
实验结果表明ꎬ本文算法对3种类型图片的平均准确率为93.5%ꎮ从检测结果可以看出ꎬ划痕缺陷的检测准确率比擦伤缺陷的检测准确率低ꎬ其原因可能是擦伤缺陷相对于划痕缺陷的特征更加明显ꎬ更容易被检出ꎮ通过对比与卷积神经网络的测试结果可以发现ꎬ3种类型的图片检测准确率均有所下降ꎬ造成准确率下降的原因可能是训练集和测试集的的图片与实验中同轴光源下采集的图片略有不同ꎮ为提高算法检测的准确率ꎬ可以采取的措施有:
(1)卷积神经网络的样本图片模拟实验的环境进行采集ꎮ
(2)增加划痕图片在训练集图片中的占比ꎬ提高划痕缺陷的检测准确率ꎮ
5 结论
目前轮毂的表面缺陷由人工检测ꎬ卷积神经网络具有耗时短、鲁棒性高的优点ꎬ在很多领域得到了应用ꎬ但在工业领域的应用很少ꎬ本文在CNN的基础上提出一种图像处理与CNN相结合的轮毂表面缺陷算法ꎮ实验结果表明该算法具有较高的准确率ꎮ但仍存在缺陷漏检的情况ꎬ下一步将增加学习样本的数量ꎬ并(上接第111页)
[参考文献]
[1]安宗权ꎬ王匀.一种非线性扩散与图像差分的金属表面
缺陷检测方法[J].表面技术ꎬ2018ꎬ47(6):289-295.[2]程良伦ꎬ江伟欢.SMD缺陷检测中快速图像匹配算法研
究[J].计算机应用与软件ꎬ2010ꎬ27(11):117-120.[3]梁雄ꎬ张舞杰ꎬ李听听.一种基于Blob分析的摄像头模
组缺陷检测方法[J].电子设计工程ꎬ2015(15):19-22.
[4]GuJꎬWangZꎬKuenJꎬetal.RecentAdvancesinConvolu ̄
tionalNeuralNetworks[J].ComputerScienceꎬDOI:10.1016/j.patcog.2017.10.013.
[5]LauerFꎬSuenCYꎬGérardBloch.Atrainablefeatureex ̄
tractorforhandwrittendigitrecognition[J].PatternRecog ̄nitionꎬ2007ꎬ40(6):1816-1824.
[6]赵志宏ꎬ杨绍普ꎬ马增强.基于卷积神经网络LeNet ̄5的
车牌字符识别研究[J].系统仿真学报ꎬ2010ꎬ22(3):638-641.
[7]HuGꎬYangYꎬYiDꎬetal.WhenFaceRecognitionMeets
withDeepLearning:anEvaluationofConvolutionalNeuralNetworksforFaceRecognition[C]//IEEEInternationalConferenceonComputerVisionWorkshopꎬ2015.
[8]JiSꎬXuWꎬYangMꎬetal.3DConvolutionalNeuralNet ̄
worksforHumanActionRecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligenceꎬ2013ꎬ35(1):221-231.
[9]余永维ꎬ杜柳青ꎬ闫哲ꎬ等.基于深度学习特征的铸件缺
陷射线图像动态检测方法[J].农业机械学报ꎬ2016ꎬ47(7):407-412.
[10]乔丽.基于CNN的工件缺陷检测方法研究及系统设计
[D].武汉:华中师范大学ꎬ2016.
[11]侯宇昆.深度学习在图像处理领域的研究[J].信息系
统工程ꎬ2017(7):163-163.
(编辑 李秀敏)
6 结论
本文基于EtherCAT从站提出了一种姿态监测方案ꎬ详述了该方案的软硬件实现过程ꎮ利用EtherCAT总线的高速高实时以及支持拓扑连接等特性ꎬ实现对多物体的姿态监测ꎮ最后ꎬ通过TwinCAT软件与Eth ̄erCAT从站构成了一个完整的测试系统ꎮ经实验验证ꎬ采用低成本的MEMS姿态传感器ꎬ本文研究的Eth ̄erCAT姿态监测从站的监测误差控制在±1°内ꎬ满足喷涂机器人、平衡车运行、无人机飞行等一般工业、生活场景的姿态角度实时采样、监测的需求ꎮ
[参考文献]
[1]王淑华.MEMS传感器现状及应用[J].微纳电子技术ꎬ
2011ꎬ48(8):516-522.
[2]单春荣ꎬ刘艳强ꎬ郇极.工业以太网现场总线EtherCAT
及驱动程序设计[J].制造业自动化ꎬ2007ꎬ29(11):79-82.
[3]XingHꎬJiaHꎬLiuY.MotionControlSystemusingSER ̄
COSoverEtherCAT[J].ProcediaEngineeringꎬ2011ꎬ24:749-753.
[4]党选举ꎬ谢桧宝ꎬ姜辉ꎬ等.高集成度EtherCAT从站设
计与多轴控制的研究[J].微电子学与计算机ꎬ2018ꎬ35(6):97-100.
[5]刘喆ꎬ郇极ꎬ刘艳强.基于XML的EtherCAT工业以太网
协议解析技术[J].北京航空航天大学学报ꎬ2011ꎬ37(9):1086-1090.
[6]KangCꎬPangYꎬMaCꎬetal.DesignofEtherCATslave
module[C]//InternationalConferenceonMechatronicsandAutomationIEEEꎬ2011:1600-1604.
[7]LuoYꎬJiaoXꎬJiWꎬetal.ControlNetworkCommunica ̄
tionforPipelineWeldingBasedonCANopen[J].ProcediaEngineeringꎬ2011ꎬ15:4994-4999.
[8]左振领ꎬ何方ꎬ李霄.基于STM32的EtherCAT从站的设
计与实现[J].组合机床与自动化加工技术ꎬ2016(7):1-3.
[9]丁文科ꎬ陈成军ꎬ刘鹏ꎬ等.基于EtherCAT总线的分布
式测控系统[J].机床与液压ꎬ2017ꎬ45(20):141-145.[10]张洋ꎬ刘军ꎬ严汉宇ꎬ等.精通STM32F4[M].北京:北
京航空航天大学出版社ꎬ2015.
[11]李响ꎬ满庆丰ꎬ夏继强.基于TwinCAT和C#的扭矩传感
器校准系统[J].仪表技术与传感器ꎬ2014(4):41-45.
(编辑 李秀敏)
因篇幅问题不能全部显示,请点此查看更多更全内容