摘要：机器视觉作为代替人工检测轮毂表面缺陷的重要手段,是目前该领域的主要研究方向,因此针对汽车轮毂表面缺陷检测技术的研究现状进行了综述与分析。首先,从轮毂表面缺陷的类别和人工检测流程入手,阐述了基于机器视觉的轮毂表面缺陷检测技术的要求和难点。其次,分析了基于机器视觉的智能检测算法的发展历程,包括传统的机器视觉方法在缺陷图像预处理、缺陷定位和特征提取、缺陷分类识别中的应用;卷积神经网络(CNN)等深度学习方法在缺陷检测、分割以及其他方面的应用。最后,介绍了现有轮毂型号识别装置、轮毂缺陷X射线图像采集装置、轮毂表面缺陷图像采集装置,并在分析当前基于机器视觉的智能检测装置在实际应用中的局限性及需要解决的若干关键技术问题的基础上,提出了3种智能检测实验装置设计方案,为全自动快速检测装置的研制与性能提升提供理论与技术支撑。

 

关键词：机器视觉；汽车轮毂；表面缺陷检测；深度学习；智能检测装置

 

1、 引 言

 

作为汽车节能化、轻量化首选的铝合金汽车轮毂,已有多年的生产发展历史[1]。轮毂在其铸造、打磨、机加工和自动喷漆生产过程中,不可避免会产生料断、冷夹、坑洼和气孔等缺陷。为了确保汽车安全运行及整车质量,轮毂缺陷检测是轮毂生产企业生产物流过程中的重要一环。对于气孔、缩孔、缩松、裂纹、夹杂等缺陷一般可通过X射线成像单元进行检测,而对于影响产品外观的划伤、擦伤等表面缺陷可通过人工观察和表面图像来检测。人工检测方法是根据检测标准的要求以肉眼观测的方式对缺陷进行鉴别及标注。这种高度枯燥重复的工作以及较高的劳动强度会对人工检测质量和效率造成一定程度的影响。同时操作者的主观意识、水平及经验等存在的不确定因素,会造成误判和漏判,从而影响轮毂产品出厂质量,进而影响整车组装及销售,甚至给人们的出行带来一定的安全隐患。人工检测的方式越来越无法满足当今轮毂生产过程对快速、准确和稳定的更高要求,因此急需开发出自动化与智能化的检测方法,通过应用机器视觉与人工智能等技术来提高自动化检测水平及检测效率[2～4]。

 

针对汽车轮毂表面缺陷,本文介绍了常见的缺陷种类和检测方法;对基于机器视觉的缺陷检测算法,从传统的机器视觉算法和基于深度学习的检测算法2方面进行阐述;最后在介绍和分析现有基于机器视觉的检测装置及局限性的基础上,提出3种改进智能检测实验装置的设计方案。

 

2、 缺陷类别及检测方法

 

2.1 轮毂表面缺陷类别

轮毂表面根据其结构分为A、B、C、D 共4个区域。区域A为车轮的样式平面;区域B为窗口和轮辐侧面,柱头螺栓孔区域20 mm;区域C为轮毂剩下部分,包括轮辋的制动一侧;区域D为车轮装饰物或轮胎(包括轮胎缘保护圈)覆盖的任何部分和车轮装饰物的背面。在4个表面区域中轮毂表面缺陷检测主要针对A、B 这2个区域。以铝制汽车轮毂为例,在铸造、搬运、抛光过程中产生的可见缺陷如表1所示。

 

表1 铝制轮毂表面缺陷分类表

Tab.1 Classification table of aluminum wheel surface defect

 

汽车轮毂从材质上主要分为钢轮毂和铝轮毂,从表面加工工艺上分则有抛光轮毂、油漆和机加工轮毂、镀铬包铬轮毂等。根据加工工艺的不同,其表面缺陷可能产生于生产加工和搬运过程中的各个阶段。轮毂表面缺陷根据产生的原因又分为铸造缺陷、机加工缺陷、电镀缺陷、搬运缺陷、抛光缺陷、油漆缺陷、夹杂缺陷等。由于轮毂表面为曲面,因此轮毂表面缺陷与传统钢材表面缺陷相比具有结构和背景复杂、种类繁多、形态各异、受拍摄角度及光源影响大等特点。通过传统特征提取方法难以完整描述和区分不同种类的缺陷,容易出现人工提取特征与实际特征不匹配的现象。再加上缺陷尺寸相比轮毂非常小,识别难度进一步提高。常见的各类轮毂表面缺陷如图1所示。

 

图1 9种轮毂表面缺陷图

Fig.1 Nine kinds of wheel surface defect picture

 

2.2 轮毂表面缺陷检测方法

2.2.1 人工检测流程

 

轮毂表面缺陷检测是轮毂出厂前的一道重要工序,人工检测方法是工人在生产线固定工位,通过双手把轮毂抬起、倾斜、旋转等方式变换角度,以肉眼观测来对缺陷进行判断、定位及手工标注。检查是根据车轮类型和车轮装饰的对应异常情况定级,并规定从定义的观察距离处和在设定的总体检查时间内探测不到的异常情况与评估无关。人工检验现场流程如图2所示。

 

图2 人工检测现场流程

Fig.2 Manual inspection process on site

 

2.2.2 基于机器视觉的检测方法

 

将机器视觉技术应用于缺陷检测中可以在无损检测的同时,很大程度上克服人工检测存在的缺点,是当下汽车轮毂表面缺陷检测研究的主要方向。为了应用机器视觉完成汽车轮毂表面缺陷自动化检测的目标,检测方法应该满足自动化、适用性和检测效率3个方面的要求。另外,根据检测系统要求和轮毂表面缺陷的特点,不仅要考虑光源问题、最佳拍摄位姿,还要考虑检测算法精度、实时性和泛用性。

 

3、基于机器视觉的智能检测算法研究现状

 

基于机器视觉的智能检测算法是实现轮毂表面缺陷检测的核心部分。下面将从传统的机器视觉检测算法和基于深度学习的检测算法2方面展开阐述。

 

3.1 基于传统机器视觉的轮毂缺陷检测

 

3.1.1 轮毂缺陷定位与特征提取

 

在对轮毂缺陷检测技术的研究上,早期主要是轮毂内部缺陷的X光射线检测,轮毂X射线图像具有对比度低、噪声源多、检测对象形状不规则等问题。针对这些问题,国内外学者展开了丰富的研究工作。1982年,Strecker H使用扇形X射线对铝铸件逐层散射成像,能够检测出物体内部气孔和裂纹等缺陷,但检测效率低下[5]。1988年Boerner H和Strecker H共同撰文介绍了基于X射线的铝合金车轮内部缺陷自动检测系统[6]。论文通过基于DOG算子的阈值分割法提取缺陷特征,识别单个铸件气泡的准确率达到92%,但检测速度低于人工检测水平。Merry D在2002年提出一种基于单目X射线图像序列中潜在缺陷跟踪的轮毂缺陷自动检测方法[7～9]。该方法借鉴了人工检测X射线图像的经验,利用真实缺陷在轮毂中的几何位置不变性,在不需要先验知识的条件下实现了缺陷自动识别,且可以在1 min内处理完成一只轮毂采集的约100张不同角度DR(digital radiography)图像。2011年Carrasco M和Merry D改进了上述方法,通过设计中间分类器模块,可在多视图中利用非线性特征分析,更精确的检测真实缺陷,减少误报[10]。

 

国内汽车轮毂缺检测技术起步较晚。2000年刘明利等人为秦皇岛中信戴卡轮毂有限公司研制了汽车轮毂X射线探伤设备,主要改进了机械机构来代替进口产品[11]。2004年张连玉和荆峰等分别使用X射线实时成像设备对轮毂等汽车零部件进行缺陷检测,指出实时检测具有直观、灵敏度高、速度快的特点,提高了检测效率[12,13]。此后陆斌[14,15]、吕金旗[16]、刘军[17]阐述了X射线实时成像技术在检测轮毂缺陷中的应用。

 

黄茜教授团队从2002年开始研究铸件内部缺陷,对轮毂X射线图像的缺陷检测研究起步较早。其中谈绍熙[18]针对轮毂X光图像难以准确快速分割的问题,提出一种基于灰度信息和几何特征的快速区域分割方法,有利于图像分割后的缺陷定位与特征识别。司徒武超[19]为提高缺陷局部信息可靠性、降低封闭区域形状复杂性,提出封闭区域截断法,剔除部分伪缺陷,并针对背景复杂的轮毂X射线图引入基于偏微分方程的各向异性扩散模型进行目标轮廓提取。李小俚等针对气孔、夹杂、缩孔3种轮毂典型缺陷实验了多种缺陷检测方法,结果表明只有二维小波变换分析法可以同时检出3种缺陷[20]。何再兴等人根据轮毂缺陷灰度特征特点,利用灰度值行扫描和列扫描相结合的方法定位缺陷大致区域,再通过种子填充法精确分割缺陷部分,最后利用递进的模糊识别算法判断缺陷类型[21,22]。从2009年起也有团队从事轮毂缺陷自动检测研究,其中张淑娴[23]在经过二次分割提取出轮毂X射线图像缺陷的基础上,提出一种将SUSAN算子应用于轮毂缺陷边缘和角点检测的方法,以满足工业X射线检测评片要求,提高检测效率与质量。张俊生等对汽车轮毂X射线缺陷图像进行了基于多帧叠加的噪声去除和基于二次动态阈值分割的图像分割结果重构。最终得到的重构结果提高了缺陷分割的准确性和稳定性[24,25]。

 

基于轮毂表面图像的缺陷检测相对于轮毂X射线图像,背景更复杂、检测难度更高[26]。文献[27]将检测流程分为:定位待检测部位、提取缺陷区域、利用特征提取缺陷、利用厂家标准判定缺陷4步,检测结果如图3所示。文献[28]使用一种基于轮廓模板匹配定位的方法,引入误差阈值进行二次模板匹配,提取轮毂轴承区域,改善了模板匹配耗时长的问题并排除背景干扰。文献[29]对采集到的轮毂轴承端面圆环图像进行中值滤波和二值化处理后,将轮廓跟踪得到的缺陷圆环与最小二乘法圆拟合得到的完整圆环相减,实现了对缺陷特征的提取。由前文可以看出,为了提取汽车轮毂表面缺陷的特征,需要根据汽车轮毂表面结构特点、表面缺陷的特点及采集图像背景情况设计算法,往往先明确了需要检测的缺陷类型再针对性的进行设计。大部分算法通过阈值分割方法分割出目标缺陷区域,也有部分算法通过边缘检测[30]、模板匹配等方法提取缺陷边缘或缺陷区域。因此算法在适用范围内准确性较好,但检测速度得不到保证,算法设计难度较大且通用性较差。

 

图3 缺陷检测示意图

Fig.3 Defect detection diagram

 

3.1.2 轮毂缺陷分类识别

 

在轮毂缺陷分类识别问题上,研究较多的仍是轮毂的X射线图像。2003年Merry D在50幅含有随机噪声的轮毂X射线图像上分割出23 000个区域[31],并将提取的特征分为几何特征和灰度特征2组,使用特征选择法减少了特征数量,实现了基于神经元网络的缺陷分类。结果发现轮毂缺陷的区分在灰度特征上比在几何特征上更明显。同年在该数据集上,Hernandez S为从405个特征中选取可以完整表示缺陷的部分,提出了一种自组织特征图方法来分层降维简化模型构建,并利用自适应模糊神经网络(adaptive network based fuzzy inference system,ANFIS)完成对缺陷的识别和分类,其ROC曲线下面积达到0.997 6[32]。2005年,Merry D使用阈值、欧氏距离、马氏距离、多项式、支持向量机和神经网络等8种分类器,通过与、或、多数投票等7种方法进行比较融合实验,在50幅实拍图像上进行缺陷检测,获得了较低的误报率[33]。2011年Osman A等人构建了一个包含382个真缺陷和215个伪缺陷的轮毂X射线图像数据集,缺陷种类有氧化物、气孔和缩松。作者提出了一种基于Dempster-Shafer数据融合理论的新方法,实验结果显示真缺陷的检测准确率为99%,伪缺陷的检测准确率为98.3%,该方法显著提高了分类性能[34]。

 

国内对轮毂缺陷分类识别的研究起步依然较晚,2013年李高亮[35]根据汽车轮毂X射线图像的缺陷分割结果提取通用特征,并提出基于增减次优搜索的特征选择方法和基于共轭梯度的BP神经网络分类算法,识别缺陷种类。文献[36]则在提取轮毂X射线图像缺陷通用特征后,基于一对多和改进DAG-SVM的多分类方法设计了一种应用粒子群算法优化模型参数的多分类模型。文献[37]采用布谷鸟算法改进大津法分割轮毂X射线图像缺陷并结合萤火虫算法改进的BP神经网络,实现轮毂的气孔、缩松、缩孔、裂纹和夹杂5种常见缺陷的识别检测。

 

针对轮毂表面图像,李飞在提取图像灰度特征的同时考虑图像纹理特征,共选取19个特征变量输入支持向量机(SVM)训练,可以检测摩托车轮毂表面气孔、疏松、发振和表面车不出缺陷[38]。实验表明,在样本数为100时,识别精度可达93%。

 

由此可见,轮毂缺陷的识别分类,一般在阈值分割得到缺陷区域的基础上提取并筛选出足以描述缺陷类别的特征,并通过分类器训练得到缺陷具体分类;也可以直接提取表面图像通用特征参与分类器训练之中。

 

3.1.3 轮毂缺陷图像预处理

 

在进行特征提取和分类识别之前采集的图像往往需要经过预处理。文献[35]提出以改进的帧积分降噪算法解决轮毂X射线图像噪声大对比度低的问题。文献[36]则在多帧叠加降噪的基础上应用梯度域引导滤波算法,改进轮毂X射线图像质量。文献[39]通过实验分析发现轮毂X射线图像同质平坦区域上的噪声近似为与图像信号相对独立的加性高斯白噪声,并以此提出了基于平坦块检测的射线图像噪声估计算法。算法可以有效去除噪声干扰,并不会丢失原始图像细节。文献[40,41]使用窗位窗宽技术、多帧叠加平均法和HDR技术提升采集轮毂X射线图像效果,同时提出了基于伪模板的图像增强与基于双边滤波的字符去除技术。在满足时间限制的前提下,算法提高了轮毂缺陷检测的准确率。为提高轮毂X射线图像视觉效果,文献[42]利用高低频两次二维小波分解达到提高对比度和增强图像边缘细节的目的;同时采取基于HSI颜色空间的伪色彩增强手段使得图像更加符合人眼的视觉特性。从本小节内容可知:根据目的,预处理可以分为图像降噪和图像增强2方面。

 

综上,总结出传统机器视觉方法检测轮毂缺陷的一般方法:①对采集到的缺陷图片进行预处理,以减少噪声干扰并增强图像信息;②对待检测缺陷,根据缺陷类型,出现的位置和图像背景等设计专门的检测方法,实现缺陷分割;③对于缺陷种类较多的情况,也可以通过提取缺陷通用特征,利用分类器对分割出的缺陷部分进行分类识别。但②中的方法,往往只在特定检测场景下有效,不具备普适性。且算法受缺陷和背景图像复杂程度影响,实时性差,难以满足工业生产的需求。③中的方法则存在选择提取的特征与实际特征分布不符及分类器选择的问题,但这一思路为后来深度学习算法在轮毂缺陷检测上的应用做出了铺垫。

 

3.2 基于深度学习的轮毂缺陷检测

2012年随着AlexNet网络的诞生,神经网络飞速发展,开始广泛应用于语义识别、图像识别、无人驾驶等诸多领域,深度学习神经网络应用于工业缺陷检测的趋势也逐渐显现。与传统图像处理方法不同的是,深度学习算法需要大量数据样本使得算法可以拟合实际缺陷情况。然而缺陷轮毂相对于正常轮毂数量较少且轮毂表面结构复杂,因此存在采集和分类数据样本困难、样本数量少的问题。为防止算法过拟合,学到噪声特征,在考虑使用传统图像预处理算法的同时,还需要对样本图片进行数据扩充,常见方法有:图像翻转、随机角度旋转、随机裁剪、图像平移、缺陷特征位置变换、仿射变换、对比度调节和添加噪声等。

 

3.2.1 国外基于深度学习的轮毂X射线图像缺陷检测研究现状

 

深度学习方法首先仍是应用于轮毂缺陷X射线图像检测领域。2015年,Merry D等公开了一个包括铸件、焊缝、行李、自然物体和背景共19 407张X射线图像的数据集GDXray,其中与铸造件相关图片2 727张,主要从汽车部件采集[43]。2017年Merry D和Carlos Arteta在GDXray数据集的基础上提取其中部分铸件缺陷,统一裁剪到32×32大小后经过数据增强得到包含23 760张有缺陷和23 760张无缺陷图像的新数据集。之后作者在该数据集上采用简单的局部二值模式加上线性支持向量机取得了最佳的性能,达到96.5%的准确率和93.8%的召回率[44]。同年Max Ferguson等使用迁移学习方法将多种深度学习目标检测网络应用于GDXray数据集的轮毂铸件缺陷部分,结果表明使用ResNet-101主干网络的Faster R-CNN模型在测试集上的平均精度均值最高,而使用了VGG-16主干网络的SSD模型运行时间最短[45]。之后Max Ferguson开发了一个可以同时识别出制造缺陷和缺陷属于哪一个部件的检测系统。与之前的方法相比,同时对机器部件和缺陷像素进行语义分割是GDXray数据集上缺陷分类的独特方法,减少了系统错误的发现部件外假阳性缺陷的数量[46]。2020年Merry D为克服数据集较小,易产生过拟合的问题,提出将三维椭球腔体投影并叠加在吸收系数为μ的均匀铸件X射线图像上和使用生成对抗网络这2种模拟缺陷数据的方法,增加训练样本中的缺陷数量。作者还设计了一个用于铸件X射线图缺陷检测的Xnet-Ⅱ卷积神经网络。实验结果表明,在训练阶段使用椭球投影模拟缺陷得到的模型在测试集上取得了较好的效果,其mPA达到了71.02%,而使用GAN网络构造的缺陷并没有很好地解决过拟合问题,其训练得到的mPA仅为50%[47]。2021年,Merry D在上年数据集的基础上分别测试了8种最新的深度学习目标检测方法(基于YOLO、RetinaNet和EfficientDet),以及分别基于CNN和手工特征的2种基线方法Xnet和CLP-SVM[48]。实验表明基于YOLO的检测器表现较好,而作为基线方法的Xnet和CLP-SVM效果欠佳。且YOLOv5s只花了2.5 h完成了训练,平均精度达到0.90,且处理速度达到90张/s X射线图像。因此该方法可以用于实时检测,辅助操作员判定。

 

3.2.2 国内基于深度学习的轮毂表面缺陷检测研究现状

 

近些年,国内学者应用深度学习算法进行轮毂表面缺陷检测的研究也在逐步展开。2017年韩凯等[49,50]提出一种基于深度学习的汽车轮毂表面缺陷在线检测算法。该算法利用工业相机采集轮毂表面缺陷图像,采用se模块、ROI-Align、FPN特征融合方法改进了Faster R-CNN (faster region based convolutional neural networks)网络,实现了对轮毂表面划痕和点状2种缺陷的位置标定及分类。赵海文将采集到的有限图像样本经过图像分割、图像灰度化、图像锐化、图像样本扩充等图像处理方法,使用CNN对划痕缺陷、擦伤缺陷和正常3种类别进行检测与分类,检测准确率分别达到94%、96%、98.7%[51]。文献[52]提出了一种基于Faster R-CNN改进ZF网络的轮毂表面缺陷检测算法,以轮毂的4种缺陷(划痕、油污、块状和油漆遮盖不足)为代表,结合向图片添加噪声的数据扩充方法建立了轮毂缺陷数据集。实验结果显示R-CNN算法、YOLOv3算法和该文献改进算法的mAP分别为67.7%、70.39%和72.9%,单张图片检测时间分别为78、0.033和0.3 s,验证了改进算法的快速性、准确性。文献[54]则提出了一种基于改进YOLOv3的轮毂表面缺陷检测算法。算法增加了自下而上的反向连接路径,整合了多尺度特征图与语义信息,并采用变形卷积技术以适应条纹缺陷的细长特征。提高了钢裂纹、凹痕、夹杂、划痕这4种缺陷的检测效果。

 

3.2.3 国内基于深度学习的轮毂缺陷分割研究现状

 

深度学习的应用使得对轮毂表面缺陷的研究不断进步,对轮毂缺陷的分割特别是X射线图像的分割也向更深入更准确的方向发展。2020年郭瑞琦[55]针对轮毂X射线图像提出了一种基于U-Net网络的轮毂缺陷分割技术,相比传统图像分割算法具有更好的分割精度,时间开销大大降低。在与CNN及全卷积神经网络模型(FCN)算法的对比中,同样验证了U-Net网络的优越性。作者改进后的U-Net网络模型在轮毂缺陷分割任务中能得到更高的结构相似性度量(structural similarity,SSIM)和集合相似性(Dice)系数,单张图像的分割时间达到了3 ms/张[56]。2021年王陶然提出采用Mask R-CNN模型完成汽车轮毂X射线图像缺陷自动分割[57]。针对轮毂生产过程中可能出现的缩孔、缩松、气孔、裂纹缺陷,改进模型根据缺陷大小修改锚点框的大小并舍弃特征金字塔的后2层,实现了更快且较准确地轮毂缺陷实例分割。为提升分割精度,作者又提出基于多级特征金字塔结构M2Det改进的Mask R-CNN模型[58],改进后的特征融合模块既考虑了特征层的感受野,也考虑到了不同层的语义信息,其mIoU(mean intersection over union)达到91.16%。文献[59]研究了基于环形特征的卷积神经网络轮毂识别。文献[60]分析了U-net图像分割模型应用于汽车轮毂DR图像缺陷分割时,网络深度较浅,导致特征提取能力较弱的问题,提出级联2个U型特征提取网络的AW-Net模型,提高了缺陷分割精度但牺牲了检测速度。为此作者又使用EfficientNet特征提取网络的DeepLabv3+分割模型,改进后的模型在维持分割精度的同时减少了分割时间,具有较好的综合能力。

 

Tang C W等也提出了一种基于DeepLabv3+改进的汽车轮毂表面缺陷语义分割网络[61],改进的解码器结合了主体、边缘和多尺度特征。文献在4个缺陷数据集(车轮、磁瓦、织物和焊缝)上进行测试,其中铝制汽车轮毂缺陷X射线图像数据集涵盖了磨损、孔隙、缺口、斑点4个典型缺陷。实验结果表明,改进网络相比SegNet、Unet和Deeplabv3+具有更好的F1分数、平均精度和IoU值,证明了该网络对不同的缺陷检测场景是有效的。

 

3.2.4 深度学习在轮毂表面缺陷检测方面的其他应用

 

与传统图像预处理方法相比,深度学习算法为图像信息的增强和消除干扰方面赋予了更多的可能。文献[50]采用拉普拉斯算子判别轮毂表面图像模糊现象,并使用生成式对抗网络(generative adversarial network,GAN)消除模糊、生成清晰图片,模糊消除效果如图4所示。文献[62]针对轮毂表面高反射特性对图像质量有严重影响,而传统金属表面强光去除算法会破坏强光区域特征的问题,提出了一种使用pix2pix生成对抗网络来去除轮毂表面高光的方法,能较好地恢复高光区域的表面缺陷特征。

 

图4 模糊图像消除算法结果图

Fig.4 The result image of blur image removal algorithm

 

文献[63]针对轮毂表面缺陷种类多、特征提取难、缺乏数据样本,而深度学习依赖大量标注样本的问题,提出了一种基于广义零样本学习的轮毂缺陷图像检测技术。该技术通过训练常见缺陷得到缺陷样本特征空间与语义描述空间的映射,并利用该映射将测试样本投射到语义空间中离它最近的类别。该算法通过训练已见过的类别,可以较好地识别出未见过的类别。

 

铝制轮毂在中高档汽车中应用比较广泛,由于生产过程的复杂性,在铝合金轮毂产品中有近5类20多种缺陷。这些缺陷不仅影响了产品良好的外观和品牌形象,甚至会影响轮毂的机械性能。从上述的研究成果可以看出,在基于机器视觉的轮毂缺陷检测方案中,主要以轮毂X射线图像或工业相机拍摄的表面图像为检测样本。X射线图像主要是针对轮毂表面高度变化,通过高度差形成不规则变化曲线,然后使用识别算法检测。X射线可检测变形、夹杂、气孔等缺陷,很难将表面油泥、划伤、砂带印、研磨印等缺陷检测出来;工业相机图像则通过不同角度光线产生的对比图像进行缺陷判别,更适合轮毂表面缺陷的检测。然而由于早期各种限制,对轮毂缺陷的研究主要通过X射线图像,表面缺陷的研究较少。随着计算机视觉技术发展和深度学习方法的出现,对轮毂表面缺陷的研究进入新的阶段。

 

目前基于机器视觉的智能检测算法,主要采用图像处理算法、特征提取结合机器学习算法或深度学习神经网络算法。这些方法通过分析获取的缺陷图像样本,能够对轮毂图像中的缺陷进行检测与标注。然而生产线上缺陷轮毂数量占比较低,人工采集大量有缺陷的表面图像样本困难,而深度学习神经网络依赖于大量的数据,数据量较少的条件下,可能发生过拟合问题,模型性能难以保证。且目前识别的种类也只有4到5种,当增加识别种类时,会增加算法的学习和设计难度,识别准确率会降低,漏报、误报和框不准的情况会增加,这与实际需要检测20多种缺陷还是有很大差距的。因此,目前的轮毂表面缺陷智能检测算法只是停留在理论与实验研究上,离实际应用还有很多问题需要解决。

 

4、 基于机器视觉的智能检测实验装置

 

采集清晰、高对比度的图像是机器视觉检测缺陷的基础,因此需要自动化的图像采集装置。将机器视觉与工业机器人相结合是目前轮毂表面缺陷检测装置研究的一个热点。研究者们根据缺陷检测工艺流程及检测要求,利用机械手活动范围大、精度高、灵敏度高、控制简单的特点,提出了许多智能检测实验装置设计方案。该设计的出发点是把视觉系统安装在机器人的末端执行器上,在轮毂生产线上使用X射线或指定光源对轮毂进行扫描。每个轮毂采集多张不同角度数据以达到将检测区域全覆盖的目的。

 

4.1 现有的基于机器视觉的智能检测实验装置

目前市场上常见的全自动轮毂射线检测系统有YXLON公司研制的WI26和意大利Bosello公司研制的WRETHUNDER3。国内轮毂射线检测系统与国外产品相比精度低、速度慢,没有被市场认可,因此目前国内轮毂制造商的检测系统主要依赖进口。而针对轮毂表面缺陷检测的自动化检测装置依然停留在研究阶段,未在实际检测中应用。

 

4.1.1 轮毂型号识别系统

 

轮毂缺陷类别根据轮毂的类型有所不同,因此,检测轮毂表面缺陷首先需要对轮毂型号进行识别。麻金贺选用LED光源、大恒图像DH-SV1421GM千兆以太网CCD相机和COMPUATR公司生产的M0814-MP固定焦距镜头,设计了轮毂在线识别系统[64]。整个系统具有轮毂轮廓识别和气门孔自主定位的功能,轮毂中心孔和气门孔位置检测如图5所示。

 

图5 轮毂中心孔、气门孔位置识别

Fig.5 Identification of hub center hole and valve hole position

 

文献[65]提出的轮毂型号识别系统则将流水线上拍摄的完整轮毂图像经过图像减法和图像先开后闭运算去除背景和干扰后,通过边缘检测、圆拟合等方法获取轮毂外直径数据,再结合轮毂高度采用系统标定法获得轮毂真实尺寸参数;用所得特征与标准特征库进行对比,达到对轮毂型号实时分类的目的,为后续的缺陷检测做准备。

 

4.1.2 轮毂X射线检测装置

 

轮毂缺陷检测中X射线检测发展较早、相关设备装置也更成熟。华南理工大学徐道磊将检测装置分3个区域[39]。其中进仓传送区完成轮毂型号识别,X射线探测室负责采集图像、出仓传送区负责分拣有缺陷轮毂。装置通过机械控制系统完成手动和半自动检测工作、高压控制系统控制射线电压电流。之后李高亮、丁杰、焦腾云等逐步完善了X射线轮毂图像采集装置[35,36,41]。

 

4.1.3 轮毂表面缺陷检测识别系统

 

为了解决轮毂这种结构复杂、多规格、多样式的复杂工件表面缺陷检测问题,钊、宋辉提出了一种基于工业机器人的摩托车轮毂表面缺陷视觉检测系统[66,67]。作者在机械手末端安装图像采集装置,利用机器人的精确运动调整姿态,检测摩托车轮毂不同面上的表面缺陷。该系统通过阈值分割法计算气阀位置与预设位置偏差,利用路径模版对机器人位姿进行校正。检测一圈用时35 s,提升了轮毂表面缺陷采集效率和检测精度。文献[26]设计的检测装置则将轮毂固定在以轴为中心的旋转装置上,对不同成像面选择不同光源和多相机采集图像。该装置使用线阵相机获取高对比度的缺陷图像,并经过多次实验获得光源颜色、照射角度和距离的参数。文献[38]改进了上述旋转式轮毂成像装置,利用2侧旋转装置的摩擦力带动轮毂转动,光源则照射在轮毂成像面上通过反射送入线阵相机,最终以移动光源和相机的方式对轮毂各个成像面进行成像。

 

为提高检测装置通用性,文献[27]将系统分为机械、成像、检测模块。首先标定像素尺寸,然后通过特征计算确定轮毂中心圆和轮辐位置,最后拍摄轮毂中心圆和轮辐正面与2侧图像进行检测。

 

由于轮毂轴承表面具有高反射性,在环形光、带状光和表面光中容易出现照射不均匀的问题,文献[29]选择浅蓝色同轴光源作为检测装置光源,使得轴承表面为灰白色,与纯黑背景板形成高对比度;同时使用了背光源采集轴承内圈表面图像。此外文献[51]也选择了同轴光作为拍摄光源。

 

上述表面缺陷检测装置中轮毂均放置在固定位置,而实际生产中轮毂在传送带上运动,因此文献[28]设计了基于工厂传送带的流水线自动分拣系统。系统通过光电传感器识别工件是否到达待检测位置,再经过检测分拣出有缺陷的部件。文献[50]则在轮毂进入生产线待检测位置后,通过下方旋转装置匀速转动一周的方式采集轮毂所有正面图像,以此建立表面缺陷数据集。

 

通过分析轮毂表面缺陷人工检测流程可以看出,缺陷检测不仅要对缺陷进行分类,还要用记号笔对肉眼观测出的缺陷点手工标注,以便后续处理。然而现有的基于工业机器人的汽车轮毂表面缺陷视觉检测系统只是将多自由度机器人与图像处理算法相结合,经系统标定图像像素和实际物体尺寸后,规划拍摄路径进行缺陷识别,并没有完成轮毂上缺陷标注的方案。另外,轮毂水平放置在固定的支撑平面上,而系统通过机器人带动相机移动替代人眼获取多张轮毂表面图像,因此检测范围目前只是A面和B面,且不能进行不同角度的倾斜、旋转和翻转。

 

4.2 轮毂表面缺陷智能检测与标注实验装置的方案设计

 

4.2.1 考虑缺陷识别与标注的智能检测实验装置设计

 

前文中的检测装置只完成了采集缺陷图像的检测任务,并没有在检测出缺陷的位置画上标注。因此本文在文献[51,65]的基础上,提出了一种考虑轮毂缺陷标注的智能检测实验装置。本实验装置由机器视觉部分和缺陷标注部分共同构成。机器视觉部分为了定位轮毂上缺陷位置,选用Inter RealSense D435深度相机来完成对轮毂表面RGB图像信息和深度信息的采集。D435深度相机内含了2个红外相机,1个200万像素的RGB相机和1个RGB-D相机,使其能够采用结构光结合双目视觉的方式获取目标深度信息,从而达到2 m范围内深度误差小于2%的精度,基本能够满足实验所需的缺陷检测和定位要求。装置的缺陷标注功能则通过在HC-S6小型协作机器人的机械臂末端固定标注工具完成。HC-S6小型协作机器人具有6个自由度,每个关节的转动角度由伺服电机精确控制,可以在一定的三维空间范围内自由地进行位姿变换。深度相机同样加装在HC-S6机械臂的末端,整个缺陷检测系统的硬件构成如图6所示。

 

图6 考虑缺陷识别与标注的智能检测实验装置

Fig.6 Intelligent detection experimental device considering defect identification and labeling

 

4.2.2 考虑轮毂倾斜的智能检测实验装置设计

 

现有的轮毂表面缺陷检测装置中检测位置处的轮毂基本是固定在流水线或实验支架上,缺乏检测灵活性,而人在检测轮毂表面缺陷时会通过倾斜、旋转从多角度观察轮毂表面信息。因此考虑模拟人检测轮毂表面缺陷工作,设计了采用6-UCU并联机构的智能检测装置,如图7所示。

 

图7 采用6-UCU并联机构的检测实验装置示意图

Fig.7 Diagram of the testing experimental device using a 6-UCU parallel mechanism

 

系统由六自由度运动平台、轮毂夹具、视觉传感器组成。图8为采用6-UCU并联机构的六自由度运动平台,该并联机构由定平台、6条驱动支链、动平台组成。每条驱动支链由2个虎克铰(U副)、1个移动副(P副)和1个转动副(R副)构成,其中移动副(P副)和转动副(R副)合并成1个圆柱副(C副)。该机构选择移动副(P副)作为驱动副,通过控制移动副(P副)进行伸缩运动,从而使动平台实现沿X、Y、Z轴的移动以及绕X、Y、Z轴的转动。轮毂夹具采用三爪卡盘固定,通过控制压缩机供气和排气实现夹爪闭合。实验装置可模拟人工检测过程中将轮毂倾斜、旋转的检测过程。

 

图8 6-UCU结构简图

Fig.8 6-UCU structure diagram

 

方案中仅显示一个目镜,若要进一步提高轮毂缺陷检测效率可在不同方位布置多个目镜,同时进行轮毂表面缺陷检测。采用6-UCU机构的智能检测实验装置硬件组成如图9所示。机器人采用UR3六自由度灵巧协作机器人,它是一种小型的协作式桌面机器人,重量24.3磅(11 kg),有效载荷可达6.6磅(3 kg),所有手腕关节均可实现360°旋转,末端关节可无限旋转。该机器人适合轻型装配作业和自动化作业台等应用场合,支持ROS系统,便于各类硬件集成以及对控制算法进行验证试验,由机器人携带相机即可完成轮毂表面图像采集作业。

 

图9 采用6-UCU机构的智能检测实验装置

Fig.9 Intelligent detection experimental device using 6-UCU mechanism

 

4.2.3 一种全自动的轮毂表面缺陷检测装置设计

 

当前的智能检测装置由于没有轮毂翻转机构,因此只能进行轮毂表面A区和B区的缺陷检测,而对于C区和D区的缺陷检测尚未实现。为解决上述技术问题,本文设计了一种全自动轮毂表面缺陷检测装置,该装置具有轮毂表面缺陷检测、标注和残次品分拣功能,系统组成如图10所示。

 

图10 全自动轮毂表面缺陷检测装置

Fig.10 A fully automatic wheel hub surface defect detection device

 

1—待检轮毂输送单元; 2—轮毂外侧缺陷检测单元;3—轮毂内侧缺陷检测单元; 4—已检轮毂输送单元

 

本设计基于轮毂回转体特征将轮毂划分为内外两侧,并据此提出一种全自动轮毂表面缺陷检测装置。待检测轮毂经过输送单元分别移动至轮毂外侧和内侧缺陷检测单元,完成轮毂各个面的缺陷检测和标注任务。最终移动至已检轮毂输送单元,完成合格品和缺陷品分拣任务。该装置通过检测单元之间的轮毂面翻转实现了轮毂内、外表面缺陷分区域检测和标注全自动化,有效提高了缺陷检测和标注效率,具有良好的实际应用价值。

 

4.3 智能检测装置实际应用性能分析

在上述根据检测工艺要求设计的基于机器视觉的轮毂表面缺陷检测装置中,主要设计思路还是基于图像采集技术和检测算法。图像采集方面:检测装置一方面采用多自由度机器人带动工业相机进行多角度拍摄;另一方面可以通过轮毂位姿调整台,如机械旋转机构、翻转机构或6DOF并联机构近似模拟人工翻转流程,最终在适宜的光照条件下获取工业现场多角度的轮毂表面原始图像。检测算法方面:在获取轮毂表面图像的基础上,传统视觉检测方法通过图像预处理、缺陷定位、缺陷特征提取和缺陷分类识别4个步骤获得检测结果;深度学习方法通过深度学习神经网络训练数据集得到权重文件,再利用训练好的权重文件检测样本。最后根据检测结果进行缺陷定位与标注,标注方法可以采用机械喷涂或划线方式。

 

相比于人工检测方法,自动检测系统更加稳定,可以减轻工人劳动强度,提高生产线自动化水平。但在检测效果及效率方面还存在许多局限性,有很多关键技术问题需要解决。一方面,由于人工检测方法的灵活性,可以在30～40 s内对单个轮毂完成A、B、C、D 4个区域的全方位检测,并进行灵活标注;而现有的检测装置受制于翻转机构的复杂性,只能实现对A、B 2个区域的检测。且为了达到A、B区域表面全覆盖,每个轮毂需要采集一百多张不同角度数据,这就导致基于机器视觉的自动检测系统的检测速度会低于人工检测速度,影响生产进度。另一方面,人工检测在缺陷分类识别能力方面远高于自动检测系统,这和工人检测经验的积累是有直接关系的。而传统机器视觉算法对特定缺陷类别的少量样本进行特征提取得到检测结果,受算法设计影响局限性较大;基于深度学习的缺陷分类识别则使用海量的样本数据对神经网络权值进行训练,受缺陷种类多、形态复杂多变和数据采集困难影响,分类的种类越多,机器视觉识别准确率就越低[68,69]。这些是导致目前汽车轮毂表面缺陷自动检测系统没有全面应用的主要原因。综上所述,全自动检测系统若要应用于实际生产,还需要解决轮毂全方位灵活翻转、多种缺陷快速检测与分类、缺陷部位快速灵活定位与标注等关键技术问题。

 

5、 结 论

 

为了确保汽车安全运行及整车质量,轮毂缺陷检测是轮毂制造企业生产物流过程中的重要一环。本文从缺陷类别及检测方法、基于机器视觉的智能检测算法、基于机器视觉的智能检测装置3个方面对汽车轮毂表面缺陷检测技术的研究现状进行了综述与分析。在缺陷类别和检测方法方面,主要介绍了轮毂检测区域划分及常见缺陷类别,并在说明人工检测流程的基础上提出了机器视觉检测的要求和难点;在检测算法方面,目前的研究主要是在采集的轮毂X射线图像或工业相机拍摄的轮毂表面图像基础上,应用传统机器视觉算法和卷积神经网络(CNN)、Faster-RCNN、YOLO等深度学习方法检测轮毂图像中的缺陷;在智能检测装置设计方面,主要是将视觉系统安装在多自由度工业机器人的末端执行器上完成图像的采集,然后通过图像处理与分类识别技术实现智能检测。然而自动检测系统的研究还处于开发和完善阶段,相对于人工检测,自动检测系统在检测种类数、检测速度、检测效果及检测效率方面距离实际应用还有很大差距,需要解决涉及的相关技术问题。

 

来源：期刊：《计量学报料》 作者：刘福才1,2, 张震宇1, 徐继龙1,2, 郑宏伟1, 刘 阳3

 

(1.燕山大学 智能控制系统与智能装备教育部工程研究中心，河北 秦皇岛 066004；2.河北省高端装备产业技术研究院，河北 秦皇岛 066004；3.中信戴卡股份有限公司，河北 秦皇岛 066004)