金属构件广泛应用于航空航天、兵器装备及轨道交通等领域。我国航空航天等行业高端装备关键金属构件因功能化和轻量化要求的不断提高而日益复杂。复杂金属构件多采用精密铸造工艺整体成形。在浇注成形工序中，铸件内部往往会出现缩孔、缩松、夹杂及裂纹等缺陷，热等静压及补焊消除上述几种内部缺陷的能力有限，因此基于X射线图像对铸件进行无损检测成为了确保产品质量的必要工序。
使用X射线对铸件进行缺陷探测的流程为：将铸件放于可旋转平台上，X射线源发出X射线并透过铸件，视觉探测器（如CCD相机）感知探测X射线的能量信号，将其转换为数字图像后保存于工控机内，如图1a和图1b所示。在生产实践中，大多数铸造企业采用人工目视的方法识别X射线图像。为保证检测结果的可追溯性，检测人员往往将X射线图像打印出来，检测完毕后将结果及对应的X射线图像装入档案袋中，如图1c和图1d所示。
图1 铸件X射线检测过程示意图
基于人工目视的铸件X射线图像缺陷检测容易受到检测人员熟练度和身心状态的影响，检测的效率、精度、可靠性、稳定性难以得到保障，而且检测信息的保存与查询工作相当耗时耗力，严重阻碍了铸件生产全流程自动化的发展趋势。为实现基于数字X射线图像的铸件缺陷自动化、智能化检测及识别任务，国内外研究人员进行了近40年的探索。
铸件数字X射线图像处理任务包括缺陷定位检测（包括缺陷分割）、缺陷分类识别、缺陷定位检测与识别一体化及缺陷图像生成。现有研究成果主要聚焦于缺陷定位检测和缺陷分类识别两类任务。且研究铸件X射线图像缺陷检测与识别的机构多分布在国内。
2017年以前，针对铸件缺陷定位检测开展研究的文献多采取基于图像底层特征信息的传统图像处理方法；2017年以来，针对铸件缺陷定位检测开展研究的文献主要采用了基于深度学习模型的端到端缺陷定位检测方法。
2016年之前，针对铸件缺陷分类识别任务开展研究的文献主要采取人工设计图像特征结合机器学习模型的方法；2016年之后，针对铸件缺陷分类识别任务开展研究的文献多是采用具有特征自学习能力的卷积神经网络（CNN）。
近两年开始涌现出有关基于端到端的铸件缺陷定位检测与分类识别一体化研究的文献。
1、铸件缺陷定位检测研究进展
铸件X射线图像中缺陷的定位检测是后续识别分类任务的基础，同时也为铸件缺陷评级提供缺陷位置和大小等信息。为了以更高的精度实现铸件缺陷的定位检测，国内外众多学者的研究贯穿其整个发展历史（从1983年至今）。
1983年，Strecker H等针对汽车用小型铝合金铸件X射线图像（分辨率256×256，8位灰度图像）中的缩孔缺陷，提出了一种局部灰度特征提取方法，经该方法处理后的图像中缺陷区域得以凸显，无缺陷区域在一定程度上受到抑制。通过和同类无缺陷构件的相同位置X射线图像（参考图像）的特征提取结果对比实现缩孔缺陷自动检测。
为检测出汽车铝合金轮毂X射线图像（分辨率128×128，8位灰度图像）中气孔缺陷，1988年，Strecker H等提出了使用DOG（高斯差分）滤波器或旋转不变正交特征算子对图像进行处理，然后对处理后的图像进行阈值分割，实现了气孔缺陷检测。但该方法不能检测尺寸极大的气孔和裂纹等缺陷。
为消除铝合金轮毂X射线图像（分辨率256×256，8位灰度图像）检测过程中误警的缺陷，2000年，Mery D等提出了潜在缺陷分割结合多视图配准消误报的方法：首先使用图像处理方法对每幅X射线图像中潜在的缺陷进行分割；然后对多视角图像序列进行配准，确认保留真实缺陷的同时，消除误警缺陷。
为同时检测出汽车轻合金铸件X射线图像（分辨率约为200×200，8位灰度图像）中的气孔、夹杂及裂纹三类缺陷，Li X等于2006年提出了基于二维小波变换的缺陷自动分割方法：对每张待检测图像的多分辨率层级数目（超参数）进行预先设定后，使用该方法能够分割出0.224 mm的细小缺陷区域（X射线图像中约1个像素大小）。
2009年，Li X等又利用模糊集理论和边界直方图，计算缺陷和背景的模糊指数熵，通过最大化缺陷和背景在边界直方图中的分布的模糊指数熵求得图像分割用阈值，实现了气孔、夹杂及裂纹三类缺陷的分割。
为检测铝合金压铸轮毂件的X射线图像（分辨率约为572×768，8位灰度图像）中的缺陷，2010年，Mery D等提出了一种不需要多视图匹配，直接通过滑动窗口实现不同视图角图像信息融合的方法：收集各个视图的投影图像构建数据集，训练分类模型对滑动窗口截取的子图像进行缺陷分类识别，从而实现整张图像的缺陷检测。
次年，Mery D等还根据在多个图像序列中均可追踪到的缺陷即为真实缺陷的规则，开发了使用无需校准的X射线图像序列进行缺陷检测的方法，该方法通过最大化曲线间相关系数和中间分类器计算图像间相匹配的点，最终降低了误警率。
2013年，Shen K等针对大型铁路轨道交通铸件X射线图像，提出了一种基于改进SURF特征进行图像配准的X图像缺陷快速检测方法。首先选取若干特定类型的铸件，对其进行X射线检测，通过图像处理，获取不含缺陷区域的参考图像构成标准图像库；然后充分利用小波变换对待检测图像进行增强，凸显缺陷的同时避免边缘伪影的产生；基于改进的SURF特征将增强后的待检测图像与库中的标准图像进行配准，选择出合适的标准X射线图像；最后，利用图像差分法和铸件结构的先验知识对铸件缺陷进行检测。实验结果表明，该方法能够以较快的速度（4.7 s/张）有效地分割出大型铸件X射线图像内的缺陷。
He Z等于2014年针对铝合金轮毂X射线图像（8位图像，分辨率约为401×377）提出了一种基于灰度序列对（GAP）特征的铸件缺陷分割检测方法（如图2所示），该方法基于多幅X射线图像的GAP特征，利用灰度关系稳定的像素对建立背景模型，然后统计待检测图像与背景模型的强度差异，实现缺陷的分割检测。在Pentium Core 2 Duo 3.00 GHz计算平台上，该方法分割一幅图像的平均时间为28毫秒。
图2 基于灰度序列特征的铸件缺陷分割检测示意图
为实现某种小型精密铸件的X射线图像（分辨率从150×100至600×500不等）中细小缺陷的检测，Yang K等通过对多层特征进行跨层融合，构建了同时包含低级空间信息、中级补充信息和高级语义信息的特征，基于此特征通过RPN生成了高质量候选区域，在高质量建议框的基础上实现了缺陷定位任务。实验结果表明该方法在检测细小缺陷时，其检测性能较其他模型更为优秀。
为提升铸件X射线图像（分辨率从150×150至350×250不等）中裂纹、夹杂及气孔等具有不同尺度的缺陷的检测性能，常海涛等通过融合Faster R-CNN模型第三级与第五级的特征，根据真实标注统计结果设计先验框并在ROI pooling层后引入了OHEM算法（如图3所示），显著提升了多尺度缺陷检测的性能。虽然通过两个阶段完成缺陷检测的FasterR-CNN等模型具有较高的精度，但生成建议框的区域推荐阶段增加了检测用时，难以适用于分辨率过大的图像的实时检测。
图3 基于改进Faster R-CNN的双阶段铸件缺陷检测网络模型示意图
2021年，Ji X等针对航空发动机钛合金铸件X射线图像（分辨率为3072×2400），提出了结合过滤选择性搜索和均匀分布CNN的缺陷检测与识别方法。在目标定位检测步骤中，通过对缺陷特征的统计分析，建立了带有尺寸和边缘曲率两个因素的选择性搜索算法，以近100%的准确率实现了缺陷定位，避免了漏检和误检。在目标分类步骤中，构建了各层结构相似、均匀分布的CNN，用以对孔洞、气孔、线形缺陷、高密度夹杂和铸件结构五类子图像进行分类，且获得了近90%的分类准确率。该两阶段的方法实现了典型缺陷的精确定位和识别，具有重要的研究意义和工程价值。
综上所述，现有的针对铸件缺陷定位检测任务的研究更多的是基于图像底层信息开展的，受铸件缺陷图像数量和GPU等硬件的限制，大数据驱动的基于深度学习的方法还未能直接应用于高分辨率铸件X射线图像（如分辨率2000×2000及以上）缺陷检测定位任务，但基于深度学习的方法已经被证明具有更强的鲁棒性和更高的精度，是未来重要的研究方向之一。
2、铸件缺陷分类识别研究进展
铸件缺陷分类识别将图像内的铸件缺陷划分为某一类别（如气孔、缩松、夹杂等）。分类识别与定位检测共同为基于X射线图像的铸件质量智能化诊断提供决策信息。在2017年之前，铸件缺陷图像的分类识别主要采用人工设计特征与机器学习模型实现，因此2017年之前的研究多聚焦于铸件X射线图像特征设计；2017年后更多的研究成果采用CNN实现铸件缺陷图像的分类识别，因而更关注CNN结构设计与改进。
本文所调研的最早的关于铸件缺陷图像分类文献发表于2004年，Mery D等针对铝合金铸件X射线图像，利用自组织特征映射图（SOM）来进行特征分层降维，以构建简化的缺陷图像识别模型；经过特征选择和数据降维后，利用自适应模糊神经网络（ANFIS）进行缺陷图像识别。实验表明，仅使用两个特征就获得了良好的识别性能。
为识别汽车铝合金发动机缸体气孔、缩孔及缩松三类缺陷，Dobrzanski L A等于2007年通过提取缺陷区域面积、横向广义直径、纵向广义直径、马林诺夫斯卡缺陷系数等特征，构建了全连接神经网络MLP训练用数据集，最终实现了三类缺陷的分类。
近五年的铸件缺陷识别研究多是围绕深度卷积神经网络结构的改进展开。2017年，Mery D等以GDXray数据集为研究对象，评估了包括深度学习、稀疏表示、局部描述符和纹理特征在内的24种计算机视觉技术的缺陷图像识别性能，试验结果表明，使用简单的LBP特征与支持向量机获得的性能最佳：97%的准确率和94%的召回率。其构建的深度神经网络表现不如支持向量机的原因可能在于网络模型过于简单不能充分学到数据集中的模式特征。
2018年，刘浩等针对采集的某种小型精密铸件的缺陷X射线图像（分辨率为227×227）识别问题，以Caffenet为基准，通过减小卷积核尺寸和减少网络卷积层数量，降低模型复杂度的同时，实现了缺陷识别精度的提升。
上海理工大学的Wang Y等基于VGG16对铝合金铸件X射线图像（分辨率约为448×448，8位图像）缺陷识别问题进行了广泛研究。2020年，Wang Y等还提出了铸件微小缺陷图像识别方法：首先将双线性池化层引入VGG16构建了类型识别模块（TCM）以实现图像中缺陷目标级别的聚焦；然后构建了包含深度可卷积分离的缺陷分类模块（DCM），并基于TCM提取的深层特征实现了含有微小缺陷的图像分类。
同年，Wang Y等还提出了一种弱监督的卷积神经网络（如图4所示）将待识别的X射线图像分为有缺陷或无缺陷，该方法以VGG16为主干网络，通过将深层语义特征作为注意力模板引导丢弃输入图像的局部子块以模拟数据增强，并引入“交互通道损失函数”指导模型训练，以较高精度实现了缺陷图像的识别。
图4 具有数据增强模块的弱监督卷积神经网络示意图
2021年，Wang Y等通过去除VGG16第五个模块的最后的下采样层以保留空间信息，对主干网络的输出添加注意力机制，增强了在复杂背景下提取细微特征的能力，最终提升了带有缺陷的汽车铝合金铸件X射线图像的识别精度。
作为基于注意力机制的深度学习模型，Transformer最初主要用于自然语言处理领域，并表现出了极为强大的表示能力。受此启发，图像处理领域的研究人员提出了如图5所示的视觉Transformer（Vision Transformer，VIT）。与其他深度学习模型（例如CNN和RNN循）相比，VIT在大部分视觉任务中展现出了较强的竞争性，在图像分类、目标检测等任务中甚至超过了CNN。
图5 Vision Transformer（VIT）示意图
综上所述，以CNN（卷积神经网络）为代表的计算机视觉技术已在铸件缺陷识别任务中取得较为广泛的应用且表现出优异的性能。随着以Transformer编码器为特征提取部分的VIT在图像识别和检测任务上表现的性能逐渐超越CNN，当处理更大规模的铸件缺陷图像识别任务时，VIT可能替代CNN以更高的精度完成铸件缺陷识别任务。
3、铸件缺陷定位识别一体化研究进展
铸件X射线图像中可能包含几类不同的缺陷。铸件缺陷定位检测的目标仅仅在于将缺陷的位置标出而不区分缺陷的具体类别，因此缺陷分类识别成为了必不可少的步骤。这样“两步走”的方式往往是比较耗时的，但未必能使精度得到保证。在较短的时间内检测出缺陷的同时完成缺陷种类的识别成为了最新的问题。
近年来，随着以重庆大学为代表的部分研究团队收集的铸件各类缺陷图像数量的增长，出现了一些对铸件缺陷定位识别一体化的研究。
2020年，Duan L等首先根据其收集铸件X射线图像构建了用于缺陷检测识别一体化任务的数据集（分辨率为416×416，3通道图像，2类缺陷，共10个等级）；然后在YOLOv3的基础上增加一个分辨率为104×104的特征分支以检测X射线图像中细小缺陷，在利用各尺度特征进行预测前使用并行卷积整合信息，保证位置信息的同时获取高级语义信息；在其测试集上，改进的YOLOv3的mAP较原始的YOLOv3的mAP提升了0.261。
2020年，沈宽等针对铁路货运列车摇枕及侧架两类铸钢件的X射线图像中不同等级的缩松、气孔等缺陷检测问题，首先调整窗口位置和大小截取子图像；然后采用保边滤波进行子图像平滑和增强，进而标注图像并构建数据集（2类缺陷，10个等级）；最后训练了Mask R-CNN模型，利用该模型分割出10个等级缺陷的同时完成了缺陷等级的识别。
综上所述，较为前沿且高效的缺陷定位检测与识别分类一体化方法虽然已在几个任务中取得应用，但受到图像数据集规模、模型结构及损失函数设计的影响，性能仍有较大提升的空间，而且尚未得到普遍应用。随着铸件缺陷X射线图像集规模海量化，类间差异小的各类别铸件缺陷图像样本将得到迅速补充，缺陷定位检测与识别分类一体化方法很可能成为最主流的解决方案。
4、铸件缺陷X射线图像仿真生成研究进展
高精度的铸件缺陷检测和识别方法多是数据驱动的，铸件各类缺陷图像的数据量在一定程度上决定了检测和识别的准确率，缺陷数据量越大，模型的泛化性能越好，准确率也会更高。然而，在实际生产过程中大多数铸件出现缺陷的概率极小；即使部分铸件因工艺原因出现缺陷也仅限于特定的类别。因此，为获取各类缺陷的足够数量的图像，国内外的学者围绕铸件缺陷X射线图像的仿真生成开展相关研究。
2020年，Mery D等针对含有缺陷的铝合金轮毂铸件X射线图像不足的问题，采用GAN（生成对抗网络）进行缺陷图像生成仿真，通过对比研究发现GAN在其任务中几乎未起作用。
华南理工大学的黄茜团队围绕轮毂缩松缺陷X射线图像的生成开展了相关研究。2012年，马明辉等针对轮毂缩松缺陷X射线图像样本量小的问题，首先分析了缩松缺陷图像的灰度特征和几何特征，结合缩松的生成机理，提出了分层缩松仿真算法；然后通过模拟缩松缺陷形成过程，提出了随时间演进的、基于受控反几何扩散算法的缩松轮廓生成方法；最后利用基于灰度直方图的随机灰度生成算法和伽马灰度变换实现了缩松缺陷图像的灰度生成。然而，该方法所生成的缩松缺陷边缘略显模糊，而且缺陷层次分明，导致生成的缩松图像真实性不足。
2019年，周洲等针对轮芯缩松缺陷X射线图像样本量小的问题，首先分析了轮芯海绵状缩松缺陷的特征，然后基于轮廓骨架生长技术生成具有随机形状轮廓和大小的海绵状缩松缺陷，并与无缺陷背景图像进行了融合，通过缺陷检测实验证明了生成样本的可用性。此外，周洲等还研究了基于GAN的缺陷图像生成方法，虽然未能取得理想的结果，但证明了GAN在铸件缺陷图像生成中的潜力。
综上所述，基于数学模型的铸件缺陷图像仿真生成方法在一定程度上能够起到扩充样本的作用，但普遍存在生成类型单一、过度不自然等问题。虽然未见报道基于GAN的方法的高效性，但如果用Wasserstein作为分布间差异的度量同时结合可以估计数据集分布的VAE（变分自编码器），作为无监督模型的GAN应该能够生成大量的更多类型、更逼真的铸件缺陷图像。
5、总结与展望
（1）总结：
现有缺陷检测与识别方法多以简单图像处理结合传统机器学习模型为主，前沿且高效的缺陷定位与分类一体化方法尚未得到普遍应用。
现有研究在检测或识别高分辨X射线图像前往往进行降采样或分块操作，限制了精度的提升，但缺陷智能检测与识别确实已成为提升效率的必要手段。
（2）发展趋势：
铸件缺陷X射线图像集规模海量化。随着航空、航天等领域的发展，在成品率一定的情况下，更多的产量将为数据驱动的高效的缺陷智能检测方法提供更多缺陷数据。
高分辨率铸件X射线图像处理过程整体化。随着GPU等硬件的发展，检测或识别高分辨率铸件X射线图像将不再需要降采样操作，直接将整张高分辨率__图像输入至模型内，简化流程的同时提升精度。
铸件缺陷定位与识别一体化。随着缺陷X射线图像集规模向海量化发展，各类缺陷样本将得到迅速补充，这将推动能够在完成缺陷检测同时进行分类的深度学习模型的研发与应用。
以VIT为代表的高性能计算机视觉前沿方法的应用。随着计算机视觉算法的迅速发展和缺陷X射线图像集规模向海量化发展，需要大规模图像数据集进行训练的基于VIT的方法将助力铸件X射线图像缺陷检测与识别解决方案的性能实现显著提升。
