飞机装配是飞机制造过程中的核心环节。装配质量会直接影响飞机的外形精度、使用性能和服役寿命等。由于飞机结构复杂，零部件较多且体积庞大，故飞机在装配过程中容易出现错装或漏装等问题，由此产生的安全隐患甚至会造成严重的飞行事故。

 

1、飞机错漏装问题防范与控制意义

 

飞机装配过程中的错漏装是指装配人员在现场对飞机的零部件、系统或子系统进行装配时出现的零部件、系统或子系统位置安装错误或缺失等问题的统称。

 

错漏装可能导致飞机结构强度不足、系统功能异常或性能下降，从而对飞行安全和飞机可靠性带来负面影响。

 

2001年，加拿大越洋航空236号班机出现了严重的引擎漏油事故，事后调查发现其原因为维修人员在飞机起飞前错装了液压泵组件。同年4月份，某航修厂在一架A320飞机的右风扇包皮中，未正确安装导流片，导致该机在未经允许的情况下，低于构型偏离清单（CDL）飞行了3个月，险些酿成事故。国内民航机务2010—2020年的不安全事件统计分析表明，在473起事故中，错漏装引起的事故有62起，占事故总数的13.1%。

 

因此，错漏装检测在飞机装配过程中至关重要，起着确保飞机安全性和完整性能的关键作用。通过准确检测和纠正各形式的错误装配，可以消除潜在的装配质量隐患，确保飞机的正常运行和乘客的安全。

 

随着目标检测技术在装配领域的发展应用，飞机错漏装检测技术的前沿发展与应用情况对提升飞行安全和可靠性具有重要的工程意义。

 

2、国内外错漏装检测技术研究现状

 

错漏装检测技术的发展历程可以分为3个阶段，即人工检测阶段、机械与传感器检测阶段和人工智能检测阶段，如图1所示。

 

图1 错漏装检测技术发展历程

 

各类错漏装检测技术的发展时间、应用场景及优缺点对比如下：

 

人工视觉检测（20世纪初）

 

应用场景：外观缺陷检测、零件位置和对齐检测、标识和标记检测等。

 

优点：适应性强，直观性高，成本较低。

 

缺点：人为主观影响较大，检测效率低，受外界因素影响大，可靠性低。

 

测量工具检测（20世纪中叶）

 

应用场景：尺寸和孔径检测、平面度和平行度检测、表面粗糙度检测、线性度和角度检测等。

 

优点：相比目视检查、精确度较高、测量结果直观、成本较低。

 

缺点：受人为因素影响较大 、测量时间周期长 、操作不便、无法检测内部情况。

 

机械与传感器检测（20世纪末至21世纪初）

 

应用场景：机械检测用于螺栓紧固力检测、零件位置和对齐检测、组件运行状态检测等。

 

传感器检测用于液压系统检测、温度检测、位移和振动检测等。

 

优点：能够检测内部结构、可检测到较小的、缺陷和异物、实时监测。

 

缺点：设备占地面积较大、操作不便 、只适用部分结构检测 、对于复杂结构、传感器信号解释困难。

 

人工智能检测（21世纪至今）

 

应用场景：零件装配缺陷检测、部件位置和装配符合性检测、多余物检测、涂装和标识检测等。

 

优点：可直接观察、检测物外观适应性强、操作简单、无损检测。

 

缺点：对于内部结构的检测有限 、对于复杂装配需要人工干预。

 

随着大数据时代的到来，自动化检测技术已经逐渐与人工智能、增强现实与虚拟现实等先进技术接轨，为飞机装配提供了更准确、高效和可靠的检测手段。

 

通过机器视觉对待检测物体进行图像采集，并利用模板匹配、机器学习或深度学习等方法进行图像目标检测进而实现飞机装配过程中的错漏装检测，其检测流程如图2所示。

 

图2 采用机器视觉技术进行错漏装的无损检测流程

 

人工智能检测技术可以分析装配过程中的图像数据，并实时监测装配过程中零部件的位置、完整性、紧固件装配和标识等情况，能够及时发现装配错误、漏装或破损情况，并帮助操作人员进行纠正，确保飞机的装配质量和安全性。

 

人工智能检测可以高效地进行大规模的检测，并且对于复杂的装配结构和细节的检测具有优势。在航空航天工业制造领域引入机器视觉技术可以充分发挥其优势，提高检测效率和制造精度，同时降低人力成本，确保生产过程的安全性。

 

基于人工智能技术的错漏装检测方法一般分为模板匹配、机器学习和深度学习3大类。

 

1、基于模板匹配的错漏装检测技术

 

模板匹配是最常用的一种目标检测方法，其通过计算模板与要查找图像之间的相似度量来对目标进行识别与定位，其基于事先准备好的模板图像或模式，通过在输入图像中寻找匹配的模式来判断是否存在装配错误或缺失部件。

 

该方法具有稳定可靠且高效的特点，而被广泛应用于错漏装检测技术中。

 

从模板匹配的发展来看，模板匹配的算法主要分为基于灰度值的模板匹配算法和基于几何特征的模板匹配算法两大类。

 

基于灰度值的模板匹配算法主要通过像素灰度值的计算实现模板的匹配过程，计算灰度值之差的绝对值之和或差值的平方和得出相似度量，找出模板图像在多次移动中匹配到的相似度量最高的点，在该像素点位置处，模板像素点与图像像素点之间的灰度值之差的绝对值接近零。

 

但是该方法只适用于目标物体平移的情况，而且识别的效果较依赖光照的变化。

 

2019年，董元发等提出了一套基于灰度混杂区阈值模糊自适应调整的微小金属件漏装视觉检测方法，建立了不同装配特征灰度分布混杂区动态识别的数学模型，如图3所示，解决了装配现场图像易受光照环境影响的问题。该方法成功应用于螺钉漏装的机器视觉检测系统中，展现了对手工装配作业复杂光环境的鲁棒性和适应性。

 

图3 微小金属件漏装模糊自适应视觉检测框架

 

基于几何特征的模板匹配方法是一种常用的模板匹配方法，其通过对图像中的几何特征与模板的几何特征来进行匹配。

 

在飞机错漏装检测任务中，常用的几何特征有边缘特征、轮廓特征、角点特征、尺度不变特征和几何关系特征等。

 

目前，常见的图像边缘检测方法包括基于梯度的方法、基于二阶导数的方法以及Canny算子等，利用图像梯度的极值或二阶导数过零点的值实现对图像边缘的检测，并通过将图像与微分算子模板进行卷积来完成检测。轮廓特征可以用来比较图像中的物体轮廓与模板轮廓的相似度，从而进行匹配。

 

意大利学者FRUSTACI等采用模板匹配方法，对基于特定几何模型的图像处理方法和特征提取算法进行了验证，对焊接法兰的错装问题进行了自动质量检测。该算法包括两个步骤：对感兴趣区域（RoI）进行图像分割；对图像角度偏移进行特征提取。

 

华中科技大学刘国召基于圆锥轴承滚子的几何特征，提出了滚子倒装、漏装视觉检测波形图匹配算法。该算法以模板匹配方法为基础，通过图像预处理和区域分割得到待测组件轮廓区域，通过最小二乘法拟合得到内圈内轮廓的圆心坐标，并展开滚子分布的环带区域，以区域中线为特征信息，通过坐标变换绘制其灰度值分布的波形图，再通过对比标准件与缺陷件的波形图，实现滚子的倒装、漏装缺陷的准确检测。采用该算法的圆锥轴承滚子的几何特征提取结果如图4所示。

 

图4 基于圆锥滚子轴承灰度值的几何特征提取

 

浙江大学李静寅采用分数阶差分算法优化Canny算法，设计了优化的错漏装检测图像定位匹配算法，采用机器视觉实时采集待检测区域的装配图像，通过角度偏差检测算法，在与标准模板匹配时显示出待测物体的位置、角度、比例及匹配值等信息，以此对多媒体导航仪内的错漏装问题进行检测，检测精度可达98.18%。

 

模板匹配方法的优点在于简单直观，容易实现。其适用于检测相对简单的错漏装情况，且特征提取依赖于算法设计人员的经验和水平，每种方法都只针对固定场景，因此模板匹配方法存在一定的局限性；再加上其对光照、尺度、旋转等因素变化敏感，对于复杂场景和变化较大的目标可能表现不佳。

 

此外，模板匹配方法通常需要成本较高的计算资源和时间，尤其是在大规模图像数据的匹配中。因此，在实际应用中，对于更复杂的错漏装检测任务，通常需要结合其他方法，如机器学习和深度学习，来提高检测的准确性和鲁棒性。

 

2、基于机器学习的错漏装检测技术

 

基于机器学习的飞机错漏装检测技术利用机器学习算法和模型来检测飞机装配过程中可能出现的错误和缺陷。相比传统的基于模板匹配的方法，该技术可以从大量的数据中学习并自动提取特征和模式，以实现更准确的检测和判断。

 

随着机器学习在目标检测领域的广泛应用，国内外学者对于基于机器学习的错漏装检测技术进行了进一步研究。

 

RIO-TORTO等基于机器学习的方法将最新的领域自适应和伪标注方法应用于实际装配场景，以弥合车辆生成器生成的标注数据与工厂底层采集的实际未标注数据之间的差距。

 

WU等将机器视觉与机器学习相结合，研究了一种基于支持向量机（SVM）的产品错装检测方法，该方法先通过图像处理技术对产品进行缺陷类型识别，再利用SVM训练集匹配结果提高识别速度和准确性。

 

机器学习方法在错漏装检测中具有一定的优势。该方法可以自动学习错漏装的特征和模式，无需手动定义规则。此外，机器学习方法还可以适应复杂场景和变化较大的目标，具有较好的鲁棒性和准确性。

 

然而，机器学习方法也需要充足的训练样本和特征设计的合理性。同时，数据的质量和多样性也对机器学习方法的性能有重要影响。

 

因此，在应用机器学习进行错漏装检测时，需要仔细设计和选择特征，并确保训练数据集的充分性和代表性。

 

3、基于深度学习的错漏装检测技术

 

基于深度学习的物体表面缺陷检测方法是一种端对端的检测方法，其通过构建深度神经网络模型，自动学习图像中的特征表示和模式，较人为设计规则更能准确地表述和理解缺陷信息，从而实现高效准确的错漏装检测。

 

对于错漏装检测任务，可以使用深度学习模型进行分类或分割。在分类问题中，模型学习从图像中提取特征，并将其映射到正确或错误装配的类别中；在分割问题中，模型学习对图像进行像素级别的标记，将每个像素分为正确或错误装配的区域。

 

彭茂庭提出了一种基于模板匹配及神经网络的目标检测算法ROCM-SNN，该算法是对模板匹配算法OCM的改进，与SIFT、LINE2D、BOLD、BORDER、OCM-DRW等目标检测算法相比，ROCM-SNN的目标检测准确度最高。各算法在D-Textureless数据库中对应的ROC曲线如图5所示。

 

图5 各算法在D-Textureless数据库中对应的ROC曲线

 

电子科技大学杨冬结合模板匹配和深度学习的技术，研究了一种智能检测装配过程的方法，该方法将优化的YOLO模型与VGG19模型集成，实现增强的目标检测网络，通过图像特征点实现了图像拼接和模板匹配。

 

MAACK等通过深度学习的方法，采用异常检测（AD）模型和归一化流程对图像数据进行异常检测和异常定位。

 

KOVILPILLAI等提出了一种基于深度学习的机器视觉方法，用于自动检测和分类制造业生产线上的缺陷产品，通过优化激活函数对缺陷产品进行识别和分类，其深度学习模型由16层卷积（3×3）、最大池化（Max pooling）和重激活函数（Relu-activation function）连接的32层组，该深度学习模型框架如图6所示。

 

图6 缺陷检测深度学习模型框架

 

ZHU等使用深度残差网络（ResNet-G，ResNet-L）来提取目标物体的特征信息，通过贝叶斯方法将这些信息融合，解决了由图像分割引起的噪声问题。

 

ZHANG等提出了一种利用语义特征的目标检测方法，以解决SSD算法在准确检测小目标物体方面的局限性。

 

REZATOFIGHI等提出了一种广义交叉并集思想（GIoU），解决了检测任务中没有重叠部分时IoU无法直接优化的问题。

 

ZIPFEL等研究了基于深度神经网络的无监督模型，其可以对物体的整体质量进行一般评估而不局限于固定的类别集。

 

深度学习方法在错漏装检测中具有以下优势：能够自动学习大量图像数据中的复杂特征和模式，无需手动设计特征；深度学习模型具有较强的泛化能力，可以适应不同场景和变化条件下的错漏装检测任务；使用大规模的训练数据和合适的网络结构，深度学习模型可以实现较高的准确性和自适应性。

 

然而，深度学习方法也面临一些挑战。其需要大量的标注数据来训练和优化深度学习模型，且训练过程通常需要较长的时间和更强大的计算资源。此外，深度学习模型的解释性较低，很难解释模型是如何做出错漏装判断的。

 

飞机装配错漏装检测技术的挑战与发展

 

尽管飞机错漏装检测技术在国内已经取得了一些进展，但仍然需要面对一系列挑战并随着人工智能技术的发展而持续改进。

 

飞机装配过程涵盖了多个环节和组件，每个环节可能需要采用不同的装配方式和零部件，从而进一步增加了对检测算法的复杂性和适应性的要求。故需要高效的数据处理和存储技术，以及快速准确的检测算法来处理飞机装配过程中产生的大量图像和视频数据。

 

此外，实际装配环境中光照条件和视角的变化可能对图像质量和检测算法的性能产生影响，因此克服光照和视角变化对算法鲁棒性的挑战也成为一个重要任务。

 

同时，在装配过程的错漏装检测中，实时性是一个关键因素，为了及时纠正错误，系统需要在实时或接近实时的条件下进行检测和反馈。因此，探索更高效的算法和计算平台亦是未来的一个研究方向。

 

综上分析，绘制了飞机装配错漏装检测技术未来的发展方向，如图7所示，主要包括以下几方面内容。

 

图7 飞机装配错漏装检测技术的未来发展

 

(1)多模态数据融合。结合使用图像、深度信息和其他传感器数据进行装配检测，提高系统的鲁棒性和准确性。

 

(2)大模型与知识图谱。进一步优化深度学习算法，结合大模型技术将多种深度学习检测算法的优点相融合，同时引入知识图谱技术，设计更高效和准确的网络架构，以提高检测性能。

 

(3)强化学习与自主决策。结合强化学习和自主决策技术，使机器能够在装配过程中自主学习和决策，使系统能够匹配多种数据结构并能够面向用户输出多种装配检测结果及建议，进一步提高错误检测和纠正的能力。

 

(4)实时和可视化结果输出。针对实时性要求，未来的研究可以探索更高效的算法和计算平台，以实现实时或接近实时的错漏装检测和反馈。同时，结合虚拟现实、增强现实、3D影像生成和数字孪生等先进技术，向用户输出多模态可视化结果，有效降低检测过程中的人为因素干扰，提高效率的同时降低错检率。

 

作者：王振宇1,2，张祥春2，严佳3，张晓庆2,4，武湛君3

 

工作单位：1.大连理工大学 力学与航空航天学院

 

2.中国航空综合技术研究所

 

3.大连理工大学 材料科学与工程学院

 

4.厦门大学 人工智能研究院

 

第一作者简介：王振宇，硕士研究生，主要研究方向为智能检测与知识图谱；

 

通信作者简介：张祥春，硕士，正高级工程师，主要研究方向为数字化质量和数字化检测技术。

 

来源：《无损检测》2024年11期