CNN 最初主要被用来处理二维图像，由于具有强大的认知计算能力，学者开始将其引入到机械故障诊断领域，能够很好地表征信号与机械健康状态之间复 杂的映射关系，提高大数据背景下多样性、非线性、高维健康监测数据诊断分析能力。

Part1CNN 的数据输入类型

1一维信号整合成二维矩阵

对于机械故障诊断，所采集的主要是一维的振动信号等，如何将一维的信号转换成二维信号，进而使用CNN来诊断便是许多学者研究的问题。WEN L 等将所采集到的一维振动信号通过滑动窗 的方式截取一段长度为 1 × M² 的数据样本，然后按顺序 排列成 M × M 的二维矩阵具体转化方法如图 3 所示。

将一维数据转化成矩阵后，再按下列公式将其转 化成为灰度，进而成为灰度图像，便可用常用的 CNN 进行分类识别了。

这种数据预处理方法简单，计算量小，振动信号的 峰值转化成每一行的灰度值，造成转换后的图像较为 接近，很难区分，运用 CNN 进行训练时所需训练时间长，分类识别的精度有限。

2信号变换实现二维图像的转换

为了研究更好地将机械振动信号转化成为二维图 像，学者研究运用不同的信号处理方法对一维机械振动信号进行分解或变换。

对于机械故障诊断，最为常用的分析方法是时频分布，通过时频变换的方法可以 获取振动信号的二维时频分布图像，常用的时频分析方法有短时傅里叶变换、连续小波变换、S变换、 Hibert-Huang变换、Wigner分布等。

例如 GUO S 等提出了一种基于 CWT 和 CNN 的机械故障诊断方法，首先对振动信号做连续小波时频分布，提取完整周期的时频图，然后再用训练多个 CNN 进行分类 识别。Verstraete D等运用短时傅里叶变换 STFT、HHT 和小波分析的方法获取了时频分布图像，并将时频分布图像整合成 32×32、96×96 两种格式，分别测试了两种输入的诊断精度。

第二种方法是将信号分解成多个分量，然后再将这些分量组成图像矩阵，常用的方法有小波变换、 VMD、EMD 等方法。SUN W F 等将双树复小波分解后的多尺度小波系数组成图像，再用 CNN 进行分类。

上述通过信号变换的方式实现一维信号向二维图 像的转换方法中，时频分布无疑是最为常用和有效的方法。时频分布能够提供时间域和频率域的联合分布 信息，能够更好地凸显信号表征与机械健康状态的关 系，有利于 CNN 的训练和识别。

然而时频分布计算量大，图像分辨率高，输入 CNN 的数据量也大大增加，计算量大。利用小波变换、VMD 等对原始信号进行处理 时，虽然能够对故障分量进行分离，并凸显故障特征， 但分解过程中存在一定的频率混跌现象，中间处理过 程难免造成了信息的丢失，均会对诊断精度造成一定的影响。

3一维信号直接输入

机械信号一般只与时间有关系，而图像涉及二维空间位置关系，两者具有本质的区别。CNN 具有强大的信号处理分析功能，如果直接将测得的一维信号直 接作为输入，则整合了传统的信号降噪、特征提取、特 征选择和故障分类等流程，直接实现了点到点、端到端 的故障诊断，最大程度地简化故障诊断的流程。

在 CNN 中要实现一维信号的输入，需要对 CNN 的网络结构进行改变，卷积核也应采用一维的卷积核。许多学者尝试了该方法，构建了一维 CNN 网络结构并 运用于机械故障诊断，取得了不错的效果。

为了提高基于 CNN 的机械故障诊断效果，学者尝试采用对输入信号添加噪声干扰的方式，来提高 CNN 故障诊断模型的鲁棒性。

Part2基于 CNN 的迁移学习故障诊断方法

1迁移学习的概念

传统机器学习可以通过大量有标记的数据样本进 行训练，进而挖掘数据内部的规律，实现基于监督学习 的数据分类和预测。

存在的问题：

①首先，这个学习过程需要有大量己标注训练样本的支持，如果没有大量的标注样本，传 统机器学习方法的研究与应用则无法开展; ②其次，传统 机器学习假设训练数据与测试数据服从相同的数据分布。

只有满足上述两个前提，传统机器学习方法才能有效的工作。

然而，现实情况是在一些特定领域中，大 量的训练数据非常难得到，训练与测试数据的同分布 假设并不能得到满足，以及网络训练需要耗费大量的 计算资源，需要有高性能的服务器平台。

针对上述困难，迁移学习提供了一种解决问题的新方法，它放宽了传统机器学习中的两个前提要求，允许迁移已有的知识来解决目标领域中仅有少量已标注 样本数据的学习问题，也就是运用已有的知识对不同但相关领域问题进行求解。

迁移学习(Transfer Learning) 的目标就是将从一个环境中学到的知识用 来帮助新环境中的学习任务。

迁移学习可定义为: 

2CNN 网络的迁移学习

CNN 网络被成功应用于图像识别领域，出现了如 AlexNet 等许多经典网络模型，都需要使用大规模图像 数据集进行训练，由于样本和参数的数量都十分庞大， 即使使用 GPU 加速化也会花费较长的训练时间，这是 研究人员所无法接受的。

但 CNN 体系结构的另一个 优势便是经过预训练的网络模型可以实现网络结构与 参数信息的分离，并都以配置文件的方式进行保存，这 一特点极大地方便了广大研究者。只要网络结构一 致，便可以利用己经训练好的权重参数构建并初始化 网络，极大的节省了网络的学习时间。

基于迁移学习的理论，对上述几种经典 CNN 网络 进行适应性改造，将学习得到的网络模型和参数应用 到新任务的小样本数据集上，进行网络微调，便可得到 一种新的深度图像卷积特征，该特征具有强大的语义表示能力，只需要线性分类器，即可对测试困像样本进行分类标注。

Part3基于 CNN 的多传感器信息融合故障诊断

随着监测对象越来越复杂，状态监测信号呈现非 线性、时变性、不确定性等特征，当系统发生故障时，常 常表现出多种征兆，仅仅依靠单一的理论方法和信息 就难以对故障做出精确的判断，出现令人难以接受的 高几率虚警、漏报等现象。

多源信息融合 ( Multi-Source Information Fusion，MSIF) 技术:

利用计算机技术，对来自多种信息源的多个传感器观测的信息，在一定准则下进行自动分析、综合，以获得单个或单类信息源所无法获得的有价 值的综合信息处理技术。

多源信息融合技术的 研究目标是利用多个传感器优化组合的优势，提高系 统故障诊断精度，一般包括数据级融合，特征级融合和决策级融合三个方式。多传感器信息融合要求所采集 的信号是同步采集，同时这些信号对所诊断的故障都 具有关联性。

1数据级融合

数据级融合是直接对传感器的采集数据进行融合处理，然后基于 CNN 网络进行训练和故障诊断。

数据层的融合主要是对 CNN 网络的输入信号进行处理，例 如振动加速度信号、声发射信号、扭矩信号、瞬时转速信 号等，对信号攫取相同长度的片段，然后采用并联或串 联的方式进行排列。

采用并联方式时，多个传感器信号 被整合成一张图像，则以图像的方式作为 CNN 网络的 输入; 采用串联方式时，多传感器信号被整 合为一维信号，以一维信号作为网络的输入。

数据级融合的优点是数据量的损失最少，能够提 供数据层中的细微信息，精度最高，但是计算量大。

2特征级融合

特征级融合属于中间层次的融合，采用信号处理 方式对每个传感器信号先提取出各自的特征向量，然后 CNN 网络完成特征向量的融合处理。利用现有的 信号处理方法提取时域、频域、时频域等多维特征，然后再组合成二维图像或一维信号，进而再使用 CNN 进 行训练和分类识别。

特征级融合的优点在于实现了数据压缩，降低了计算量，有利于实时处 理。

但由于损失了一部分有用信息，与数据级融合相比，融合性能有所降低。

3决策级融合

决策级融合是高层次的融合，构建多个 CNN 网络 实现对每个传感器先作出决策，然后在融合中心完成局部决策的融合处理。

该方法一般需要结合 D-S 证据理论来实现决策级的融合。

优点：

具有很高的灵活性，抗干扰能力强，传感器可以是同质 的也可以是异质的，当一个或几个传感器出现错误时， 通过适当的融合，系统仍能获得正确结果。

缺点：

由于数据损失最多，融合精度较其他两级融合要低。

参考文献：吴定海、任国全、王怀光、张云强.基于卷积神经网络的机械故障诊断方法综述[J].机械强度, 2020, 42(5):9.DOI:CNKI:SUN:JXQD.0.2020-05-002.