《基于深度信念网络的轴承故障分类识别-李巍华.pdf》由会员分享，可在线阅读，更多相关《基于深度信念网络的轴承故障分类识别-李巍华.pdf（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第29卷第2期2016年4月振 动 工 程 学 报Journal of Vibration EngineeringV0129 No2Apr2016基于深度信念网络的轴承故障分类识别李巍华12，单外平1，曾雪琼1(1华南理工大学机械与汽车工程学院，广东广州510640；2机械制造系统工程国家重点实验室，陕西西安710054)摘要：特征提取是故障智能诊断的关键步骤，然而不同的特征提取方法所得到的特征不同，导致诊断结果也可能有所差异，增加了人工特征选择的难度和不确定性。深度信念网络(Deep Belief Network，DBN)是一种典型的深度学习(Deep Learning)方法，可以通过组合低
2、层特征形成更加抽象的高层表示，发现数据的分布式特征。DBN可直接从低层原始信号出发，通过逐层智能学习得到更好的特征表示，避免特征提取与选择的人工操作，增强识别过程的智能性。将DBN直接应用于轴承振动原始信号的处理，实现轴承故障的分类识别。试验结果表明，DBN可以直接通过原始数据对轴承故障进行分类识别，优先调节时间复杂度偏导数较大的参数，可有效控制DBN的计算成本。关键词：故障诊断；特征提取；受限玻尔兹曼机；DBN；故障分类中国分类号：THl65+3；TP206+3 文献标志码：A 文章编号：10044523(2016)02一034008DOI：10163851cnkiissn100445232
3、016020201 概 述故障智能识别实质是通过机器学习方法对刻画故障的特定特征进行识别，特征提取是实现故障智能识别的关键。应用于机械故障智能识别领域的特征可分为三类：单变量特征、多变量特征和图像特征。单变量特征是指只有一个特征变量，如峭度、特征频率、频带能量等，只涉及到单一特征，易于获取，但忽略了其他有用信息。如Yang等13只采用能量熵作为轴承故障识别的唯一特征，用经验模态分解对能量熵进一步分析，增加了分析的难度和人为因素的影响。多变量特征是组合多个单变量特征而成的综合特征向量，可以综合时域、频域、能量域等多方面特征，能更加全面的描述故障信息。但多变量特征的具体选取，直接受人为主观因素的影
4、响，如Shen等2选用了29个特征应用于齿轮故障诊断，Li等31选用了20个特征应用于轴承故障诊断，而Zhao等4只选用了10个特征应用于无线传感器故障诊断。图像特征一般是先通过时频分析把信号转为时频图像，再按图像处理方式提取相应故障特征，故障识别效果依赖于具体的时频分析方法和图像处理方式。如Widodo等51用小波包变换将时域信号转为时频图，再用主成分分析法压缩时频图像素，选用多组较大的协方差矩阵特征值所对应的图像像素作为故障特征。Li等63采用S变换将信号转为时频图，用二维非负矩阵分解法从原始二维时频图中提取105像素作为故障特征。以上3类特征均易受到人为因素的影响，增加了分析的不确定性，
5、也削弱了机器学习的智能性。并且，以上述特征为基础建立的各种研究模型也较复杂，模型的适用条件易于被忽视，导致机器学习操作困难。如：隐马尔科夫模型(Hidden Markov Model，HMM)是一种可以应用于轴承故障识别的有效模型7；显著化HMM中的驻留时间可将HMM扩展为隐半马尔科夫模型8(Hidden semiMarkov Model，HSMM)；用高斯函数拟合离散数据衍生连续隐半马尔科夫模型9J(Continuous Hidden semiMarkov Model，CHSMM)。模型每一次的改进，故障识别效果均有一定的提升，但也增加了模型建立的复杂性和适用条件的严格性，从而限制了方法的推
6、广。深度信念网络(Deep Belief Network，DBN)是一种深度学习(Deep Learning)网络，由Hinton等n01在2006年提出。DBN可通过组合低层特征形成更加抽象的高层表示，以发现数据分布式特征表示，是一种可以直接从低层原始信号出发，逐层贪收稿日期：2015一02一05；修订日期：2015一05一03基金项目：国家自然科学基金资助项目(51475170，51475169)；机械制造系统国家重点实验室开放基金资助项目(sklms2014008)；中央高校基本科研业务费专项资金资助万方数据第2期 李巍华，等：基于深度信念网络的轴承故障分类识别婪学习得到高层特定特征的学
7、习网络。DBN无需人工特征提取过程，从而避免了传统特征提取过程所带来的复杂性和不确定性，增强识别过程的智能性。传统分析和DBN深度学习分析过程比较如图1所示。原始数据时域、频域等分析频域、能量域等分析时频分析单变量特征多变量特征图像特征分类模型图1分析过程比较Fig1 Analysis process comparison diagram深度学习理论的提出，引领了机器学习的新热潮。DBN最初应用于机器视觉领域，如Hinton等11将DBN用于手写体数字分类；Bengio等121应用于不同动物类别识别，随后广泛被应用于语音识别13等领域。从现有文献检索可知，深度学习在故障智能识别的应用研究刚刚开
8、始。Tamilselva等141利用DBN理论对飞机发动机结构健康状态进行识别，但采用了仿真数据中的多元参数，增加了参数获取的难度，也缺乏实际数据验证。王宪保等口5将DBN应用于太阳能电池片表面缺陷检测，其实质上是利用DBN对缺陷表面的图像进行分析处理。Tran等u阳将DBN应用于不同压力下的压缩机故障诊断，算法采用了传统的时域、频域、能量域等多变量特征，人为参与因素仍然重要。本文利用DBN可以从低层逐步学习到高层抽样的特点，直接从原始数据出发，对轴承故障进行识别，无需进行特征提取，减少了人为参与因素，增强了故障诊断的智能性。2 深度信念网络DBN深度信念网络实质上是由多个受限玻尔兹曼机10J
9、(Restricted Boltzmann Machine，RBM)堆叠成的多层感知器神经网络，低层表示原始数据细节，高层表示数据属性类别或特征，从低层到高层逐层抽象，可以深度挖掘数据本质特征。如图2是一个由3个RBM堆叠而成的DBN结构模型。每个RBM由两层网络组成，即可视层(臼)和隐藏层()，层与层之间通过权值叫连接。第一可视层口1为初始输入数据，和第一隐藏层矗1组成第一个RBM(RBMl)；第一隐藏层111作为第二可视层口2，并和第二隐藏层2组成第二个RBM(RBM2)；第二隐藏层矗2作为第三可视层可3，并和第三层隐藏层3组成第三个RBM(RBM3)。各层内部相互独立，但数据可通过激活函
10、数按RBM学习规则在层间相互转换。输人数据经低层的RBM学习后，其输出结果作为高一层RBM的输入，依次逐层传递，从而在高层形成比低层更抽象和更具有表征能力的特征表示，这是DBN逐层贪婪学习主要思想1 7|，也是本研究中DBN可直接通过原始数据对轴承故障进行识别的主要原因。RBM2RBM 1输出数据；回1圆i回输入数据图2 DBN结构Fig2 DBN structureDBN学习过程包含两部分：由低层到高层的前向堆叠RBM学习和由高层到低层的后向微调学习。21前向堆叠RBM学习RBM源于热动力学的能量模型，RBM在每层网络中有若干神经元，同一层神经元之间相互独立，且只有未激活与激活两种状态，可分
11、别用二进制O与1表示。假设一个RBM中有72个可视单元和仇个隐藏单元，用可和分别表示可视层和隐藏层的状态，可=(u1，可2，掣。)，l=(九1，是2，是。)，定义该RBM能量函数E(口，；口)=一6l口；一日j|lzj一删dJ (1)滓lj=1式中口一叫，6，n)，u；为第i个可视单元的状态，为第个隐藏层单元的状态。6；为可视单元i的偏置，口，为隐藏单元的偏置，锄#为连接可视单元i和隐藏单元J的权重。万方数据342 振 动 工 程 学 报 第29卷足义一个HJ视币点和隐臧节点的联合戳翠P(口，；口)一赤exp(一E(可，；口)(2)其中，z(曰)一。exp(一E(勘，；曰)。隐藏层与可视层的条
12、件概率为：跗舻畿等=，蹦小(3)m胪畿等=。mm忉(4)因隐藏层内部和可视层内部均不存在连接，公式(3)和(4)可进一步推导得激活函数18：P(矗，一1 I口；口)=11+exp(一n，一。口)j (5)P(q一1 f；口)一11+exp(一6：一，叫#7z，) (6)采用极大似然法对下式进行最大化，求取参数目L(口；口)=(臼I勘)一。P(勘) (7)使用随机梯度上升法求取似然函数最大值，对参数口求偏导学一扣翠一6)一扣善一”)一。，-半喝“一，-掣(8)式(8)中第一项E，。咖，I一丝坚等盟是指函数L uV J一坐掣在概率P(f到)下的期望，当曰代表输入样本数据的可视状态时，E，。m，一坐
13、等孕堕l可以L uu J理解为输入样本的能量函数偏导在样本本身分布下的期望值，其值容易求取；第二项Er。一掣指一掣函数在概率P(剧，)下的期望，可以理解为能量函数的偏导在RBM模型表示分布下的期望值，其值不易求取1引。为此，Hinton等口0提出经少数训练就可以得到P(可，)较好估计的对比差异度CD(ContrastiveDivergence)快速算法。该快速算法来源于Gibbs抽样，先利用公式(5)计算所有隐藏层单元的条件概率，并用Gibbs抽样确定隐藏单元状态，再根据公式(6)计算可视单元的条件概率，再次用Gibbs抽样确定可视层状态，此时相当于对上一步可视层进行了一次重构。因此，使用梯度
14、上升法最大化似然函数(7)，参数口一伽，6，日的更新准则为：训#=e(P(J。)一。)(9)6ie(P(I。)一。) (10)口j=e(P(I。)一。) (11)式中 e为学习率，附I曲代表偏导函数在P(f口)分布下的期望，。表示偏导函数在重构后模型分布下的期望。基于CD的RBM算法步骤如下：(1)确定参数：样本x一z，z。，z。，z。)T，学习率e，隐藏层节点数m。(2)参数初始化：可视层初始状态口n一z，变量上标代表训练次数，砌，口，6为随机选取的较小数值。(3)训练数据：For歹=1，2，m(隐藏单元节点数)do P(弼”=1I”)2盯(岛+勘；，硼d)f从P(危；=1 I锄“)中抽样出
15、!，o，1EndFor i=1，2，7z(可视单元节点数)do P(铅；2一1”)=盯(以i+。掣)J从P(口；=1l矗n)中抽样出口；2o，1)EndFor歹=1，2，m(隐藏单元节点数)do P(弼2一1I2)一叮(以+u：z，伽“)l从P(；2)一1 I口2)中抽样出：z，o，1)End(4)参数更新；一叫+e(P(；1)一l I础)(口)TP(：2一1 I口)(口)T)；Z一口+e(口(1)一口(2)；占一6+(P(；1)-1 I口)一P(；2一1 f口2)。(5)重复步骤(3)，(4)，直到完成K次迭代参数更新。最后一次迭代时，把(3)的作为下一个RBM的输入口“，训练下一个RBM。
16、22后向微调学习前向堆叠RBM学习属于无监督学习，把无监督学习到的模型参数当作有监督学习参数的初始化，相当于为监督学习提供了输入数据的先验知识。后向微调学习是从DBN网络最后一层出发，利用已知标签逐步向低层微调模型参数，模型训练结果可得到进一步优化。网络最后一层由Softmax作为分类器模型，Softmax模型实质上是多分类的逻辑回归模型21。设DBN深度网络一共由Z个RBM堆叠而成，初始样本z，最后一层输出向量为“o(z)万方数据第2期 李巍华，等：基于深度信念网络的轴承故障分类识别铭2(z)=11+exp(62+t卜1(z) (12)第i个样本经前向z层堆叠RBM学习后，属于类别y；，y；
17、(1，2，c)的概率是地i卸(肌忙等每(13)式中V为参数系数，选取最大概率所对应的类别即为Soft-max模型判定类别。第Z层误差函数表达式为m忙一精洳瑚鞫 m f=1=1 ，e(14)式中|D为权重衰减率；A 2=叫，c，V2)；1yi=忌为逻辑指示函数，当yi一忌时，值为l，当yi惫时，值为o。为求误差最小值，使用梯度下降法，对参数求偏导V(n一去蚤纵主洲1愀刊刊(；f)(15)微调参数页=A一口v】J Q) (16)式中口为学习率，依次类推，微调1到z层相关参数。推导过程参见文献17。3时间复杂度算法的时间复杂度22是定量描述算法耗费时间的函数0(S，)，取决于基本运算的计算次数S和基
18、本运算执行一次所需时间。假设基本运算执行一次均是单位时间，不同结构中的计算次数可直接相加，累计计算次数等同于算法的时间复杂度。累计计算次数越多，算法的时间复杂度越大，所耗费时间越长。前向堆叠RBM学习和后向微调学习是DBN算法的关键，对应的时间复杂度决定整个DBN算法的耗费时间。假设一个DBN由隐含层分别是m1，仇2，m3的3层RBM组成，输入样本量N，样本长度，迭代次数K。忽略常数项计算次数，由基于CD的RBM算法步骤知，单个样本生成P(n一1I可1)计算次数咒m。，抽样出|ln计算次数m。2，生成P(u心=1 I1)计算次数m。，2，抽样出口佗计算次数咒2，生成P(。=1 l可2)计算次数
19、咒m。，抽样出2计算次数m。2，参数更新计算次数m。钾+行+m。N个样本第一个RBM迭代K次总计算次数F1一KN(4nm】+2m】2+722+7z+优1)(17)同理第二、三层的总计算次数分别为：F2=KN(4mlm2+2m2 2+ml 2+m1+m2)(18)F3=KN(4m2仇3+2仇3 2+m2 2+m2+仇3)(19)所以，前向堆叠RBM学习的计算次数为F=F1+F2+F3 (20)同理，后向微调学习的计算次数R=KN(靠ml+mlm2+m2m3) (21)前向学习和后向学习的计算总次数S=F+R (22)函数对参数的偏导数等同于函数值在该参数方向的单位变化量，可理解为函数对该参数的敏
20、感程度。偏导数的绝对值越大，函数对该参数越敏感，可通过调节该参数对函数值进行调节。将计算总次数对参数分别求导，偏导数均为正数，可按偏导数大小排序，优先调节偏导数较大的参数可以更快速地控制总计算成本。假设数据样本量和DBN结构确定，即N，优，m：，m。参数为恒值，则计算总次数S仅与迭代次数K和样本长度，z有关。比较S对参数K，竹偏导数的大小，当蒹雾时，说明迭代次数K比样本长度竹更敏感，调节K的值可以更好地控制DBN的计算成本。当蒙雾。说明在本案例中，迭代次数K远比样本长度以更敏感，调节K值对控制DBN成本更明显。以98为目标识别率，初始样本长度64个数据点，步长8个数据点，最大迭代100次。选用
21、图3流程，优先选取最少K值，再选择最少咒，在处理器64位Intel(R)Xeon(R)CPU E31230、主频33GHz、内存8GB的计算机配置下，经约13 h寻优后，可得到最佳样本长度664个数据点，迭代次数为5，此时故障识别时间16 s。若优先选择最少样本长度，再选择最少迭代次数，在相同的计算机环境下，须经约34 h寻优后得到最佳结果，寻优时间约为上述方法的26倍。此时最佳样本长度424个数据点，迭代46次，故障识别时间约为192 s，所需时间约为上述方法的12倍。进一步验证了本例中优先调节迭代次数(时间复杂度偏导值较大)，可更好地控制DBN计算成本。为进一步验证算法性能，比较单变量特征
22、、多变量特征、图像特征及原始数据直接输入分类器的识别效果，参照图1将轴承数据按如下5种方式处理后，再输入Softmax模型进行分类识别。(1)原始数据直接输入；(2)选取常用振动特征峭度作为输入；(3)参照文献16提取多变量特征，将14组特征作为输入；(4)选取方式(3)中14组特征的无量纲统计特征，即波形指标、峰值指标、脉冲指标和裕度指标作为输入；(5)经小波变换后绘制时频图，直接提取时频图像特征(300400像素)作为输入；(6)将方式(5)中时频图经双向主成分分析压缩(Two Dimensional PCA，T肛PCA)至像素1010，再将压缩后的图像特征输入。将上述6种方式所得到的故障
23、识别结果与DBN相比较，6种处理方式均进行20次随机试验，取其平均值作为最终结果，比较结果如图6所示。由图6可见，识别率最差的是方式(1)，故障识别率低于20，说明Softmax分类模型本身无法直接从原始数据对故障进行识别。当仅以峭度为输万方数据振 动 工 程 学 报 第29卷图6 不同方法处理的故障识别率Fig6 Fault identification with different methods入时(方式(2)，识别结果仍然较差，均小于30，说明仅依据单变量特征识别故障能力有限。当以14组多变量特征为输入时(方式(3)，识别率明显提高。当以其中的无量纲指标特征为输人时(方式(4)，识别效
24、果比方式(3)差。这可能是因为不同特征变量是从不同的角度刻画振动信号，所选特征包含的故障信息区分度不大，也说明多变量特征的数量和种类直接影响故障识别效果。以方式(5)图像特征为输入时，随着样本长度增加，识别正确率下降，最高识别正确率小于80；经T胁PCA双向压缩后(方式(6)，较长样本长度的数据识别效果有一定的提升，但较短样本长度的数据识别率反而下降。可见，在时频图中，有价值的故障信息受到其他信息干扰，时频特征的识别效果不稳定。而DBN在第4组(样本长度为256个数据点)时识别率即大于90，随着样本长度增加，识别率逐渐上升。综上所述，多变量特征需要甄选特征数量和种类，时频图特征需要额外的处理过
25、程，这些都离不开人为因素，削弱了故障诊断的智能性。5 结 论深度学习DBN是一种由多个RBM堆叠而成的学习网络，可以通过组合低层特征形成更加抽象的高层表示，以发现数据的内部特征。利用DBN可直接对轴承振动的原始信号进行分析处理，无需专家经验知识即可对轴承故障进行分类识别，增强了故障诊断的智能化。在应用DBN对轴承故障识别时，通过优先调节时间复杂度偏导值较大的参数，可有效地控制DBN计算成本。此外，深度学习可以从已有数据中直接挖掘有价值信息。据此针对大型复杂机械系统的多传感器监测数据，一方面可利用深度学习进行多源信息的融合，构建完善设备故障诊断数据库。另一方面，研究其对系统运行状态的动态评估也是
26、一个有待解决的问题。参考文献：1 Yang Y，Yu D。Cheng JA roller bearing fault diagnosis method based on EMD energy entropy and ANNJJournal of sound and Vibration，2006，294(1)：2692772 Shen Z，Chen x，zhang X，et a1A novel intelIigentgear fault diagnosis model based on EMD and multi-class TsVMJMeasurement，2012，45(1)：30一403
27、Li B，Liu P，Hu R，et a1Fuzzy lattice classifier andits application to bearing fault diagnosisJAppliedsoft Computing，2012，12(6)：170817194 zhao C L，sun x B，Sun s L，et a1Fault diagnosis ofsensor by chaos particle swarm optimization algorithmand support vector machineJ Expert Systems withApplications，2011
28、，38(8)：990899125 Widodo A，Yang B SWavelet support vector machinefor induction machine fault diagnosis based on transient current signalJ Expert systems with ApplIcations，2008，35(1)：3073166 Li B，Zhang P，Liu D，et a1 Feature extraction forIolling element bearing fault diagnosis ut订izing generaljzed S t
29、ransform and two_dimensional nonnegatjvematrix factorizationJ Journal of sound and Vibration，201l，330(10)：238823997 0cak H，Loparo K A，Discenzo F M0nline trackingof bearing wear using wavelet packet decompositionand probabilistic mode“ng： A method for bearingprognosticsJ Joumal of sound and Vibration
30、，2007，302(4)：95l一9618 Zen H，Tokuda K，Masuko T，et a1A hidden semiMarkov modelbased speech synthesis system JTransactions on Information and Systems， 2007， 90(5)：8259Dong M，He D A segmental hidden semiMarkovmodel(HSMM)based diagnostics and prognosticsframework and methodologyJMechanical systemsand Sig
31、nal Processing，2007，21(5)：2248226610Hinton G，0sindero S，Teh Y WA fast learning algo“thm for deep belief netsJNeuraI Computation，2006，18(7)：1527155411Hinton G ETo recognize shapes，first learn to gene卜ate imagesJ Progress in Brain Research， 2007，165：5355471 2Bengio Y， CourvilIe A， Vincent P Representa
32、tionlearning：A review and new perspectivesJ IEEEO987654321OOOOOOOOOO0瓣最聪器肖万方数据第2期 李巍华，等：基于深度信念网络的轴承故障分类识别 347Iransactions on Pattern Analysis and Machine Intelligence，2013，35(8)：1798182813Hinton G，Deng L，Yu D，et a1Deep neural networks for acoustic modeling in speech recognition：The shared views of f
33、our research groupsJ IEEESignal Processing Magazine，2012，29(6)：829714Tamilselvan P，wang P Failure diagnosis using deepbelief learning based health state classificationJReliability Engineering&System Safec)r，20 1 3，11 5：12413515王宪保，李洁，姚明海，等基于深度学习的太阳能电池片表面缺陷检测方法J模式识别与人工智能2014，27(6)：517523WANG xian-bao
34、，LI Jie，YA0 Minghai，et a1S01arcells surface defects detection based on deep learningJ Pattern Recognition and Ar【ificial Intelligence2014，27(6)：51752316Tran V T，AlThobiani F，Ball AAn approach tofault diagnosis of reciprocating compressor valves using TeagerKaiser energy operator and deep beliefnetwo
35、rks J Expert systems with Applications，Z014，41(9)：4113412217Bengio Y，Lamblin P，Popovici D，et a1Greedy layer_wise training of deep networksJ Advances inNeural Information Processing Systems， 2007， 1 9：15316018Fischer A，Igel CAn Introduction to Restricted Boltzmann MachinesM Progress in Pattern Recogn
36、i一1920tion，Image Analysis，Computer Vision，and ApplicationsSpringer Berlin Heidelberg，2012：1436Sa】akhutdinov R，Murray I0n the quantitative analysis of deep belief networksc Proceedings of the25th Intemational Conference on Machine LearningACM，2008：872879Hinton G ETraining products of experts by minim
37、izing contrastive divergenceJ Neural Computation，2002，14(8)：1771一180021Chen Y，Lin Z，Zhao X，et a1 Deep learningbasedclassification of hyperspectral dataJSelected Topics in Applied Earth 0bservations and Remote Sensing，2014，7(6)：2094210622刘怀愚，朱昌杰，李璨时间复杂度的几种计算方法J电脑知识与技术：学术交流，2011，7(7)：46364638Liu Huaiy
38、u，Zhu Chan90 ie，Li Jing Several calculations for time complexityJ Computer Knowledgeand Technology，2011，7(7)：4636463823Larochelle H，Bengio Y，Louradour J，et a1 Exploring strategies for training deep neural networksJThe Journal of Machine Leaming Research，2009，10：14024Yang J，zhang D，Yang J YTwodimensi
39、onal PcA：a new approach to appearance。based face representationand recognitionJ IEEE Transactions on Pattern Analysis and Machine Intelligence2004，26(1)：131】37Bearing fault identification based on deep belief networkLJ Wei一“n 1”，SHAN W&ipi”91，ZENG X“Pqio以91(1Sch001 of Mechanical and Automotive Engin
40、eering，South China University of Technology，Guangzhou 510640，China；2State Key Laboratory f。r Manufacturing Systems Engineering，Xian 710054，China)Abstract：Feature extraction pIays an important r01e in machine fault intelligent diagnosis However，different methods，whichextract different features from t
41、he raw signal，may lead to different diagnostic results It increases the difficulty in feature selection as well as the diagnosis uncertainty Deep belief network is one of the typical deep 1earning methods，which can obtainan abstract representation through the combination of low一1evel features to dis
42、cover the data structure distribution By directlylearning from the raw signal and laye卜wise training，the deep belief network can obtain a better feature representation，eliminate manual influence on feature extraction，and enhance the inteUigence of fault diagnostic process To verify the effectiveness
43、of DBN，bearing fault experiments were conductedThe experimental results demonstrate that DBN can classify different faultsdirectly with the raw data，and the computational cost of DBN can be depressed by tuning the parameters sensitive to the timecomplexityKey words：fault diagnosis；feature eXtraction；restricted Boltzmann machine；DBN；fauIt classmcation作者简介：李巍华(1973一)，男，教授。电话(020)87110061；Email：whleescuteducn万方数据