↑ 点击蓝字关注极市平台

作者丨 VincentLee

来源丨晓飞的算法工程笔记

编辑丨极市平台

极市导读

通过分析输入的振动信号，ResNet-APReLU能够检测出电子设备故障，本文即介绍了这种APReLU的基本设计思路。目前，相关代码已开源，感兴趣的研究者可自行尝试。

Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis

论文地址：https://ieeexplore.ieee.org/document/8998530/metrics#metrics

代码地址：https://github.com/zhao62/Adaptively-Parametric-ReLU

Introduction

论文讨论的场景是电子设备的错误检测，由于在苛刻环境下长期运行，电子设备经常会不可避免地出现故障，进而造成意外和损失。而振动信号(vibration signal)通常包含由于机器故障引起脉冲和波动，可用来检测设备故障。近期，深度学习方法也被用于电子设备的错误检测中，将振动信号作为输入，输出当前设备是否正常。

主流的分类神经网络使用一组完全相同的非线性变换来处理不同的输入，如图a所示，F、G和H代表非线性变化，代表非线性变换是否相同。对于振动信号场景而言，相同健康状态的机器，由于当前操作不同，反馈的振动信号的差异可能较大，很难将不同波形的归为同一健康状态。相反的，不同健康状态的机器偶然会产生相同的振动信号，神经网络会将其映射到相近的区域，难以区分。综上，固定的非线性变换在振动信号场景中可能会对特征学习能力带来负面的影响，能够自动学习并根据输入信号使用不同的非线性变换是十分有意义的。

论文基于ResNet提出了改进版ResNet-APReLU，如图b所示，根据输入信号赋予不同的非线性变换，具体是通过插入一个类似SE(squeeze-and-excitation)模块的子网来调整激活函数的斜率，能够大幅提升故障检测的准确率。由于论文的场景比较特殊，所以主要学习论文提出的方法，至于应用场景相关的部分和实验部分，就简单地带过就好了。

Fundamentals of classical ResNets

论文以ResNet为基础，ResNet的核心结构如图2a所示，相信各位都很清楚，就不再介绍了。将ResNet应用到机器错误识别中，如图2b所示，输入振动信号，经过网络的特征提取后进行状态识别，判断机器是健康还是处于其它错误状态中。论文的核心是通过改进ReLU进行自适应的非线性变换，原版ReLU可公式化为：

Design of the developed ResNet-APReLU

Design of the fundamental architecture for APReLU

Architecture of the developed ResNet-APReLU for vibration-based gearbox fault diagnosis

基于APEeLU构建新的ResBlock，如图b所示，与原版的ResBlock基本一致，只是将ReLU替换为APReLU进行自适应非线性激活。APReLU的输出大小跟输入大小一样，可以简单地嵌入到各种网络中。完整的网络结构如图c所示，最后输出多个机器状态的预测，计算交叉熵损失，进行梯度下降学习。

Experimental Results

从结果来看，针对机器故障的场景，论文提出的方法是十分有效的。

Conclustion

论文的工作属于深度学习在工业界的应用，借鉴计算机视觉的解决方法，针对机器故障检测的场景提出自适应的APReLU，对故障检测的准确率有很大的提升。论文整体思想应该也可以应用于计算机视觉，代码也开源了，大家可以尝试下。

推荐阅读

Black reID：解决现实场景中的行人重识别常见的黑衣人问题
使用计算机视觉的方法在钢铁平面上检测焊接缺陷
74KB图片也高清，谷歌用神经网络打造图像压缩新算法

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-工业检测-城市（如：小极-北大-工业检测-深圳），即可申请加入极市工业检测等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~

APReLU：跨界应用于机器故障检测的自适应ReLU丨IEEE TIE 2020