这篇论文提出了一种动态ReLU。根据输入，它能动态地调整对应的分段激活函数，以较少的额外计算量大幅提升性能。
Dynamic ReLU
论文地址： https://arxiv.org/abs/2003.10027
论文代码： https://github.com/Islanna/DynamicReLU
Introduction ReLU是深度学习中很重要的里程碑，简单但强大，能够极大地提升神经网络的性能。目前也有很多ReLU的改进版，比如Leaky ReLU和 PReLU，而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到，如果能够根据输入特征来调整ReLU的参数可能会更好。 基于上面的想法，论文提出了动态ReLU(DY-ReLU)。如图2所示，DY-ReLU是一个分段函数 Definition and Implementation of Dynamic ReLU Definition 定义原版的ReLU为 Implementation of hyper function 论文采用类似与SE模块的轻量级网络进行超函数的实现，对于大小为 Relation to Prior Work DY-ReLU的可能性很大，表1展示了DY-ReLU与原版ReLU以及其变种的关系。在学习到特定的参数后，DY-ReLU可等价于ReLU、LeakyReLU以及PReLU。而当 Variations of Dynamic ReLU 论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制： DY-ReLU-A 空间位置和维度均共享(spatial and channel-shared)，计算如图2a所示，仅需输出 DY-ReLU-B 仅空间位置共享(spatial-shared and channel-wise)，计算如图2b所示，输出 DY-ReLU-C 空间位置和维度 均不共享(spatial and channel-wise)，每个维度的每个元素都有对应的激活函数。虽然表达能力很强，但需要输出的参数( Experimental Results 可视化DY-ReLU在不同block的输入输出以及斜率变化，可看出其动态性 Conclusion
论文提出了动态ReLU，能够根据输入动态地调整对应的分段激活函数，与ReLU及其变种对比，仅需额外的少量计算即可带来大幅的性能提升，能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU，也是做动态ReLU，子网结构十分相似，但DY-ReLU由于
推荐阅读
添加极市小助手微信 （ID : cvmart2） ，备注： 姓名-学校/公司-研究方向-城市 （如：小极-北大-目标检测- 深圳），即可申请加入 极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解 等技术交流群： 每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+ 来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流 ~ 觉得有用麻烦给个在看啦~ 
