在视觉任务上大幅超越ReLU的新型激活函数-轻识

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自旷视研究院。

本文介绍旷视研究院的一个新成果，通过在激活函数领域进行创新，提出一种在视觉任务上大幅超越ReLU的新型激活函数Funnel activation（FReLU），简单又高效。

论文题目：Funnel Activation for Visual Recognition
论文链接：https://arxiv.org/abs/2007.11824
MegEngine开源：https://github.com/megvii-model/FunnelAct
关键词：funnel 激活函数、视觉识别、CNN

具体而言，旷视研究院通过增加可忽略的空间条件开销将ReLU和PReLU扩展为2D激活函数。ReLU和PReLU分别表示为y = max（x，0）和y = max（x，px）的形式，而FReLU的形式为y = max（x，T（x）)，其中T（·）是二维空间条件（2D spatial condition）。

此外，空间条件以简单的方式实现了像素级建模能力，并通过常规卷积捕获了复杂的视觉layouts。最后，对ImageNet数据集、COCO数据集检测任务和语义分割任务进行了实验，展示了FReLU激活函数在视觉识别任务中的巨大改进和鲁棒性。

下载1：leetcode 开源书

在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！

下载2 CVPR2020

在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文

个人微信（如果没有备注不拉群！）

请注明：地区+学校/企业+研究方向+昵称

觉得不错就点亮在看吧