42个激活函数的全面总结

来源：DeepHub IMBA
本文多图，建议阅读5分钟
在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。

2015 年 11 月，wikipedia的用户 

Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。

例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。

如果我们包括 Identity Activation 函数，这个列表将包含 42 个激活函数，这里面肯定有没有见过的。

Binary step

公式

导数

Logistic, sigmoid, or soft step

公式：

导数

还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))

ElliotSig 或 Softsign

公式：

导数

双曲正切 (tanh)

公式

导数

Arctangent / Arctan / atan

公式

导数

Softplus

公式

导数

Rectified linear unit (ReLU) (ReLU6)

公式

导数

Exponential linear unit (ELU)

公式

导数

Gaussian Error Linear Unit (GELU)

公式

导数

Scaled exponential linear unit (SELU)

公式

导数

Mish

公式

导数

Leaky rectified linear unit (Leaky ReLU)

公式

导数

Parametric rectified linear unit (PReLU)

公式

导数

Parametric Exponential Linear Unit (PELU)

公式

导数

S-shaped rectified linear activation unit (SReLU)

公式

导数

Bipolar rectified linear unit (BReLU)

公式

导数

Randomized leaky rectified linear unit (RReLU)

Sigmoid linear unit (SiLU) or Swish

Gaussian

Growing Cosine Unit (GCU)

Shifted Quadratic Unit (SQU)

Non-Monotonic Cubic Unit (NCU)

Shifted Sinc Unit (SSU)

没有提供导数公式，参考论文：

https://arxiv.org/pdf/2111.04020.pdf。

Decaying Sine Unit (DSU)

没有提供导数公式，请参考论文：

https://arxiv.org/pdf/2111.04020.pdf

Phish

没有提供导数公式，请参考论文：

https://www.techrxiv.org/ndownloader/files/33227273/2

SQ-RBF

Inverse square root unit (ISRU)

Square nonlinearity (SQNL)

Sigmoid shrinkage

“Squashing functions”

Maxout

该函数导数为正负 无限

Bent Identity

Sinusoid

Sinc (taming the waves)

ArSinH

Soft Clipping (goldilocks)

Piecewise Linear Unit (PLU)

Adaptive piecewise linear (APL)

Inverse Cubic

Soft Exponential

LeCun hyperbolic tangent (42?)

来自

https://drive.google.com/viewerng/viewer?url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf

激活函数的wikipedia页面：

https://en.wikipedia.org/wiki/Activation_function

最后说明，图太多了，如有遗漏或者错误，请留言

编辑：于腾凯