21种NLP任务激活函数大比拼：你一定猜不到谁赢了( 五 )_选自arXiv机器之心编译参与：panda在用

图2/8

表 1：上：sigmoid 函数与 Ramachandran et al. (2017) 中表现最好的 6 种激活函数。下：具有不同参数的 LReLU 函数以及 penalized tanh。

另外 14 种激活函数分别是：tanh、sin、relu、lrelu0.01、lrelu-0.30、maxout-2、maxout-3、maxout4、prelu、linear、elu、cube、penalized tanh、selu。我们简单介绍一下：

lrelu-0.01 和 lrelu0.30 是所谓的 leaky relu（LReLU）函数（Maas et al., 2013），它们背后的思想是避免在 relu 的负区域出现零激活/导数。表 1 也给出了它们的函数形式。

prelu（He et al., 2015）是对 LReLU 函数的泛化，是将其负区域中的斜率设置为一个可学习的参数。

maxout 函数（Goodfellow et al., 2013）的不同在于其引入了额外的参数，而且并不在单个标量输入上操作。比如 maxout-2 是取两个输入中的最大值的操作：max，因此可学习参数的数量多一倍。maxout-3 类似，是取三个输入中的最大值。如 Goodfellow et al. (2013) 所示，maxout 可以近似任意凸函数。