21种NLP任务激活函数大比拼：你一定猜不到谁赢了( 六 )_选自arXiv机器之心编译参与：panda在用

sin 是标准的正弦函数，被提出用于神经网络学习，比如 Parascandolo et al. (2016)，其中表明 sin 在特定任务上的学习速度比更有地位的函数快。

penalized tanh（Xu et al., 2016）的定义与 LReLU 函数类似，可被看作是「惩罚」负区域中的恒等函数。penalized tanh 在 CIFAR-100 上报告的优良表现（Krizhevsky, 2009）让作者推测：激活函数在原点附近的斜率可能对学习至关重要。

linear 是恒等函数 f(x) = x。

cube 是立方函数 f(x) = x3，由 Chen and Manning (2014) 为依赖关系分析所用的一个 MLP 提出。

elu（Clevert et al., 2015）是 relu 的又一种变体，其假设了负值，使平均激活更以零为中心。

selu 是 elu 的一种扩展版，Klambauer et al. (2017) 将其用在了所谓的自归一化神经网络背景中。

激活函数的属性

人们推测激活函数的很多属性都对学习成功至关重要。表 2 列出了其中一些，另外还给出了一些简要的说明和解释。

21种NLP任务激活函数大比拼：你一定猜不到谁赢了( 六 )