21种NLP任务激活函数大比拼：你一定猜不到谁赢了_选自arXiv机器之心编译参与：panda在用

选自arXiv

机器之心编译

参与：panda

在用神经网络学习自然语言处理任务时，选择哪个激活函数更好？去年谷歌大脑提出的

swish 函数

又如何？不同的研究者和工程师可能会给出不同的答案。德国达姆施塔特工业大学的一篇 EMNLP 论文给出了 21 种激活函数在 NLP 任务上的实验比较结果，发现比较冷门的 penalized tanh 函数表现优异。研究者也已在 GitHub 上发布了相关代码和数据。

论文：https://arxiv.org/pdf/1901.02671.pdf

项目：https://github.com/UKPLab/emnlp2018-activation-functions

图1/8

摘要：激活函数在神经网络中发挥着重要的作用，它们的非线性为深度学习的成功做出了重要的贡献。目前最流行的激活函数之一是ReLU，但研究者最近又提出或「发现」了几种竞争者，其中包括 LReLU 函数和 swish。大多数研究都是在少数几种任务上比较新提出的激活函数（通常是图像分类方面的任务），且对比的竞争者也少（通常是 ReLU），而我们首次在 8 种不同的 NLP 任务上进行了 21 种激活函数的大规模比较。