21种NLP任务激活函数大比拼：你一定猜不到谁赢了( 八 )
图5/8
图 1：句子分类。左侧 Y 轴：最佳结果；右侧 Y 轴：平均结果。在 Y 轴上的分数是在所有 mini 实验上的平均。
3.2 CNN & 文档分类
图6/8
图 2：文档分类
3.3 RNN & 序列标注
图7/8
图 3：序列标注
4 分析与讨论
获胜者统计情况
在最佳表现上，句子分类、文档分类和序列标注这三个元任务平均而言都是 rectifier（整流）家族的一个成员获胜，即 relu（获胜 2 次）和 elu。另外，在每种情况中，cube 和 cosid 都位列表现最差的激活函数。Ramachandran et al. (2017) 中新提出的函数大都位居中间位置，但 swish 和 minsin 在「表现最佳」类别中表现最佳。对于「表现平均」类别，maxout 函数尤其突出，另外 penalized tanh 和 sin 也常处于领先位置。
推荐阅读
- 手机游戏|梦幻西游：副本等人时可以刷的任务，随时随地领取，失败也没问题
- 老玩家|大话西游2：大话怀旧任务一览，都做过的才是老玩家！
- 荒野大镖客2|【荒野大镖客2】每日任务更新攻略2021年11月11日
- 炉石传说|炉石天梯平衡补丁曝光，任务法锁喉贼惨遭大削，BUG德无了！
- edg战队|梦幻西游：EDG粉丝硬件展示，全身高属性不磨追求任务极限！
- gta三部曲|梦幻西游：129级五开分析师，研究抓鬼任务最优化投入，不浪费一分钱
- 荒野大镖客2|【荒野大镖客2】每日任务更新攻略2021年11月9日
- 魔兽世界|魔兽世界：TBC部落萌新做任务上头，连坐车升级都不去了
- 梦幻西游|梦幻西游：工作室要哭了，新区牟利套路被曝光，战神任务要被改了
- 孤影|梦幻西游：五开起名字要注意，起这种名字的五开任务给的都是盒子