21种NLP任务激活函数大比拼：你一定猜不到谁赢了( 七 )

2019-01-27

图3/8

表 2：常被提及的激活函数属性

3 实验

我们使用三种神经网络类型和三种 NLP 任务类型进行了实验。

图4/8

表 3：我们实验中使用的评估任务，按任务类型（句子分类、文档分类、序列标注）分组，并给出了统计数据和示例。C 是指所要预测的类别的数量。

表 4：每种网络类型的超参数范围。超参数取自指定范围中的离散或连续均匀分布。重复的值表示多个集合。N (μ, s) 是均值为 μ 且标准差为 s 的正态分布；μ = m 是 Keras 的特定优化器的默认值（如果选取的学习率小于 0，则我们选择它为 m）。

3.1 MLP & 句子分类

推荐阅读

上一篇：红米Note7与荣耀V20的策略之争：双方各有输赢但没有绝对高下

下一篇：你的产品常常搜不到? 理清亚马逊这三个排名再试试