慕尼黑大学:双语任务中两种领域适应方法:简单易行、广泛适用( 十 )

我们已经证明 , 适应的BWE提高了此任务和领域的性能;并且它们独立于所使用的特定于任务的系统来实现这一点 。

半监督学习

除了实验证明了该方法的任务和语言独立性外 , 我们还研究了如何进一步合并未标记数据以克服数据稀疏性 。

Walker损失:惩罚不正确的walks , 并鼓励将walks的概率分布统一到正确的类别 。 定义如下:

访问损失:鼓励循环访问所有未标记的样本 , 而不仅仅是那些与标记的样本最相似的样本 。 定义如下:

下表给出了改编后的BWEs的结果 。

下表显示 , 通过使用两种语言中的注释数据 , 我们明显比仅使用一种语言获得更好的结果 。 我们的目标级别系统与官方共享的任务结果具有很强的竞争力 。 我们只使用英语训练数据 , 在西班牙语测试集上实现了高精度 。

推荐阅读