ACL 2018|康奈尔大学:多词义嵌入的概率FastText模型(15)

外语嵌入评价 。 下表显示了我们模型的斯皮尔曼相关性结果 。 在许多单词相似性基准上 , 我们优于FASTTEXT 。 我们的结果也明显优于基于字典的模型W2G和W2GM , 我们假设W2G和W2GM可以比当前报告的结果更好 , 前提是由于对特殊字符(如重音)单词进行适当的预处理 。

下表显示了额外的结果 , 表明可以在多种语言中观察到分离语义 。

定性评估-子字分解 。 下图显示了n-grams对最终表示的贡献 。 我们过滤掉 , 只显示上面5个和下面5个n-grams相似度得分 。 我们观察到两个单词的最终表示与n-grams“abno”、“bnor”、“abnormal”、“anbnor”、“<abn”对齐 。 事实上 , “abnormal”和“abnormality”都有相同的前5个n-grams 。 由于“autobiographer” “circumnavigations”或“hypersensitivity” 等许多罕见的词汇是由许多常见的子词组成的 , 因此n-gram结构有助于提高表示质量 。

推荐阅读