4 总结

本文提出了一种适用于稀有词汇和未登录词的具有灵活子词结构的概率词表示模型。所提出的概率公式包含了不确定性信息，自然地允许人们用多模密度表示来揭示多重含义。我们的模型能够提供更好的语义质量，在单词相似性基准上优于竞争模型。此外，我们的多模态密度模型可以提供可解释和分离的表示，并且是第一个能够处理稀有单词的多原型嵌入。未来的工作包括研究学习每个词分布的完全协方差矩阵、计算复杂性和性能之间的权衡。这一方向可能会对方差信息至关重要的任务产生重大影响，例如对概率分布的层次建模。其他未来的工作包括在多种语言上共同训练PFT 。目前，关于多语言嵌入的现有工作将单词语义与预先训练的向量对齐，这可能是由于多义现象而导致的次优结果。我们设想，多原型性质可以帮助消除多义词的歧义，提升语义对齐的质量。