我们与FastText以及现有的密度字嵌入W2G（高斯）和W2GM（高斯混合）进行了比较。我们的模型基于多个词相似性基准（包括稀有词数据集）提取高质量的语义。我们比FastText平均加权改进3.7% ，比基于字典级别密度的模型平均加权改进3.1% 。我们还观察到有意义的最近邻，特别是在多模密度情况下，其中每个模式捕获一个不同的含义。我们的模型也可以直接移植到外语中，而不需要任何超参数修改，在这些修改中我们观察到了强大的性能，在许多外来词相似性数据集上优于FastText 。我们的多模态词表达也可以解义，并且能够分离异域多义词中的不同意义。特别是，我们的模型在SCW上获得了最先进的性能，这是衡量区分不同词义能力的基准，比最近的密度嵌入模型W2GM提高了1.0% 。

本文是第一个为稀有词开发具有高语义质量的多词义嵌入的工作。代码和嵌入表示公开见https://github.com/benathi/multisense-prob-fasttext 。