亚马逊Alexa新突破：将缩写符号秒转文字，错误率降低81％( 四 )_图1

在论文中，研究人员介绍文本规范化是会话系统中的一个重要步骤。它能将书面语言规范化为文本语言，以促进语音识别、自然语言理解以及从文本到语音的合成。

有限状态传感器（FSTs）通常用于构建处理文本规范化的语法。然而，将语言知识翻译为成机器所能理解的语法需要付出大量的努力。

以往的研究侧重于借助有限的词级语境对一个词或短语进行规范化，而孙明和刘玉宗在论文中提出的方法是直接对完整的句子进行规范化。

Ming Sun和他的同事们所提出的AI文本规范化系统，是将网络的输入和输出流中的单词分解成更小的字符串，这种字串符被称为子字单元（subword units）。这些子字单元能减少机器学习模型必须学习的输入数据量，并能很好的消除歧义。

他们研究的算法能用来识别最常出现的双字符单元和三字符单元，直到达到大约2,000个子字符的容量。这些单训练输出子字单元的AI系统，最终能拼接成完整的单词。

研究人员表示，在对来自公共数据集的500,000个示例进行系统训练之后，与先前所报告的性能最佳的机器学习系统相比，他们研究的系统能将文本规范化的错误率降低75%，不考虑词性、字母大小写等额外的信息，错误率可以降低81%，单词错误率仅为0.2％，并且它还能将系统的延迟时间减少63%。此外，子字单元能使AI模型能够更好地处理以前没有见过的输入单词。