百度输入法AI探索版:人工智能时代工具应用转型启示录( 四 )

百度输入法AI探索版:人工智能时代工具应用转型启示录

技术的跃进

产品进化终究需要长期祭奠技术,并在技术积淀过程中厚积薄发,最终在产品层面体现出来。

这次百度输入法进化的秘密在于“流式多级的截断Attention模型”(注意力模型),还在业界第一次创新性的提出了SMLAT技术。这是国际上首次超越了整句的注意力模型。这也是国际上首次实现在线语音大规模使用注意力模型。

我们先解释“流式多级的截断Attention模型”这个问题。

要知道,过去传统的Attention模型都是基于整句的,整句Attention技术是在语音都上传到服务器后,才能开始声学打分计算和解码,会引入较大的用户等待时间,没法做到在线语音交互的大规模实时服务,达不到上线标准。

百度在使用“流式多级的截断Attention模型”之后,主要技术优势在三点。

1、基于CTC的尖峰信息对语音流进行截断,然后再每一截断的语音小段上进行当前建模单元的注意力建模;

推荐阅读