脑电波成功被解码( 三 )_在2019年初

在 Nature 的这项最新研究中，研究人员设计了一种神经解码器，准确地利用人类皮层活动中编码的运动学和声音表征来合成语音。这种合成语音，要达到可理解，并且是以流利说话者的速度输出。

图 | 用于语音合成的脑机接口（来源：Nature）

以前的语音合成研究采用了上图 a 的方法，而 Edward Chang 以及同事开发了一种不同的方法（上图 b），将解码分为两个步骤。

第一步，将神经信号转换成声道咬合部位的运动（红色），这其中涉及语音产生的解剖结构（嘴唇、舌头、喉和下颌）。而为了实现神经信号到声道咬合部位运动的转化，就需要大量声道运动与其神经活动相关联的数据。但研究人员又难以直接测量每个人的声道运动，因此他们建立了一个循环神经网络，根据以前收集的大量声道运动和语音记录数据库来建立关联。

第二步，将声道咬合部位的运动转换成合成语音