Nature:华裔科学家成功解码脑电波,AI直接从大脑中合成语音( 六 )

不能说话的个体也能实现语音合成

在脑机接口(BCI)研究中,包括新兴的语音脑机接口领域,开发和采用允许跨研究进行有意义的比较的稳健度量是一项挑战。例如,重构原始语音的错误等度量可能与脑机接口的功能性能(即听者是否能听懂合成的语音)几乎没有对应关系。

为了解决这个问题,Anumanchipalli等人从语音工程领域出发,开发了易于复制的人类听众语音可懂度测量方法。他们在众包市场Amazon Mechanical Turk上招募用户,让志愿者识别合成语音中的单词或句子。与重构错误或以前使用的自动可懂度测量方法不同,这种方法直接测量语音对人类听众的可懂度,而不需要与原始话语进行比较。

Anumanchipalli和他的同事的研究结果为语音合成脑机接口的概念提供了令人信服证据,无论是在音频重建的准确性方面,还是在听者对产生的单词和句子进行分类的能力方面。

然而,在通往临床可行的语音脑机接口的道路上仍有许多挑战。

重构语音的可理解性仍远低于自然语音,脑机接口能否通过收集更大的数据集并继续开发底层的计算方法来进一步改进还有待观察。使用记录局部脑活动的神经接口可能比使用皮层脑电图记录的更为有效。例如,在脑机接口研究的其他领域,皮质内微电极阵列通常比皮质脑电图具有更高的性能。

推荐阅读