语言识别|AI技术,让我们“听”懂聋人

AI技术 , 让我们“听”懂聋人
这个寒假 , 有一批失聪的大学生成了冬奥会的远程志愿者 , 他们来自天津理工大学聋人工学院 。 这些志愿者把电视新闻栏目的内容转换成手语顺序的文本 , 为冬奥会转播中需要的AI(人工智能)手语数字人提供大规模的语料支持 。
袁甜甜 , 天津理工大学聋人工学院副院长 , 是这些听障大学生的老师 , 也是无障碍智能科技研发中心的成员 。 她介绍:“无障碍智能科技研发中心将为冬奥会的实况转播提供AI手语数字人的手语语料支持 , 我和学生们已经为此忙了两个多月 。 能够为冬奥会服务 , 我们充满了荣誉感 。 ”
教AI认知手语
2021年 , 创办中国聋人高等工科特殊教育30年纪念大会上 , 一个“手语角”吸引了不少人驻足 。 只要在摄像头前打出手语 , 身后的显示屏上就会出现语意连贯的文字翻译 。 袁甜甜展示着这个被称为“复杂场景下中国手语实时翻译系统”的《“鲸可语”——多模态连续手语自动标注识别系统》项目(下称“鲸可语”) 。 据介绍 , 在光线充足且稳定的室内 , 系统对手语的识别率最高能达到95% , 部分场景下可以实现“同步翻译” 。 研发这套系统的目的 , 是让每个健听人都能轻松地看懂手语 。 其自动标注识别系统“鲸可语”还获得了去年第七届中国国际“互联网+”大学生创新创业大赛主赛道的金奖 。
王建源是研发团队的成员之一 。 他是聋人家庭长大的聋儿 , 听力损失严重 , 吐字发声非常困难 , 手语是他和这个世界打交道最初也最有效的方式 。 22年来 , 聋人的身份没有让他感到自卑;口不能言 , 也没耽误他成为一个妥妥的“学霸”;但如果你问他 , 因为听力障碍 , 从小到大遇到过哪些方面的不便 , 他会平静地在手机上打出四个字:方方面面——因为认识手语的人太少了 。
一个最典型的例子是看病 , 如果没有手语翻译陪着 , 即便只是头疼脑热 , 像王建源这样的“手语族”也很难独自就医——绝大多数医生不会手语 。
从1991年9月11日首批6名聋生入学到今天 , 天津理工大学聋人学院的老师们积累了很多与聋人沟通的经验 。
袁甜甜学的是计算机专业 , 2006年研究生一毕业 , 她就在聋人工学院计算机科学与技术系工作 。 上班第一天 , 她面对的挑战就是学手语 。 通过看文字、读唇语 , 学生们能够了解老师 , 可是老师不能很快地了解学生 。 磕磕绊绊地学会了手语 , 袁甜甜记不清有多少次 , 凌晨一两点钟陪学生去看病 , 帮忙做手语翻译 。
我国有2780万聋人 , 如何依靠科技的力量让健康人走进他们的世界?袁甜甜、王建源等人开始了“鲸可语”手语实时翻译系统的研发 。

推荐阅读