语言识别|AI技术,让我们“听”懂聋人( 二 )


“鲸可语”手语实时翻译类似于手语版的“语音输入法” 。 只不过后者是输入语音、机器识别、转成文字 , 而前者是输入手语动作和表情、机器识别 。
要把人工智能训练成一个合格的手语翻译 , 得把手势、表情、大肢体动作 , 通通从视频转化为数据 , 再“教”给计算机 。 所以 , 能充分理解、展示手语之美的听障生 , 是最适合给人工智能当“老师”的人 。
很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译 , 一个直接的原因 , 就是无法找到足够多的人在自然状态下采集手语 。 “而我们的团队背靠聋人工学院 , 很多成员本身就是手语使用者 , 在自然手语的采集上有优势 。 ”袁甜甜说 。
让健听人“读懂”听障人更重要
冬奥会中 , 袁甜甜团队服务的AI手语数字人 , 能够帮助聋人更好地理解健听人的表达 , “鲸可语”手语识别和翻译则是借助科技的力量帮助健听人更好地理解聋人的表达 。 这两者之间有怎样的区别?
做AI手语数字人 , 是让聋人用熟悉的方式去理解健听人的表达方式 , 核心研发点是手语生成 , 而“鲸可语”手语识别和翻译的核心研发点是手语识别 , “鲸可语”这项技术更难 。 “鲸可语”需要计算机视觉和自然语言识别处理两种技术:聋人的手语包括表情、手部动作 , 肢体动作 , 都需要计算机做融合识别 , 这是计算机识别技术;把计算机识别出来的信息用计算机程序再变成健听人所熟悉的语言模式 , 这是自然语言识别处理技术 。 AI手语数字人 , 某种程度上只涉及自然语言识别处理技术过程 。 从技术转化上看 , AI手语数字人的产业落地时间会更短 , 数据上的投入相对较少 , 更容易将成果市场化 。
“为什么一定要搞手语翻译呢?聋人听不到 , 现在有语音识别啊!有的聋人不会说话 , 拿手机打字不就行了吗?”曾经有一些企业向袁甜甜了解过正在开发中的手语实时翻译系统 , 想谈投资 。 但谈来谈去 , 他们却对项目的必要性产生了疑问 , 觉得手语翻译除了“做善事”没有其他意义 。 为什么还要倾心于“鲸可语”的研发和转化呢?
“在与学生交流的过程中 , 我知道对残障人士最好的关心就是平等 。 他们不是残障 , 只是与我们不一样 。 ”袁甜甜说 。
沟通永远是双向的 。 我们教听障人写字、认字 , 读唇语 , 他们在努力融入健听人的世界;我们健听人也要为听懂接纳听障人作出一点努力 。
袁甜甜说 , 直到今天 , 手语仍然是许多听障人士最自然、高效的表达方式 , “比写字、打字都快” 。 但为了促进无障碍交流 , 要求健听人都去学手语 , 显然不现实 。 “鲸可语”手语实时翻译系统就是利用高科技让健听人努力向听障人靠拢 。

推荐阅读