易坊好文馆

  1. 首页 > 玩科技 >

利器|听障人士看冬奥有“利器”，手语播报数字人今日上岗

为听障人士打造的“冬奥手语播报数字人”从2月5日开始在北京卫视正式上岗 。 这个数字人采用我国首个超大规模智能信息模型和虚拟数字人技术 ， 由市科委、中关村管委会科技冬奥专班委托立项 ， 由智谱AI、凌云光和北京广播电视台联合打造 。 上岗后 ， 它将为听障人士提供手语信息播报服务 ， 使得听障人士收看赛事专题报道时的体验更为丰富便捷 ， 提升他们在这场体育盛会中的参与度和幸福感 。
电视屏幕上 ， 新闻主播正在进行冬奥新闻的播报 ， 在屏幕一角 ， 一名虚拟女性形象的手语播报数字人用手语流畅地将相应内容实时播报给镜头前的听障观众 。 在北京冬奥会期间 ， 冬奥手语播报数字人将在北京卫视的新闻节目《北京您早》中正式投用 ， 进行冬奥赛事新闻播报 。
打造手语数字人 ， 首先要让计算机能够模仿听障人士的大脑 。
与新闻口语播报相比 ， 手语播报会在口语播报内容的基础上 ， 进行语序的调整与语言的精简 。 以赛事新闻播报中“在混合双人冰壶比赛中 ， 中国队获得开门红”这句话为例 ， “开门红”这样的词在以手语为语言的群体中并不容易理解 ， 手语会将“开门红”直接翻译为“赢了” 。 语序方面 ， 比如要说“我不能吃” ， 手语会按照“我”、“吃”、“不能”的顺序依次用三个手势进行表达 。
此外 ， 相比于普通人的口语词汇 ， 手语词汇的丰富程度有限 。 比如体育比赛中的“混双” ， 手语中并无直接对应的词语 ， 需要翻译为“混合”和“双” 。 由于当前国内缺少较完善的手语语料数据 ， 研发人员在北京市残疾人联合会和市残联聋人协会的支持下 ， 邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导 ， 并进行大范围听障群体评测 ， 最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库 ， 词汇及语句总规模超10万 。
手语和口语的不同播报速度 ， 也对手语数字人对语义的精简能力提出了挑战 。 “电视台新闻主播的语速大概为每分钟300字左右 ， 而手语如果转换为汉字 ， 每分钟大概只相当于新闻主播语速的一半以内 。 ”冬奥手语播报数字人项目技术负责人杜冀中说 。
为构建能够理解、翻译语音和手语的智能数字大脑 ， “冬奥手语播报数字人”系统以超大规模预训练模型为核心技术 ， 通过语义蒸馏及手语翻译快编模型 ， 将新闻播报语音实时“蒸馏”成语义高度接近的手语文字 ， 并翻译成符合手语习惯的语序 。
相关负责人介绍 ， 手语播报数字人的应用场景广泛 ， 一方面可以为新闻媒体提供全流程智能化的数字人手语生成服务 ， 方便听障人士快速了解新闻简讯；另一方面可将声音广播内容转化为手语 ， 为听障人士播报冬奥会赛事赛情、赛场成绩 ， 便于获取即时信息 。
来源 北京日报客户端 |采访人员 孙奇茹
编辑 匡峰
【利器|听障人士看冬奥有“利器”，手语播报数字人今日上岗】流程编辑 刘伟利

    推荐阅读


    上一篇：传统|独家专访丨蔡国强揭秘开幕式绚烂烟花：北国风光

    下一篇：Guru|明基推出新款 EX3410R 带鱼屏显示器，1000R 大曲率