原型|清华大学团队研发出新颖唇语解读系统
近日 , 清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作 , 研发出了一种新颖的唇语解读系统 。 相关研究成果在线发表在《自然·通讯》期刊上 。该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型 。 传感器将唇部肌肉运动产生的电信号传输到解码系统 , 翻译成可沟通的语言 。 该研究测试分析了传感器的机械与电气性能 , 采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征 。 通过比较同步采集的唇动和声音信号 , 证明了无论是否发声 , 嘴唇运动信号都具有一致性 。 进一步分析了语速与唇动模式等不同参数对信号特征的影响规律 。 提出了一种基于原型学习的空洞循环神经网络模型 , 用于唇动信号的识别 , 在20个分类(100样本/类)情况下 , 测试准确率达到94.5% 。
【原型|清华大学团队研发出新颖唇语解读系统】
文章图片
推荐阅读
- 团队|针对特定致癌基因及耐药突变肿瘤的新型激酶抑制剂发现
- Delta|1小时可鉴定!广东团队新成果:助力新冠疑似患者快速分流
- 技术|腾讯首曝一支神秘的技术团队,带队专家自研引擎经验超23年
- 团队|20毫秒!量子比特存储时长创纪录
- 脉冲星|贵州科研团队在脉冲星多波段辐射研究上取得新进展
- 团队|厦大科研团队首次揭示细胞原位坏死小体组织结构特征
- 团队|《哈利波特》的隐形斗篷造出来了?仅需2500元人民币
- 大学|继AM封面之后,德克萨斯州A&M大学团队提出新型表面触觉技术
- 肖像|英伟达发布最新 Hopper 架构 GPU,H100 拥有 800 亿个晶体管;小米汽车首款车 2024 年量产,团队超 1000 人;梦露肖像拍卖估值 2 亿美元|极客早知道
- 任天|清华团队首次实现亚1纳米栅长晶体管