清华听障博士用AI赋能信息无障碍( 三 )

他在信息无障碍领域做了大量开创性的工作,也发现了手语背后计算领域的一片空白地带,为此他2012年考入清华大学在职攻读博士学位,希望用手语认知和计算技术,让有声世界的口语族与无声世界的手语族能够自由沟通。

在清华读博期间,在数以万计的代码编写和实验论证之后,2016年姚登峰团队在国际上首次提出手语计算的认知架构,一举解决了手语计算困扰多年的底层像素特征与逻辑语义输出的断层,汇合手势分词实验的数据宝库,手语计算的理论、技术与认知支撑首次形成了完整闭环。

担任中国人工智能学会理事长、北京联合大学机器人学院院长的李德毅院士,有一次点拨姚登峰:在自然语言交流效果中,有声语言占7%,语音音调占38%,面部表情、肢体语言及手势等行为语言占55%。过去30年来AI只关注占比45%的讲话内容的理解,但对于占比55%的表情、手势、肢体等行为语言并未关注。

姚登峰博士毕业后在手语计算的基础上,开始尝试破解行为语言的深层奥秘,由于两者本身在面部、手势、肢体的聚合感知上架构相通,再加上团队伙伴不懈地探索和研究,仅仅两年便在这一领域取得了突破性进展,2017年姚登峰被推荐为北京市卓越青年科学家。

推荐阅读