手势|教AI认手语的年轻人( 五 )

一开始，他们做这一切，只是想给这门语言“正名” ，想告诉大家：手语有它的特性，但绝不“特殊” ，手语和它的使用者一样，都是普通的、正常的。他们并没有预料到，那些为了教人学手语做的“额外功课” ，会和他们各自的专业知识相结合，成为教“AI”学手语的利器。
“我们的听障生知道手语的语法结构，还有它的一些基本要素，比如说脸上的表情到什么程度算是表达到位了，什么时候该用上肢体语言了，他们都明白。所以他们做数据收集、处理方面的工作，有天然优势。 ”袁甜甜很看重聋人在项目团队中发挥的作用， “咱要是叫没用过手语的健听人来收集数据、建语料库的话，那可真是费劲了！”
因为缺少聋人的参与，在手语识别和翻译技术领域，各国学界都走过弯路：比如尝试通过数据手套建立手语语料库。作为一种常见的传感器，数据手套在手势识别技术上的应用已经相对成熟——尽管成本高昂，但用手套来收集“手势” ，看起来理所当然，准确率也该有保证。只可惜手语不是简单的手势：抛开表情和大动作不谈，即便是同样的手势，指向稍有不同，也可能意思迥异，这样微妙的差异，手套是识别不出来的。
意识到这一点，近年来各国推进的手语识别、翻译项目，大多采用计算机视觉的方法，利用摄像头收集数据、建立语料库，袁甜甜和她的团队也是如此。现阶段更常见的问题，一是收集的样本太少，数据集不够大。二是数据集建起来了，但没能对语料进行高质量筛选和标注。说白了，就是语料“不好使” 。
袁甜甜说，人工智能深度学习的过程，有点像教小孩学说话，一个单词先得全家上阵，翻来覆去地重复，次数够了，孩子才能建立印象， “哦，这个单词叫妈妈，不管是从爸爸嘴里说出来，姥姥嘴里说出来，还是舅舅、阿姨说出来，都叫妈妈。 ”同样的，要让机器识别一个手语句子，也要有足够多的人面对摄像头，以不同的风格重复打同一套动作，计算机才能“记住” 。
很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译，一个直接的原因，就是无法找到足够多的人在自然状态下采集手语。 “而我们的团队背靠聋人工学院，很多成员本身就是手语使用者，在自然手语的采集上有优势。 ”袁甜甜说。
“但是跟您实话实说，我们也建过‘不好使’的数据集。 ”袁甜甜直接给团队2018年建立的手势汉语数据集下了定义， “花了钱、费了功夫，最后挺失败的”——失败之处在于，那一次他们收集的语料是手势汉语而不是自然手语。手势汉语是按照健听人习惯的汉语语序，而不是手语语序连词成句的。

手势|教AI认手语的年轻人( 五 )

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)