腾讯优图贾佳亚：人工智能的多模态发展丨CCF-GAIR 2019(15)
目前 ， 我们还只是在一些关键的语句上做得比较好 ， 当我们把这些语料库提供给政府、学校使用的时候 ， 可能还需要一个多月甚至更长的时间去开发 。
语言和图像联合处理方面 ， 给一张图片 ， 问一个问题 ， 机器能够回答的也是寥寥可数 ， 包括我们现在能做到的也是非常简单的 ， 稍微复杂一点的都做不了 。
比如说上图中 ， 问这个花是什么颜色？它会回答我这是黄色 。
同样一张图 ， 问花是放在哪里的？你要得到“花瓶里”的信息 ， 它会告诉你这是一个花瓶 。 这里面涉及到对图像的细粒度理解 ， 也涉及到自然语言的融合和解答过程 。
这是我们当时设计的一个模型来做这件事情 。
我们回头来看 ， 多模态还有什么问题 ， 第一是数据集存在巨大的Bias ， 比如看到这张图象 ， 绝大部分人问的问题都是 ， 这是不是长颈鹿 ， 绝大部分的答案都是“是的” 。
推荐阅读
- 腾讯|腾讯49亿日元投资目标明确：3款新游明后年全球发行，强化主力IP
- 腾讯|LPL年度最佳选手，同队最多三人，选谁？
- 腾讯|LPL官方发新歌，JKL被吐槽累死调音师，网友：Lvmao努力在C了！
- 挂机|腾讯网易都不敢做的事，它却做到了！挂机烤火掉神装，能卖上千元
- 腾讯|腾讯Q3财报公布，青少年游戏时长仅占比0.7%，目标却远不止此
- 王者荣耀|《英雄联盟》大热 腾讯成大赢家
- 金铲铲之战|为了防腾讯米哈游抢人，游戏厂商也开始内卷，育碧竟被偷家？
- 腾讯|本来能更火的LOL动画，居然被腾讯耽误了？
- 腾讯|10月网吧热力排行榜公布，LOL第一原神第8，前20腾讯占据10款
- 阴阳师|为何崩坏3在Steam上差评如潮，在腾讯WeGame却有超8成好评？