重塑技术与商业模态，「智慧城市·视觉智能」专场回顾｜CCF-GAIR 2019( 四 )_编者按：7月12日-7月14日

而人工智能学科发展与人类智能差距之一就是“多模态信息的智能化理解” 。

人造信息量带来了更大多样性，视觉、声音、符号语言、嗅觉和触觉等信息，具有无限多样性。

而多模态人工智能还存在不少基础难点：第一是数据模态多种多样，包括2D图像、3D模型、结构化信息、文本、声音及更多无法量化的数据；第二是多模态数据的不对应，如从图像到文字，从文字到图像，都是“一对多”的过程，会有多种的描述和呈现；第三是多模态数据的融合，一个软件或算法的进步较为容易，但多个算法一起，难度将几何级上升，如“告诉机器人拿桌子左边的瓶子” ，会经过语言模型、三维建模、自动寻路、图像分析这些步骤；第四是多模态监督， “如何告诉机器人拿错了”“哪一步骤拿错了”也是目前的难点。

而要解决这些多模态信息的难题，贾佳亚提出要更好研究嗅觉、味觉、触觉、心理学等难以量化的信号问题，通过多模态数据使得计算成为可能，进行协同学习、用一个资源丰富的模态信息辅助另一个资源贫瘠的模态。