图灵奖得主Bengio提出并开源图马尔科夫神经网络( 三 )

(2)由于对象之间的关系结构比较复杂,对未标记对象的标签的后验分布进行推断仍然具有一定的挑战性。

基于图的神经网络也有一些不足,一个关键的限制即为对象的标签是根据其表示形式独立预测的,如此一来,对象标签之间的联合依赖项会被忽略。

在变分EM框架中,E-step用于推理,M-step用于学习。在学习过程中,GMNN的训练过程不是最大化似然函数,而是优化伪似然函数,并利用图神经网络对对象标签的局部条件分布进行建模。这种图神经网络能够比较好地学习对象标签的依赖性,并且不需要人工设计势函数。

在推理过程中,由于精确推理比较难解,可以利用均值场近似值来解决。

受摊销推理的启发,作者们利用另一个图神经网络对对象标签的后验分布进行建模, 进而可以学习有用的对象表示用于预测对象的标签。在推理过程中,利用图神经网络,可以显著减少参数的数量,并且在推理中的不同对象之间可以共享统计证据。

半监督对象分类的问题描述如下

推荐阅读