面对内容理解的准确性和效率问题,facebook是这样利用自我监督技术的( 六 )

面对内容理解的准确性和效率问题,facebook是这样利用自我监督技术的

我们的显著性抽样方法不是通过时空卷积神经网络传递给定视频中的每一帧,而是分离出包含显著动作的剪辑,以便进一步处理。

为了了解视频中发生了什么,我们将其分成短片段(每个片段由少量连续帧组成),并通过我们最新的时空模型发送一组连续帧。然后我们可以聚合这些信息,并得到整个视频的预测。

然而,在许多视频中,只有少数片段里面的信息对特定任务有意义,例如检测欺凌内容时,其余片段要么是多余的,要么是不相关的。因此,为了进一步提高我们在视频中发现可能违反政策事件的速度和效率,我们构建了一个显著性采样器。这个系统经过训练,专注于包含特定行为的视频部分,然后进一步更详细地处理这些框架集。这种更为集中的分析和训练使得视频的理解更快、更准确。

使用 hashtags 记录设置精度以理解视频

我们还开发了一种不同的方法来识别行为(包括表示内容违规的行为),它是一种目前最前沿的技术。

推荐阅读