训练|视觉Transformer BERT预训练新方式：中科大、MSRA等提出PeCo( 四 )_图像|语义|token|任务|视觉|Pe

文章图片

此外，该研究还与不使用感知相似性的变体进行了比较。如表 4 所示，我们可以发现感知码字在线性评估和重构图像分类方面获得了更高的准确率。这表明感知 codebook 具有更多的语义意义，有利于图像重构过程。

文章图片

下图为使用 BEiT 和 PeCo 在 ImageNet-1k 上重构任务的示例。对于每个样本，第一张是原始图像，第二张是对应的掩码图像，第三张是 BEiT 重构图像，最后一张是从感知 codebook（PeCo）重构的图像。 PeCo 在感知 codebook 的帮助下，能够对掩码区域进行更语义化的预测。

文章图片

训练|视觉Transformer BERT预训练新方式：中科大、MSRA等提出PeCo( 四 )

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)