考虑可转移跨模态表示学习的对齐高效图像句子检索

图像句子检索任务旨在搜索图像中给定的句子并从图像查询中检索句子。目前的检索方法都是有监督的方法，需要大量的标注进行训练。然而，考虑到劳动力成本，在许多应用(例如医学检索)中很难重新对齐大量多模态数据，这导致了无监督的多模态数据。
【考虑可转移跨模态表示学习的对齐高效图像句子检索】

文章插图
为了解决这个问题，杨阳领导的研究团队于2024年2月15日在高等教育出版社和施普林格·自然联合出版的《计算机科学前沿》上发表了他们的新研究。该团队力争通过设计对齐传输向非并行图像句子检索迈出一步，并提出了一种新颖的对齐高效图像句子检索方法(AEIR) 。在研究中， AEIR使用具有多模态一致性的其他辅助并行数据作为源域，以及缺失一致性的非并行数据作为目标域。与单模态迁移学习不同，AEIR 将语义表示和模态一致性关系一起从源域迁移到目标域。首先，AEIR 使用源域中的跨模态并行数据学习跨模态一致性表示。然后AEIR联合优化基于对抗性学习的语义转移约束和基于度量学习的结构转移约束来学习跨域跨模态一致性表示，实现一致性知识从源域到目标域的迁移。在不同迁移场景下进行的大量实验表明，语义迁移和结构迁移可以有效地学习跨领域的跨模态的不变特征。所提出的高效的基于对齐的图像句子检索网络验证了AEIR比当前的跨模态检索方法、半监督跨模态检索方法和跨模态转移方法更具优势。考虑到域差异，未来的工作可以集中于进行积极的跨模式转移。

考虑可转移跨模态表示学习的对齐高效图像句子检索

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)