国际|特奖得主任队长,清华夺冠NeurIPS 2021国际深度元学习挑战赛( 二 )


此次在 NeurIPS 2021 MetaDL 挑战赛中 , 团队延续了元学习领域的一贯优势 , 并再次夺得第一名 。
针对数据和算法层面的挑战 , Meta_Learners 团队采用多级分辨率输入设计、低质量数据增强、混合领域半监督弱监督混合训练的方法来处理不同大小和质量的数据 , 解决数据层面的挑战 。
与此同时 , 他们采用半冻结模型参数更新与自动集成的方式来提取不同领域的元知识 , 解决算法层面的挑战 。
该团队提出的 MetaDelta++ 系统将向学术社区开源 , 为元学习算法进一步的研究和推广提供支持 。
国际|特奖得主任队长,清华夺冠NeurIPS 2021国际深度元学习挑战赛
文章图片

特征层次丰富化
为应对不同质量的数据输入 , Meta_Learners 团队采用变尺度模型输入与数据增广的方式来处理领域和内容不统一的问题 , 采用数据增广来提升内容质量 , 从而提升模型特征的分辨能力 , 并利用变尺度预训练模型进行图像粗粒度与细粒度特征提取 , 丰富特征内容 。
知识迁移高效化
为进一步增强 MetaDelta++ 对不同质量、不同领域图像信息的捕捉能力 , 团队采用多领域数据进行模型预训练 , 将在不同领域得到的知识迁移到目标领域内 , 并通过微调高层语义层参数的方式实现对目标领域的自适应 , 通过知识与模型参数的对应性实现混合域与目标域知识的高效应用 。
领域感知自动化
为进一步提升算法的领域感知能力 , MetaDelta++ 采用自动集成的方式来最终的模型集成 , 将投票、GBM、GLM、Bayes 等集成方法自动化 , 从而实现领域感知的自适应集成算法 。
团队简介
Meta_Learners 团队成员包括计算机系硕士生关超宇与博士生陈虹 , 由关超宇担任队长 , 朱文武教授与王鑫助理教授担任指导教师 。
国际|特奖得主任队长,清华夺冠NeurIPS 2021国际深度元学习挑战赛
文章图片

2021 清华大学特奖获得者(研究生)、Meta_Learners 团队队长关超宇(左);博士生陈虹(右)
国际|特奖得主任队长,清华夺冠NeurIPS 2021国际深度元学习挑战赛
文章图片

清华大学计算机系朱文武教授(左)、王鑫助理教授(右) 。 图源:leiphone
该团队自 2015 年起开始布局机器学习自动化方向的研究 , 已具备丰富的领域知识和深厚的技术积累 , 曾摘得 NeurIPS 2018 Lifelong-AutoML 比赛高校冠军与 MetaDL 第一届比赛冠军 。 在本届比赛上 , 该团队再次以绝对领先的优势卫冕 MetaDL 第二届比赛冠军 。
随着各界对元学习研究的进一步深入 , 该技术已经在多个领域展现了其重要价值 , 但当前元学习的关键技术发展与日益复杂的真实场景需求仍然存在较大的差距 , 具有广阔的研究前景 。 Meta_Learners 团队将着力解决元学习领域的核心问题 , 推动元学习在更多领域创造社会价值 。

推荐阅读