TinyBERT：模型小7倍，速度快8倍，华中科大、华为出品_机器之心报道参与：张倩、杜伟BERT等大

机器之心报道

参与：张倩、杜伟

BERT 等大模型性能强大，但很难部署到算力、内存有限的设备中。为此，来自华中科技大学、华为诺亚方舟实验室的研究者提出了 TinyBERT，这是一种为基于 transformer 的模型专门设计的知识蒸馏方法，模型大小还不到 BERT 的 1/7，但速度是 BERT 的 9 倍还要多，而且性能没有出现明显下降。目前，该论文已经提交机器学习顶会 ICLR 2020。

论文：https://arxiv.org/abs/1909.10351

在自然语言处理（NLP）领域，BERT 等预训练语言模型极大地提升了诸多 NLP 任务的性能。但是，这类预训练语言模型通常计算开销大，内存占用也大，因此很难在一些资源紧张的设备上有效执行。

为了在加快推理速度和降低模型大小的同时保持准确率，来自华中科技大学和华为诺亚方舟实验室的研究者提出了一种新颖的 transformer 蒸馏法，这是为基于 transformer 的模型专门设计的知识蒸馏（knowledge distillation，KD）方法。通过这种新的 KD 方法，大型 teacherBERT 模型中编码的大量知识可以很好地迁移到小型 student TinyBERT 模型中。