TinyBERT：模型小7倍，速度快8倍，华中科大、华为出品( 二 )_机器之心报道参与：张倩、杜伟BERT等大

此外，研究者还提出了一种专门用于 TinyBERT 的两段式学习框架，从而分别在预训练和针对特定任务的学习阶段执行 transformer 蒸馏。这一框架确保 TinyBERT 可以获取 teacherBERT 的通用知识和针对特定任务的知识。

除了提出新的 transformer 蒸馏法之外，研究者还提出了一种专门用于 TinyBERT 的两段式学习框架，从而分别在预训练和针对特定任务的具体学习阶段执行 transformer 蒸馏。这一框架确保 TinyBERT 可以获取 teacherBERT 的通用和针对特定任务的知识。

实证研究结果表明，TinyBERT 是有效的，在 GLUE 基准上实现了与 BERT 相当（下降 3 个百分点）的效果，并且模型大小仅为 BERT 的 13.3%（BERT 是 TinyBERT 的 7.5 倍），推理速度是 BERT 的 9.4 倍。此外，TinyBERT 还显著优于当前的 SOTA 基准方法（BERT-PKD），但参数仅为为后者的 28％，推理时间仅为后者的 31％左右。

Transformer 蒸馏

研究者提出的 Transformer 蒸馏是专门为 Transformer 网络设计的知识蒸馏方法，下图 1 为本文提出的 Transformer 蒸馏方法概览图：