超小型BERT中文版横空出世！模型只有16M，训练速度提升10倍( 三 )_图1

XLNet：6.1 万美元

启动一次BERT，得有8台顶配iPhone 11 Pro Max没了，小团队心在滴血！甚至在某些情况下，由于 GPU/TPU 内存限制、训练时间延长以及意外的模型退化等原因，更难提升模型大小。

很多场景其实更需要的是小型的模型，体积小，实时性好，成本也低。今天我们介绍一个由算法专家徐亮开发的超小型的BERT：ALBERT_TINY。它的参数大小1.8M，模型大小16M，仅为BERT的1/25，训练和推理预测速度提升近10倍。

算法专家徐亮已经加入新智元 AI 朋友圈，并发帖公布了这个超小型bert预训练模型中文版开源的好消息！感兴趣的朋友欢迎一起来讨论：

ALBERT_TINY：速度提升10倍，精度基本保留

ALBERT_TINY最大的优势就是成本低、耗能低，大幅的节约了显存。其训练和推理预测速度提升10倍，精度基本保留，模型大小为BERT的1/25；在语义相似度数据集LCQMC的测试集上达到85.4%，相比BERT_base仅下降1.5个点！在同行的2个分类任务的场景上测试，准确率与BERT_base差距在2个点左右。