超小型BERT中文版横空出世！模型只有16M，训练速度提升10倍( 二 )_图1

【海淀融媒】

上午场：m.365yg.com/i6748195040323062540/

下午场：m.365yg.com/i6748216659368184584/

【新浪科技】

http://video.sina.com.cn/l/p/1728577.html

新智元报道

编辑：鹏飞、张佳

【新智元导读】大模型固然能保证效果，但耗能成本非常高。尤其在一些简单却对实时性有较高要求的场景，大模型就显得过于沉重了。今天我们介绍一款超小型、基于BERT的中文预训练模型ALBERT_TINY。参数大小1.8M，模型大小16M，仅为BERT的1/25，训练和推理预测速度提升近10倍。该模型开发者徐亮在新智元 AI 朋友圈公布了这一好消息，欢迎一起来讨论～

Size matters。模型越大，效果必然越好。但体积大带来的问题也很突出：能耗大，启动一次的成本非常高：

BERT：1.2 万美元

GPT-2：4.3 万美元