ACL2019新论文，痛批“不计算力追逐丁点提升”的研究方法( 三 )_“这绝对不是好的趋势

然后，他们通过硬件厂商提供的工具 (Nvidia-smi、Intel RAPL 等) 提取 CPU、内存和 GPU 的能耗数值，计算训练的耗电总和，再乘以美国环保署提供的二氧化碳排放量均值（每度电0.954磅，约合433克），就得到了主流 NLP 模型训练的计算成本和环境影响数据：

表格显示了 NLP 领域内最顶尖模型的训练用时、能耗效率和碳排放。一个最直观的结果就是：某些新的模型/训练方式取得了最优结果，但是进展微小，副作用却是不成比例的计算量/碳排放增加。

比如 Google AI 今年发布的一篇新论文 The Evolved Transformer 提出的神经网络架构搜索技术，用于英语德语翻译的 BLEU 分数提高了 0.1，却花费了3.2万 TPU 小时，云计算费高达15万美元。

如果把 TPU 换成八块 P100 GPU，用同样的方式训练同一个 Transformer 达到同样的成绩，将会产生惊人的62.6万磅（约合284公吨）二氧化碳。

相比较来看，一辆美国的中型汽车，或者中国的 B 级车，从生产到报废的整个寿命周期（12万英里）二氧化碳排放才只有12.6万磅（约合57吨）；一个人一生的二氧化碳排放大约是1.1万磅（约合5吨）；往返纽约旧金山的民航飞机碳排放均摊到人头约为1984磅（约为900千克），平均每班次200人。

ACL2019新论文，痛批“不计算力追逐丁点提升”的研究方法( 三 )