ACL2019新论文,痛批“不计算力追逐丁点提升”的研究方法( 六 )

(硅星人承认,这个问题的灵感来自于此前《战斗天使阿丽塔》特效渲染导致惠灵顿气温上升的新闻。如果一部电影都能带来如此明显的影响,席卷全球的全球深度学习浪潮难道不会更可怕吗?)

斯特贝尔也表示自己对这个问题的答案很期待,然而现状是:很多人做论文时多少都记录了(或者有能力记录)训练的总用电情况,也能算出能耗效率——出于主观隐瞒,或者能耗数据对于研究本身没有意义等原因,大部分人发论文时都不会把这些数据包含进去,“如果这一现状不改变,我们就不可能准确预测深度学习对全球变暖的影响。”

她希望能通过这篇论文提醒其他 NLP 学者和业界人士,在提高模型表现的同时,也应该对环境影响有主动的、足够的关注。

从信息完整的角度来看,这篇论文的一个很大遗憾就是对基于 TPU 的模型训练能耗和碳排放的数据缺失。斯特贝尔解释这是因为 Google 从未对外公布过 TPU 能耗效率方面的资料,加之这篇论文本身的目的并非力求绝对精准的结果,而是提供一个较为精确的合理预估。

(不过总体来讲,TPU 仍是目前深度学习领域碳排放最小的计算硬件,而且 Google 的数据中心用电56%来自可再生能源,显著高于 AWS 和 Azure。)

推荐阅读