ACL2019新论文,痛批“不计算力追逐丁点提升”的研究方法

“这绝对不是好的趋势,我们应该用更有创意,而不是纯粹‘加算力’的方式去做研究。”

ACL2019新论文,痛批“不计算力追逐丁点提升”的研究方法

图1/6

“有些人做神经网络训练,完全不计代价,太不负责任了!”

小张是一名硅谷大公司的深度学习研究员,安坐在开着冷气的房间里写代码、调参、训练再训练。

经过数月不懈的努力,新模型终于完成了,得到了一个3%提升的 state-of-the-art 结果。不仅公司的产品将因为这一进步获得巨大的性能提升,数以百万的用户因为这一改进而受益,小张的新论文也有着落了。

数据制表填好,小张把论文发给了正等着写博客宣告这一好消息的市场部同事,满意地关掉了虚拟机,开着特斯拉回家了,感觉今天又为人类做了一件微不足道的好事。

小张不知道的是,数百吨二氧化碳就这样散布到了大气当中。

根据一份提交到自然语言处理顶会 ACL 2019 的论文,三位来自马萨诸塞大学安姆斯特分校的研究者分析了一些主流 NLP 模型训练的碳排放水平。

推荐阅读