ACL2019新论文，痛批“不计算力追逐丁点提升”的研究方法( 五 )
斯特贝尔用她去年推出的一个多任务 NLP 模型 LISA 举例。训练达到最终结果花费了大约6个月的时间，模型迭代将近4800次，使用了60枚 GPU，折合24万 GPU 小时，折合的碳排放达到5.3万磅（约合24吨）
“一次性训练一个模型并不昂贵，然而一旦开始针对新数据集调参，成本立刻水涨船高。”论文写道。
图4/6
图5/6
据英国《独立报》2016年援引专家报道，数据中心耗电占全球3%，且耗电量正在以每四年翻一番的速度增长；同时，数据中心的温室气体排放占到全球的2%，碳足迹已经追上民航业。与此同时，基于机器学习的人工智能将成为全球数据中心业务增长的最大驱动力。
了解这些情况后，采访自然进入到了下一个问题：既然模型训练会产生如此不成比例的碳排放，那么 NLP，以及其它深度学习方向的研究，总共为全球温室气体排放贡献了多大比例呢？
推荐阅读
- 论文查重选择合适软件需要看哪些方面
- 论文怎么免费查重找对软件才是关键
- 论文数据哪里找？这些网站不能少！
- 掌握这四个页码设置技巧，办公、论文不用愁！超实用教程
- 快收下这个小工具，一次性把论文作图与数据处理全部搞定！
- 同济大学在国际顶级期刊《科学》上发表论文，真牛！
- 「论文推荐」刘鹏坤等：综采工作面智能云台摄像仪研制
- 图灵奖得主 LeCun 用来怼 Google 的乳腺癌 AI 论文，有何过人之处？
- 超硬核90后论文：从0开始打造cpu和电脑
- 毕业论文如何选题？要遵循哪些原则？现在统统告诉你！