旷视首席科学家孙剑：深度学习变革视觉计算丨CCF-GAIR 2019(33)_7月12日-7月14日

虽然摩尔定律慢慢消失了， AI计算能力反而在超指数增长，从2016年10 TFLOPS的算力，现在到几百的TFLOPS 。

前期带来的变化是从以前的大规模计算CPU Cloud（大盒子）迁移到了 GPU Box（小盒子）。但是大概2015年后，大家发现这些小盒子也不行，因为我们现在用更大的模型，我们今天在ImageNet上的模型比我们2015年用的大10倍都不止。另外，很多人一起工作时的每人一个小盒子的效率是非常低效的。