旷视首席科学家孙剑:深度学习变革视觉计算丨CCF-GAIR 2019(26)

用了这些芯片的计算方法 , 可以应用到非常多的智能硬件上 。 这张图是都是旷视自研的硬件 。

在神经网络设计的最新研究方面 , 目前很热的趋势叫AutoML或者NAS 。 这是一个很好的网站(automl.org) , 大家可以在这里看最新的文章 。

NAS的问题核心是解一个嵌套的权重训练问题和网络结构搜索问题 。

这个问题非常难 , 需要非常大的计算量 。 最早Google用增强学习或演化计算方法降低计算量 , 但计算量依然非常大 。

最新流行的方式是用权重分享的方式 , 比如用Darts或ProxyLess等工作 。 我们旷视今年年初推出了Single Path One-Shot的新方法 , 分为两步:

推荐阅读