易坊好文馆

  1. 首页 > 玩科技 >

神经元|储备池计算新突破：神经元更少，计算速度最高提升百万倍( 二 )

数据 系统 时间 突破 速度 预测 研究 https 储备 研究者 神经元 Warmup 储备池


系统越大、越复杂 ， 期望预测的结果越准确 ， 人工神经网络就越大 ， 完成任务所需的计算资源和时间也就越多 。 新研究主要作者、美国俄亥俄州立大学物理学教授 Daniel Gauthier 说 ， 这里的问题是 ， 基于人工神经元的储备池是一个黑盒子 ， 科学家们不知道它里面到底发生了什么 ， 只知道它管用 。
储备池计算核心的人工神经网络建立在数学基础上的 ， Gauthier 解释说 ， 「我们让数学家看一下这些网络 ， 并告诉我们里面的各种组件到底在多大程度上是必不可少的 。 」
在这项新研究中 ， Gauthier 和他的同事调查了这个问题 ， 发现整个储备池计算系统可以大大简化 ， 从而显著降低对计算资源的需求 ， 节省大量时间 。
他们在一个预测任务中测试了此概念 ， 该任务涉及 Edward Lorenz 开发的天气系统 ， Edward Lorenz 是蝴蝶效应的发现者 ， 被誉为混沌理论之父 。
在 Lorenz 预测任务中 ， 研究者提出的下一代储备池计算技术明显优于当前的 SOTA 技术 。 在一台台式机上进行的一个相对简单的模拟中 ， 新系统的速度是当前模型的 33 到 163 倍 。
但是 ， 当目标是达到 great accuracy 时 ， 下一代储备池计算要快 100 万倍 。 Gauthier 说 ， 新方法只需要 28 个神经元就能达到原本 4000 个神经元才能达到的准确率 。
速度提升的一个重要原因在于：与上一代储备池计算相比 ， 新一代储备池计算背后的「大脑」需要的 warmup 和训练要少得多 。
Warmup 指的是需要作为输入被添加到储备池计算机 ， 从而为其实际任务做好准备的训练数据 。 「我们的新方法几乎不需要 warm 时间 ， 」Gauthier 表示 ， 「目前 ， 为了 warmup ， 研究者必须放入 1000、10000 个甚至更多的数据点 。 这些都是实际工作中不需要的数据 。 我们只需要输入一两个或三个数据点 。 」
一旦研究人员准备好训练储备池计算机进行预测 ， 下一代系统需要的数据就会少很多 。
在 Lorenz 预测任务的测试中 ， 研究人员使用 400 个数据点 ， 就得到了与上一代储备池计算机使用 5000 个或更多数据点产生的相同的结果（具体数据点数量取决于所需的准确率） 。
【神经元|储备池计算新突破：神经元更少，计算速度最高提升百万倍】Gauthier 说：「令人兴奋的是 ， 下一代储备池计算采用了之前就已经非常优秀的技术 ， 大大提高了效率 。 」他们计划将这项工作扩展到更复杂的计算问题上 ， 比如预测流体动力学 。
「这是一个极具挑战性的问题 。 我们想看看 ， 是否可以使用简化的储备池计算模型 ， 以加快解决这个问题的进程 。 」Gauthier 表示 。
参考链接：
https://finance.ifeng.com/c/89lPtCkTHjU

推荐阅读


上一篇：问题|360：累计发现并帮助谷歌修复Tensorflow漏洞98个

下一篇：科技|星秒加入低速无人驾驶产业联盟