原创<br> 1.2万亿晶体管,史上最大半导体芯片诞生,比最大的GPU大56.7倍( 四 )

更靠近计算的内存

内存是计算机体系结构的关键部分。更接近计算的内存意味着计算速度更快、更低的延迟和更好的数据移动效率。高性能深度学习需要大量计算,并且频繁访问数据。这需要计算内核和存储器之间的紧密接近,这在GPU中并非如此。

Cerebras Wafer Scale Engine则包含更多内核,具有比迄今为止任何芯片都有更多的本地内存,并且在一个时钟周期内可以通过其内核访问18GB的片上内存。WSE上的内核本地内存集合可提供每秒9PB的内存带宽——比领先的GPU多3,000倍的片上内存和10,000倍的内存带宽。

低延迟,高带宽的通信结构

Swarm通信结构是WSE上使用的处理器间通信结构,它以传统通信技术的功耗的一小部分实现突破性带宽和低延迟。Swarm提供低延迟,高带宽的2D网格,可连接WSE上的所有400,000个核,每秒带宽为100 petabits。Swarm支持单字活动消息,可以直接通过接收内核来处理。

路由、可靠的通信和同步在硬件中处理。消息会自动激活每个到达消息的应用程序处理程序Swarm为每个神经网络提供独特的优化通信路径。软件根据正在运行的特定用户定义的神经网络的结构,配置通过400,000个内核的最佳通信路径以连接处理器。

推荐阅读