原创<br> 重磅!有史以来最大的半导体芯片诞生!1.2万亿晶体管或用于AI( 七 )

记忆

内存是每个计算机体系结构的关键组件。更接近计算的内存转换为更快的计算,更低的延迟和更好的数据移动功效。高性能深度学习需要大量计算,并且频繁访问数据。这需要计算核心和存储器之间的紧密接近,这在图形处理单元中并非如此,其中绝大多数存储器是缓慢且远离的(片外)。

Cerebras Wafer Scale Engine包含更多内核,具有比迄今为止任何芯片更多的本地内存,并且在一个时钟周期内可以通过其核心访问18 GB的片上内存。WSE上的核心本地内存集合可提供每秒9 PB的内存带宽 - 比领先的图形处理单元多3,000倍的片上内存和10,000倍的内存带宽。

通讯结构

Swarm通信结构是WSE上使用的处理器间通信结构,它以传统通信技术的功耗的一小部分实现突破性带宽和低延迟。Swarm提供低延迟,高带宽的2D网格,可连接WSE上的所有400,000个核心,每秒带宽为100 petabits。Swarm支持单字活动消息,可以通过接收内核来处理,而无需任何软件开销。

路由,可靠的消息传递和同步在硬件中处理。消息会自动激活每个到达消息的应用程序处理程序 Swarm为每个神经网络提供独特的优化通信路径。软件根据正在运行的特定用户定义的神经网络的结构,配置通过400,000个核心的最佳通信路径以连接处理器。

推荐阅读