原创<br> 1.2万亿晶体管,史上最大半导体芯片诞生,比最大的GPU大56.7倍( 五 )

一个Cerebras WSE的总带宽为每秒100petabits,不需要诸如TCP/IP和MPI之类的通信协议。并且该架构中的通信能量成本远低于1焦耳每比特,这比GPU低近两个数量级。通过结合大的带宽和极低的延迟,Swarm通信结构使Cerebras WSE能够比任何当前可用的解决方案进行更快地学习。

解决了大芯片制造的技术挑战

承担计算任务的芯片尺寸在AI应用中非常重要,因为更大的芯片可以更快地处理信息,在更短的时间内得出结果。训练时间的减少,可以使研究人员能够进行更多测试,使用更多数据并解决新的问题。谷歌、Facebook、OpenAI、腾讯、百度都认为,今天人工智能的基本限制是训练模型需要很长时间。因此,训练时间是整个AI行业进步的主要瓶颈。

当然,一般芯片制造商不会生产这么大的芯片是有原因的。在单个晶圆片上,在制造过程中通常会出现一些杂质。如果一个杂质可以导致芯片的故障,那么晶圆片上的多个杂质就会击穿几片芯片。从而导致实际的效益只是实际工作的芯片的一部分。如果晶圆片上只有一个晶片,那么它含有杂质的可能性是100%,杂质会使晶片失效。但是Cerebras芯片是设计成冗余的,所以一个杂质不会使整个芯片失效。

推荐阅读