通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时( 三 )


文章图片

这个“新”,可以总结为三个方面 。
首先是超高密设计 。
以OceanStor Pacific 9950为例,它具备单框8节点,5U、80盘位的特性 。
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

而之所以能如此“能装”,是因为它将各种SSD(固态硬盘)都设计的非常小巧:
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

另外一款5U、120盘位的OceanStor Pacific 9550,更是能够达到单框最大可提供2.4PB的裸容量 。
如此超高密度的设计,便可以支撑海量数据的存储 。
基于这样的硬件设计之下,便是华为存储的第二个特性——“多到一,一到多”,具体来讲就是:
多套存储变一套,一套存储支持多样化算力 。
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

导致这样做的原因,根本上是高性能存储面临的负载类型越发复杂多样 。
传统的做法就是来一个负载类型,就部署一个对应类型的存储;但这样做的结果,就是容易产生“孤岛现象”,而且不利于提高整体的效率 。
而理想的状态就是存储系统可以满足一个“既要又要”——高带宽、高IOPS 。
(带宽型方面的衡量标准是单位时间内的数据总吞吐量;而IOPS则是单位时间内能处理的总的IO请求量、以及每个IO的处理时延 。)
对此,华为存储所采用的策略就有点“随机应变”的味道了 。
例如存储系统在面对大文件时,就对应“大I/O”,采用直通方式将数据写到磁盘 。
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

这样做的结果,就让大文件的宽带处于业界2倍的水平 。
而当与之相对的小文件到来时,就对应“小I/O”,主要是将数据聚合后写到磁盘:
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

如此一来,就可以在理想的时延下提升磁盘空间的利用率,而且小文件的随机性能也达到了业界的5倍 。
OceanStor Pacific系列存储的第三个独特性,便是打通协议的“任督二脉” 。
华为存储提出这个特性的大背景,是因为现在在处理诸如基因测序这样的任务时,数据往往会呈现多种格式,例如文件、对象、大数据等等 。
也正因如此,以往在整个数据处理过程中,单是数据转化、拷贝、加载这样的工作就占到了35%的时间 。

推荐阅读