大数据的未来在哪里?从“吃鸡”游戏开始说起( 五 )

这就是存算一体的大数据技术架构。经过十多年的发展,网络性能已经提升了100倍,内存容量也提升了数十倍。大数据处理的瓶颈逐渐从网络转移到CPU上,上述存算一体架构的缺点也逐渐突显出来:

1)刚性扩容,资源浪费

不同场景需要的存储空间和算力配比是不一样的。实际使用中要么计算资源达到瓶颈,要么是存储容量不足,只能对集群进行刚性扩容,造成集群资源浪费。

2)资源无法弹性

不同场景,不同时期需要的算力是不固定的,存在波峰和波谷。物理机中存储数据造成无法大规模关闭闲置节点,造成算力闲置和能源浪费。

3)数据孤岛

随着企业数据多种数据式并存,并存储在不同的系统中,形成数据孤岛,且互相访问转换成本高,制约了数据价值的进一步挖掘。

4)作业拥塞

随着数据采集技术和网络技术发展,企业拥有EB级数据已经成为常态,而单次大数据分析作业就需要读取数百TB乃至PB级的数据,多任务并发下,极易出现作业拥塞,影响企业正常运作。

推荐阅读