飞天大数据计算平台:一个十年前就启动的核心技术长征( 二 )

十年前,阿里巴巴遇到了其他公司都还没遇到的挑战

十年前,阿里巴巴比其它公司更早地遇到互联网规模化带来的挑战。传统软件已无法承载,这也推动了大数据技术的发展,Google、AWS、微软等硅谷巨头纷纷投入大数据技术的研发。而在国内,王坚也在十年前带领阿里云团队研发飞天大数据计算平台,率先在国内开启大数据计算平台的自研之路。

当时全球企业的数据库基本都是Oracle,而阿里巴巴拥有亚洲最大的Oracle集群,计算规模达百TB级别。

按照当时淘宝用户量的增长速度,Oracle集群很快将无法支撑业务发展,而最核心的问题就是算力不足。尽管当时阿里已开始把数据迁移到更大规模的开源平台,但后者在百台机器规模时就遇到瓶颈,给业务增长造成极大阻碍。

此外,Hadoop之类的开源技术在可靠性、安全性上也遭遇了天花板。

2008年,王坚带着解决大规模算力瓶颈的任务加入阿里。他发现,无论是Oracle还是Greenplum、Hadoop,都不是大规模数据计算的最优解,必须自研一套自己的大数据处理平台。

推荐阅读