2019双11,支付宝有哪些“秘密武器”?( 十 )

而这时候 , 刚好遇到支付宝史上最大一次改版 , 模块化功能被替换成信息流 , 强化了社交关系属性 , GeaBase开始接入支付宝链路 。

百炼成钢 , 经过几个月的压测 , 2016年6月 , 新版支付宝上线 , GeaBase迎来了第一笔流量 。 接着几年 , 从支付宝大改版到新春红包再到双11 , GeaBase迎来了业务的绽放期 , 到2019年双11 , GeaBase双11主链路上单集群规模突破万亿边 , 点边查询突破800万QPS , 平均时延小于10ms;成为支付宝核心链路上非常重要的一环;

数据存储和查询的问题解决了 , 紧接着要解决的是分析计算的问题 。

在一开始 , 我们思考的是如何在海量的图数据里做数据挖掘的问题 。 在面对千亿乃至万亿级规模 , 几TB到几百TB的数据 , 用超大内存物理机和高速网络来实现离线全图计算 , 对企业来说不太现实 , 资源也存在极大的浪费 。 因此 , 我们重点放在如何在满足业务功能/性能需求的同时 , 利用碎片化的现有资源 , 实现 “按需计算”的能力 。

因此 , 2017年 , 我们在海量数据基础上 , 设计了一套离线计算的框架 , 提供自适应的分区策略 , 资源消耗能比同类产品降低一个数量级 , 同时性能还能远远优于GraphX等开源产品 。

推荐阅读