运营商大规模数据集群治理的实践指南

2019-05-17

原创：尹正军、穆纯进

写在开头的话

Q: 军哥，你们运营商行业的大规模集群，都有啥特点啊？

A: 我们集群主要是承载B域、信令和互联网日志等去标识化数据，简单的说，有三个特点：

1）集群规模较大：数千节点规模，近百PB数据量，日新增处理数据百TB以上；

2）组织干系人多：数据平台开发运维过程涉及到数百人以上的不同团队组织协同；

3）数据合规要求高：数据租户服务涉及到数据安全、用户隐私保护的合规要求高。

Q: 好吧，听起来，要搞定这样的集群，有难度呀！那何时要关注集群的治理呢？

A: 好问题！一般来说，当数据质量问题、数据交付及时性、数据安全问题需要耗费极高的应对成本，或者说，当你经常会碰到以下类似的问题时，就该考虑做系统化的集群治理工作了。

推荐阅读

上一篇：营销中国行走进福州，巨量引擎激活营销增长势能

下一篇：英伟达一季度营收超预期，盘后一度涨超7％