运营商大规模数据集群治理的实践指南( 二 )

运营商大规模数据集群治理的实践指南

Q: 看起来,集群治理好像需要做很多配套的工作,实际上会有多大的产出效果呢?

A: 说出来,你可能不太信,就拿针对某集群治理的效果为例:在处理数据量翻倍的情况下,集群资源负载降低30%以上,综合计算节省数百台节点,每年节省投入上千万元;减少垃圾数据、测试数据、中间数据、过程数据,占总存储15%以上;核心产品模型运行时长,缩短30%-80%。

一、集群治理的定位

Q: 我以前听说过数据治理,你这里说大规模数据集群的治理,有什么具体差异吗?

A: 好问题!不过要搞清楚这块,得先了解一下我们数据资产管理体系建设的实施路径——主要分三个子工程,同步开展实施推进:

运营商大规模数据集群治理的实践指南

工程一:搭建核心业务数据治理框架,包括基础平台的建设、治理规范的制定,元数据管理、数据血缘和数据质量工具开发和应用实践,构建上层数据产品体系和数据能力开放平台,让数据多用活用,形成符合公司业务和组织协作特点的治理文化。

推荐阅读