运营商大规模数据集群治理的实践指南( 六 )

运营商大规模数据集群治理的实践指南

其关键是组织、流程、平台工具、评价考核机制的全面协同。

首先是从数据采集加工流程中梳理出数据治理体系最需关注的各环节建设内容和目标:

运营商大规模数据集群治理的实践指南

然后构建元数据管理、数据质量稽核、数据血缘分析、数据地图等工具集:

运营商大规模数据集群治理的实践指南

元数据管理:数据库表、模型脚本等元数据信息庞大复杂,可通过全文检索功能迅速查找和关键字匹配的权限范围内的元数据信息,为海量数据分析提供更快、更正确的查询处理、更好的数据质量、更易使用的操作接口等。

数据血缘分析:元数据管理重要应用之一,展示表、视图、过程之间的关系,表和指标间的关系。采用NET模式或FLOW模式进行信息呈现。血缘关系的数据来源支持通过解析数据加工SQL脚本、存储过程注释的方式;可支持通过ETL流程自动生成的方式,亦可支持通过配置表的方式。

推荐阅读