运营商大规模数据集群治理的实践指南( 五 )

所以,我们做大规模集群治理的核心目标聚焦在①确保集群稳定,充分保障集群资源算力;②以效果为导向,有效驱动平台数据治理:

1、充分保障集群资源算力

运营商大规模数据集群治理的实践指南

毫无疑问,在大规模集群计算环境,保障集群资源算力是首要任务。如果这一块稍有闪失,数据采集、数据存储、数据加工、数据建模分析、数据测试、数据稽核、数据迁移、数据同步、数据计算、数据作业重跑等流程可能都要崩溃,因为这些环节背后都涉及到大量的数据作业任务调度执行,其成功与否取决于分布式系统组件整体的通信、资源的申请、以及任务实例的执行结果,因此除了足够的物理资源池之外,还需要特别保障集群Master进程类服务的性能表现和稳定性。

2、有效驱动平台数据治理

开展集群治理的工作,最重要的目标就是有效支撑数据治理工程的建设。

数据治理是一个系统工程,通常是按照类似下面的框架做:

推荐阅读