运营商大规模数据集群治理的实践指南( 五 )
所以,我们做大规模集群治理的核心目标聚焦在①确保集群稳定,充分保障集群资源算力;②以效果为导向,有效驱动平台数据治理:
1、充分保障集群资源算力
毫无疑问,在大规模集群计算环境,保障集群资源算力是首要任务。如果这一块稍有闪失,数据采集、数据存储、数据加工、数据建模分析、数据测试、数据稽核、数据迁移、数据同步、数据计算、数据作业重跑等流程可能都要崩溃,因为这些环节背后都涉及到大量的数据作业任务调度执行,其成功与否取决于分布式系统组件整体的通信、资源的申请、以及任务实例的执行结果,因此除了足够的物理资源池之外,还需要特别保障集群Master进程类服务的性能表现和稳定性。
2、有效驱动平台数据治理
开展集群治理的工作,最重要的目标就是有效支撑数据治理工程的建设。
数据治理是一个系统工程,通常是按照类似下面的框架做:
推荐阅读
- 捉迷藏|?LOL世界赛“含金量”数据出炉:EDG仅排第六,IG稳居榜首
- 碧蓝航线|碧蓝航线SR重巡福煦数据详解 期待越高失望越大 强度平平无奇
- kramer|国服极地大乱斗数据上线,来看看胜率榜符合你的预期吗?
- 米莱狄|峡谷数据榜:分均输出TOP5,干将莫邪只排第四,米莱狄至今被误解
- |S11淘汰赛数据盘点:场均时长为33分 55个不同英雄登场
- 中单|2021年英雄联盟世界赛终于落下帷幕!!大数据统计二!!
- 灵饰|梦幻西游:109级法系前排灵饰选择方法,用数据告诉你怎么做
- 卡牌|S11淘汰赛数据出炉,卡牌24场全被ban,压刀最多竟是辅助
- edg战队|堡垒之夜国服将清除数据,EDG创造队史晋级S11世界赛决赛
- 原神|原神:流水预测数据还在变化,日本的预估流水,倒是有了小状况