运营商大规模数据集群治理的实践指南(17)_原创：尹正军、穆纯进写在开头的话Q:军

大数据集群有很多关键服务，这些服务的健康异常状态，需要重点监控，且尽可能做到实时处理效果，这样在故障发生后可以组合多种监控和日志信息，从多个维度交叉定位问题，提升解决问题效率。

技术实现方案

6、第六步：实现冗余计算挖掘，以目录维度评估冗余度

冗余计算意味着同一份数据被多个加工流程加工，主要是由于前期为了支撑业务快速上线、没有统一规划、无序建设过程中所引发的问题，在运营商海量数据背景下，数据重复加工意味着对内存、CPU、存储容量、IO、文件数量、RPC负载有着全面且巨大的影响，在全域数十万加工作业中如何全面且精准定位冗余计算成为不小的挑战，基于此持续优化线上加工流程更是一个缓慢的过程，需要详细梳理业务需求，制定数据标准，明确数据口径。

洞察冗余计算主要思路是解析全域数十万个作业并从每个作业千个配置项中解析出输入目录，每个作业会有多个输入目录，最多的有上百个甚至上千个，且目录中含有省份、账期、基站等各种分区类型，我们需要对目录进行通用化处理，以目录为维度统计对应的加工流程以及每个加工流程对应的作业实例，从每个作业实例中计算内存消耗、CPU消耗、存储消耗、IO负载、文件数增长、RPC负载以评估冗余计算带来的成本、优化后达到的效果、执行周期内对其他数据加工产生的影响，以精细化数据为基础协调各组织进行持续治理。