运营商大规模数据集群治理的实践指南(15)

运营商大规模数据集群治理的实践指南

从计算角度,通过采集全域作业信息,解析出数十项核心指标和千个作业配置,计算出作业耗时TOP、耗内存TOP、耗CPU TOP、数据倾斜TOP、高IO TOP以及从不同业务、不同周期、不同账户洞察待优化作业,针对不同异常类型给出相应优化方案,降低作业资源负载、降低输出文件数、提升输出文件大小,从而减低整个集群资源负载和提升存储系统稳定性。

运营商大规模数据集群治理的实践指南

运营商大规模数据集群治理的实践指南

运营商大规模数据集群治理的实践指南

从存储角度,采集分布式存储系统的元数据镜像和元数据操作日志,洞察分布式存储系统文件数趋势、文件分布统计、平均文件大小趋势统计、空文件分布、垃圾文件分布。

推荐阅读