运营商大规模数据集群治理的实践指南(11)_原创：尹正军、穆纯进写在开头的话Q:军

产品应用部：配合数据治理组和集群治理组完成集群治理专项优化方案的实施。

治理方法论

这里的核心就是建立自下而上、自发协同、精益推进式的数据治理文化。

治理技术框架

Q: 这个技术框架理解起来太抽象了，要解决的问题可以再解释一下吗？

A: 其实没有那么难以理解，主要是公司业务高速发展过程中数据业务需求越来越复杂，所需算力也越来越大，进一步导致某些集群的规模越来越大，承载的产品也越来越多，部分集群面临资源负载过高、资源抢占严重、RPC请求负载过高等问题；存储系统也面临空文件、垃圾文件、小文件过多，平均文件大小过小、文件数持续增长等问题，存储系统稳定性面临很大隐患；作业又面临执行耗时过长、耗资源大、数据倾斜严重等问题，直接导致数据加工异常率过高、数据具备时间有延迟风险、产品交付面临风险。