运营商大规模数据集群治理的实践指南(14)

2019-05-17

数据生产监测可视化大屏

具体实施过程中，前期需重点关注平台优化和跨部门业务协同子系统的运营成效。

4、第四步：实现YARN作业&HDFS画像、小文件洞察

以底层技术为核心，从资源、存储、计算三大维度进行联合治理，深度监控各业务资源队列使用状态、存储系统文件分布、作业运行事件和配置，建立可视化工具体系，驱动日常优化和运营。

从资源角度，对线上集群的资源队列状态进行秒级数据采集，包含队列最大容量、队列配置容量、队列已使用容量多维度的数据采集，实时监控不同业务线、不同周期资源使用状态，以达到动态调整资源规划、加工周期保障产线加工正常进行。

推荐阅读

上一篇：营销中国行走进福州，巨量引擎激活营销增长势能

下一篇：英伟达一季度营收超预期，盘后一度涨超7％