Hadoop深度运维:Apache集群原地升级Ambari-HDP

科技频道提示您本文原始标题是:Hadoop深度运维:Apache集群原地升级Ambari-HDP

作者介绍

冯武,目前在瓜子从事大数据集群运维管理,主要负责Hadoop、Ansible、Ambari、Cloudera Manager等技术栈的维护调优工作。

公司从建设Hadoop起,采用了Apache社区版本的Hadoop,随着业务的发展,集群规模越来越来大,现已突破百余节点。

在频繁的更改配置、增删节点、监控告警等操作中,传统手工运维的弊端被放得越来越大,日常维护消耗了工程师大量的时间和精力。

现状的产生是可以理解的,公司基础架构的发展往往始于快速搭建,然后在崩溃中挣扎,最后瓶颈痛苦后经历重构。本文将介绍,我们团队如何一步一步优化Hadoop运维部署架构。

一、梳理痛点,调研并制定最优方案

1、老集群主要痛点

多个组件,HA配置,部署方案存在风险:

推荐阅读