Hadoop深度运维:Apache集群原地升级Ambari-HDP( 九 )

3)Enalbe Yarn HA:

Hadoop深度运维:Apache集群原地升级Ambari-HDP

4)验证:进行简单MR / Hive / tez / Spark测试。

5)问题:怎么去兼容new / old client?

A:在升级Yarn的过程中,发现old client提交job时找不到org.Apache.Hadoop.mapreduce.v2.app.M RAppMaster,经过分析与以下两个参数有关:

mapreduce.framework.name在HDP中是支持多版本mapreduce的,所以开启了这个参数用于存放多版本任务所需lib。而old client没开启这个参数导致问题,所以在server的关闭该参数。

yarn.application.classpath 该classpath在new / old classpath中不一致,(如old client由于历史原因指定了$YARN_ HOME,但是在HDP中是没有$YARN_HOME的)所以考虑怎么能在启动Yarn启动container时找到$YARN_HOME呢?

在yarn-env中export $YARN_HOME;并将该变量$YARN_HOME指向container内部yarn.nodemanager.admin-env;将old client的lib软链接(或者copy)到new nodemanager节点相应$YARN_HOME下。4、HBase升级

推荐阅读