Hadoop深度运维:Apache集群原地升级Ambari-HDP( 九 )
3)Enalbe Yarn HA:
4)验证:进行简单MR / Hive / tez / Spark测试。
5)问题:怎么去兼容new / old client?
A:在升级Yarn的过程中,发现old client提交job时找不到org.Apache.Hadoop.mapreduce.v2.app.M RAppMaster,经过分析与以下两个参数有关:
mapreduce.framework.name在HDP中是支持多版本mapreduce的,所以开启了这个参数用于存放多版本任务所需lib。而old client没开启这个参数导致问题,所以在server的关闭该参数。
yarn.application.classpath 该classpath在new / old classpath中不一致,(如old client由于历史原因指定了$YARN_ HOME,但是在HDP中是没有$YARN_HOME的)所以考虑怎么能在启动Yarn启动container时找到$YARN_HOME呢?
在yarn-env中export $YARN_HOME;并将该变量$YARN_HOME指向container内部yarn.nodemanager.admin-env;将old client的lib软链接(或者copy)到new nodemanager节点相应$YARN_HOME下。4、HBase升级
推荐阅读
- 无尽梦魇|魔兽世界TBC:深度解析“翠绿的宝珠”对哪些职业保值
- 李九|S组才是真正的宝藏!解说李九深度分析KPL秋季赛第三轮,爆发到了
- 王者荣耀|英雄联盟手游被指抄袭王者荣耀?王者玩家看好了,这叫深度还原
- fpx战队|深度分析:FPX四个0-1的惨败原因,S11的FPX能否登顶外战第一耻辱
- 银河战士融合|传《银河战士融合》初代正开发中,深度重制,明年E3前发售
- 王者荣耀|原神:雷神与心海选谁?深度解析避免踩坑,帮你做出正确选择
- iqoo8|为什么这几年中国LOL这么强?深度解析!另有一个问题亟待解决
- RNG|赛前BB机:RNGVSLNG,谁能晋级四强?深度分析,让我们一起讨论下
- 喋血复仇|和平精英:AKM vs M762深度对比测评,KS阿神带你详细了解
- 穿越火线|CF:深度分析,存在感为0的英雄级武器是怎么混到这一步的