失效链接处理 |
mapredurce配置 PDF 下载
本站整理下载:
相关截图:
主要内容:
第一步,编辑yarn-size文件
vi /hadoop/etc/hadoop/yarn-size.xml
内容:
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>testyarn</value> // yarn名称
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value> // resoucemanege名称
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>ip1</value> // resoucemanage主机地址
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>ip2</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>ip1:8088</value>// resoucemanage web访问地址
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>ip2:8088</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>ip1:2181,ip2:2181,ip3:2181</value> // zookeeper地址
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第二步,配置mapred-size.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name> // 使mapreduce在yarn环境中执行
<value>yarn</value>
</property>
</configuration>
第三步,将配置复制到其他hadoop机器中
第四步,启动
在任意一台namenode服务器启动start-yarn.sh
在每一台namenode服务器启动yarn-daemon.sh start resourcemanager
|