在YARN上运行MapRaduce

修改mapreduce 配置文件修改yarn配置文件测试

修改mapreduce 配置文件

本人hadoop安装地址/opt/module/hadoop-2.7.2 修改改路径下etc/hadoop下的mapred-site.xml：

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

修改yarn配置文件

<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

启动resourcemanager:

yarn-daemon.sh start resourcemanager

启动nodemanager:

yarn-daemon.sh start nodemanager

测试

这里通过share文件夹下的hadoop-mapreduce-example-2.7.2.jar 来测试： 通过该jar统计hdfs下单词出现次数：

hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount / /wc3