【入门】四、3-完全分布式运行模式

完全分布式运行模式

分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群虚拟机准备 Hadoop2.7.2运行环境搭建CentOS 7编写集群分发脚本xsync 3.1 scp（secure copy）安全拷贝 1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） 2）基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

a）在hadoop200上，将hadoop200中/opt/tmp目录下的文件拷贝到hadoop201上:

[root@hadoop200 tmp]# scp -r /opt/tmp/ root@hadoop201:/opt/tmp/

b）在hadoop202上，将hadoop200服务器上的/opt/tmp目录下的软件拷贝到hadoop202上。

[root@hadoop202 tmp]# scp -r root@hadoop200:/opt/tmp /opt/tmp

c）在hadoop202上，将hadoop200中/opt/tmp目录下的软件拷贝到hadoop201上（先删除201上原有的tmp目录下的文件）。

[hadoop@hadoop201 tmp]$ scp -r root@hadoop200:/opt/tmp/ root@hadoop202:/opt/tmp

注意：拷贝过来的/opt/tmp目录，别忘了在hadoop200、hadoop201、hadoop202上修改所有文件的，所有者和所有者组：

sudo chown hadoop:hadoop -R /opt/tmp

3.2 rsync 远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。 1）基本语法

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

2）案例实操 a）把hadoop200机器上的/opt/tmp目录同步到hadoop201服务器的root用户下的/opt/tmp目录

[root@hadoop201 tmp]# rsync -rvl root@hadoop200:/opt/tmp/ /opt/tmp/

3.3xsync集群分发脚本 1）需求：循环复制文件到所有节点的相同目录下 2）需求分析：

a）rsync命令原始拷贝： rsync -rvl /opt/tmp root@hadoop201:/opt/tmp b）期望脚本： xsync要同步的文件名称c）说明：在/home/hadoop/bin这个目录下存放的脚本，hadoop用户可以在系统任何地方直接执行。 3）脚本实现 （a）在/home/atguigu目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下： [root@hadoop201 hadoop]# mkdir bin [root@hadoop201 hadoop]# cd bin/ [root@hadoop201 bin]# touch xsync [root@hadoop201 bin]# vim xsync

在该文件中编写如下代码：

#!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名称 user=`whoami` #5 循环 for((host=103; host<105; host++)); do echo ------------------- hadoop$host -------------- rsync -rvl $pdir/$fname $user@hadoop$host:$pdir done

b）修改脚本 xsync 具有执行权限

[root@hadoop201 bin]# chmod 777 xsync

c）调用脚本形式：xsync 文件名称

[root@hadoop201 bin]# xsync /home/hadoop/bin

注意：如果将xsync放到/home/hadoop/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。

集群配置 4.1 集群部署规划 4.2 配置集群 1）核心配置文件 配置/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml [root@hadoop201 bin]# cd /opt/module/hadoop-2.7.2/etc/hadoop/ [root@hadoop201 hadoop]# vim core-site.xml

在该文件中编写如下配置：

<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop200:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>

2）HDFS配置文件 配置/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

[root@hadoop201 hadoop]# vim hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_261

配置/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

[root@hadoop201 hadoop]# vi hdfs-site.xml

在该文件中编写如下配置：

<property> <name>dfs.replication</name> <value>3</value> </property> <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop202:50090</value> </property>

3）YARN配置文件 配置/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh

[root@hadoop201 hadoop]# vim yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_261

配置/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

[root@hadoop201 hadoop]# vi yarn-site.xml

在该文件中增加如下配置：

educer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop201</value> </property>

4）MapReduce配置文件 配置/opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh：

[root@hadoop201 hadoop]# vi mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_261

配置/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml

cp mapred-site.xml.template mapred-site.xml [root@hadoop201 hadoop]# vi mapred-site.xml

在该文件中增加如下配置：

<!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

4.3在集群上分发配置好的Hadoop配置文件

[root@hadoop201 hadoop]# xsync /opt/module/hadoop-2.7.2/

查看文件分发情况

cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml 集群单点启动 5.1 如果集群是第一次启动，需要格式化NameNode [root@hadoop200 hadoop]# hadoop namenode -format

5.2在hadoop200上启动NameNode

[root@hadoop200 hadoop]# hadoop-daemon.sh start namenode [root@hadoop200 hadoop]# jps 6918 NameNode 6985 Jps

5.3在hadoop201和hadoop202上分别启动DataNode

[root@hadoop201 hadoop]# hadoop-daemon.sh start datanode [root@hadoop201 hadoop]# jps 57299 DataNode 57370 Jps

5.4思考：每次都一个一个节点启动，如果节点数增加到1000个怎么办？

SSH无密登录配置 6.1配置ssh 1）基本语法 ssh另一台电脑的ip地址 2）ssh连接时出现Host key verification failed的解决方法 3）解决方案如下：直接输入yes 6.2无密钥配置 1）免密登录原理： 2）生成公钥和私钥： [root@hadoop200 hadoop]# ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 3）将公钥拷贝到要免密登录的目标机器上

[hadoop@hadoop200 ~]$ ssh-copy-id hadoop201 [hadoop@hadoop200 ~]$ ssh-copy-id hadoop202

注意： 还需要在hadoop200上采用root账号，配置一下无密登录到hadoop201、hadoop202； 还需要在hadoop201上采用hadoop账号配置一下无密登录到hadoop200、hadoop202服务器上。 6.3 .ssh文件夹下（~/.ssh）的文件功能解释

群起集群 7.1配置slaves /opt/module/hadoop-2.7.2/etc/hadoop/slaves [root@hadoop200 hadoop]# vim slaves

在该文件中增加如下内容：

hadoop200 hadoop201 hadoop202

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[root@hadoop200 hadoop]# xsync slaves

7.2启动集群 1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[root@hadoop200 hadoop-2.7.2]# bin/hdfs namenode -format

2）启动HDFS

[root@hadoop200 hadoop-2.7.2]# sbin/start-dfs.sh [root@hadoop200 hadoop-2.7.2]# jps 10416 DataNode 9727 NameNode 10623 Jps [root@hadoop201 hadoop-2.7.2]# jps 59666 Jps 59418 DataNode [root@hadoop202 hadoop-2.7.2]# jps 58916 SecondaryNameNode 59526 Jps 59194 DataNode

3）启动YARN

[root@hadoop201 hadoop-2.7.2]# sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。 4）Web端查看SecondaryNameNode a）浏览器中输入：http://hadoop202:50090/status.html b）查看SecondaryNameNode信息： 7.3集群基本测试 1）上传文件到集群 上传小文件：

[root@hadoop200 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input /user/hadoop/input

上传大文件

[root@hadoop200 subdir0]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /user/hadoop/input

2）上传文件后查看文件存放在什么位置

[root@hadoop200 subdir0]# pwd /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-734343219-192.168.118.200-1601881276239/current/finalized/subdir0/subdir0

b）查看HDFS在磁盘存储文件内容

[root@hadoop200 subdir0]# cat blk_1073741825 hadoop yarn hadoop yarn wcinput wcout hadoop101

3）拼接

-rw-r--r--. 1 root root 134217728 Oct 5 15:25 blk_1073741826 -rw-r--r--. 1 root root 1048583 Oct 5 15:25 blk_1073741826_1002.meta -rw-r--r--. 1 root root 77829046 Oct 5 15:26 blk_1073741827 -rw-r--r--. 1 root root 608047 Oct 5 15:26 blk_1073741827_1003.meta [root@hadoop200 subdir0]# cat blk_1073741826 >> tmp.txt [root@hadoop200 subdir0]# cat blk_1073741827 >> tmp.txt [root@hadoop200 subdir0]# tar -zxvf tmp.txt

4）下载

[root@hadoop200 hadoop-2.7.2]# bin/hadoop dfs -get /user/hadoop/input/hadoop-2.7.2.tar.gz ./ 集群启动/停止方式总结 8.1各个服务组件逐一启动/停止 1）分别启动/停止HDFS组件 hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode

2）启动/停止YARN

yarn-daemon.sh start/stop resourcemanager/nodemanager

8.2各个模块分开启动/停止（配置ssh是前提）常用 1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh 集群时间同步 时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。 配置时间同步具体实操： 9.1时间服务器配置（必须root用户） 1）检查ntp是否安装 [root@hadoop200 hadoop-2.7.2]# rpm -qa | grep ntp python-ntplib-0.3.2-1.el7.noarch ntpdate-4.2.6p5-29.el7.centos.x86_64 fontpackages-filesystem-1.44-8.el7.noarch ntp-4.2.6p5-29.el7.centos.x86_64

2）修改ntp配置文件

修改内容如下 a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

b）修改2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburst server 2.centos.pool.ntp.org iburst server 3.centos.pool.ntp.org iburst为 #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst

c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0 fudge 127.127.1.0 stratum 10

3）修改/etc/sysconfig/ntpd 文件

[root@hadoop200 hadoop-2.7.2]# vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）:

SYNC_HWCLOCK=yes

4）重新启动ntpd服务

[root@hadoop200 hadoop-2.7.2]# service ntpd status [root@hadoop200 hadoop-2.7.2]# service ntpd start

5）设置ntpd服务开机启动

[root@hadoop200 hadoop-2.7.2]# chkconfig ntpd on

9.2其他机器配置（必须root用户） 1）在其他机器配置10分钟与时间服务器同步一次

[root@hadoop201 hadoop-2.7.2]# crontab -e

编写定时任务如下：

*/10 * * * * /usr/sbin/ntpdate hadoop200

2）修改任意机器时间

[root@hadoop201 hadoop-2.7.2]# date -s "2017-9-11 11:11:11"

3）十分钟后查看机器是否与时间服务器同步

[root@hadoop201 hadoop-2.7.2]# date

说明：测试的时候可以将10分钟调整为1分钟，节省时间。