1.创建3台主机
详细 了解:(创建虚拟机)
2、服务器主机名和IP配置（三台）
2.1.修改主机名
vi / etc/sysconfig/network
2.2 .修改虚拟机 动态
vi /etc/sysconfig/network-scripts/ifcfg-eth0
2.3.修改虚拟机 静态
vi /etc/udev/rules.d/70-persistent-net.rules
2.4重启网卡
/etc/init.d/networt restart
2.5实现实现两个节点之间相互无密码访问(三台)
vi /etc/hosts
3.解压jdk(三台)
tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/servers/
1 修改配置文件
vim /etc/profile.d/java.sh
改为
export JAVA_HOME=/export/servers/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
创建软连接
ln -s /export/servers/jdk1.8.0_144/bin/java /usr/bin/java
使配置文件生效
source /etc/profile
查看版本号
java -version
4.关闭防火墙（三台）(需要重启)
chkconfig iptables off
5.关闭selinux（三台）(需要重启)
vi /etc/selinux/config
将 SELINUX=enforcing
改为 SELINUX=disabled
6. haboop软件包上传并解压(yum install -y lrzsz)
上传: rz
解压 tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C ../servers/
7.修改配置文件(第一台机器执行以下命令(主节点) )
1.修改excore-site.xml (配置文件在我的上传文件中)
vi /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml
结果
2.修改hdfs-site.xml
vi /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
3.修改Hadoop-env.sh(安装jdk 1.8 版本 不用改 )
vi /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ hadoop-env.sh
4.修改mapred-site.xml(没有)
cp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/mapred-site.xml.template /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/mapred-site.xml
vi /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/mapred-site.xml
5.修改yarn-site.xml
vi /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/yarn-site.xml
6. 修改slaves文件
vi /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/slaves
7、创建文件夹(配置文件)
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
8.安装包的分发(第一台机器执行以下命令)
1.进入haboop 上级的文件
cd /export/servers/
2.发送文件(一定在要 ~~ 副节点 ~~ 根目录建立文件 /export/sort 和 /export /servers ,不然的话 , 就会报错 )
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
9.配置Hadoop的环境变量(三台机器都要进行配置Hadoop的环境变量)
vim /etc/profile.d/hadoop.sh
改为
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin
修改完记得
source /etc/profile
10 .启动集群
1.格式化集群
在第一个节点执行 hadoop namenode -format
2.启动集群
2.1每个组件独立启动
1.启动namenode node01节点 ./hadoop-daemon.sh start namenode
2.启动namenode node01、02、03节点 ./hadoop-daemon.sh start datanode
3.启动resourcemanager node01节点 ./yarn-daemon.sh start resourcemanager
4.启动nodemanager node01、02、03节点 ./yarn-daemon.sh start nodemanager
2.2单独启动
1.单独启动HDFS : ./start-dfs.sh 关闭 ./stop-dfs.sh
2.单独启动Yarn : ./start-yarn.sh 关闭 ./stop-yarn.sh
2.3一键启动所有
启动： ./start-all.sh 关闭：./stop-all.sh
3.浏览器查看启动页面 (只要能这样就好了,不行就是配置文件错了)
http://主节点ip:50070
http://主节点ip:8088
