centos07安装高可用集群实战从零开始

从centos06过来的人喜欢使用命令行性质的黑窗口。显然cnetos7中的inittab中已经无法修改，但还是可以看到修改方法介绍。 命令行中：cat /etc/inittab 获取当前模式 systemctl get-default 修改启动模式为命令行模式 systemctl set-default multi-user.target 1.在安装集群之前请确保系统安装了jdk等必备软件。开始克隆虚拟机。 2.修改虚拟机名称和存放位置，选择完整克隆，不要链接克隆。一路下一步等待 3.克隆完成修改完主机映射和主机名，网络ip.ping通网络，类同参考搭建centos7虚拟机，至少准备三台虚拟机。 4.配置虚拟机之间通信配置免密登录 在 centos登录状态下，输入命令 ssh-keygen 或者 ssh-keygen -t rsa 你会发现，在/home/centos/.ssh 目录下生成了公钥文件 复制公钥文件到授权列表 cat ./id_rsa.pub >> authorized_keys 修改文件权限 chmod 600 ./authorized_keys 先手动在子节点创建文件夹mkdir -p .ssh 将该授权文件 authorized_keys 文件复制到子节点 scp ./authorized_keys centos@centos07:~/.ssh/ scp ./authorized_keys centos@centos08:~/.ssh/ 如果还需要输入密码则是权限问题，需要把子节点授权 chmod 755 /home/centos chmod 700 .ssh chmod 600 .ssh/authorized_keys 每个节点来一次，保证每个节点可以正常互信 安装高可用集群之前需要提前安装好zookeper，注意防火墙折腾我老半天。 5.上传解压安装包 6.进入/home/centos/hadoop-2.7.6/etc/hadoop 修改 hadoop-env.sh 配置文件，添加 jdk 安装目录配置 7.修改core-site.xml

8.cp mapred-site.xml.template mapred-site.xml 修改 mapred-site.xml 9.修改 yarn-site.xml 10.6、 修改 slaves vi slaves 添加 datanode 的节点地址： 11.分发安装包到子节点 scp -r hadoop-2.7.6 centos@centos08:~ scp -r hadoop-2.7.6 centos@centos09:~ 12.各个节点并分别配置环境变量 sudo vi /etc/profile 添加两行： export HADOOP_HOME=/home/centos/hadoop-2.7.6 export PATH=$PATH:$JAVA_HOME/bin;$HADOO{P}_{H}OME/bin;$HADOOP_HOME/sbin 保存退出 12.至此配置工作全部完成，接下来是 初始化操作。 启动zookeeper。三个节点分别启动 zkServer.sh start zkServer.sh status 13.分别在每个 zookeeper（也就是规划的三个 journalnode 节点，不一定跟 zookeeper 节点一样）节点上启动 journalnode 进程 hadoop-daemon.sh start journalnode 如果报错根据报错信息检查配置文件，我就报错 修改成功后，jps。可以看到进程journalnode 14.在主节点centos07上进行格式化操作 namenode 上执行格式化操作 hadoop namenode -format 然后会在 core-site.xml 中配置的临时目录中生成一些集群的信息在另一个 namenode 上执行：hadoop namenode -bootstrapStandby 15.格式化 ZKFC hdfs zkfc -formatZK 16.免密一定要做好自己给自己也要追加一次，不然namenode起不来 17.、 启动 HDFS start-dfs.sh 至此进程全部启起来