【入门】三、Hadoop2.7.2运行环境搭建CentOS 7

    科技2022-07-11  107

    文章目录

    一、虚拟机环境准备二、安装JDK三、安装HadoopHadoop目录结构

    一、虚拟机环境准备

    克隆虚拟机修改克隆虚拟机的静态IP 修改IP修改主机名 修改主机名 把其他虚拟机的ip及主机名一起写到下面这个文件: vim /etc/hosts 关闭防火墙 1)查看防火墙 firewall-cmd --state 2)停止防火墙 systemctl stop firewalld.service 3)禁止开机自启动 systemctl disable firewalld.service 开启免密登录 1)进入到/etc/selinux/config文件 vi /etc/selinux/config

    将SELINUX=enforcing改为SELINUX=disabled

    2)配制免密登录的命令 ssh-keygen -t rsa ssh-copy-id root@hadoop101 创建hadoop101用户,配置atguigu用户具有root权限: vim /etc/sudoers hadoop101 ALL=(ALL) ALL 在/opt目录下创建文件夹 1)在/opt目录下创建module、software文件夹 module:主要用于安装目录 software:主要由于存放安装包 sudo mkdir module sudo mkdir software 2)修改module、software文件夹的所有者 sudo chown hadoop:hadoop module/ software/ 本地浏览器及终端无法通过域名连接远程服务器(此处指VMware中的虚拟机) 添加IP映射

    二、安装JDK

    由于系统自带的JDK目录比较难找,决定卸载原有的JDK,重新安装1.8的JDK 下载命令: yum -y remove java-* 下载1.8JDK 1.8JDK下载使用mobaxterm把安装包上传到/opt/software下解压JDK到/opt/module目录下 tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/module/ 配置JDK环境变量 1)获取JDK路径 /opt/module/jdk1.8.0_261 2)打开/etc/profile文件: vi /etc/profile 3)在profile文件末尾添加JDK路径 #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_261 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    修改后退出

    4)让修改后的文件生效 source /etc/profile 5)测试JDK是否安装成功 java -version

    三、安装Hadoop

    Hadoop下载地址: Hadoop 2.7.2下载将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面 mobaxterm可以直接拖文件进行上传下载进入到Hadoop安装包路径下,解压安装文件到/opt/module下面: cd /opt/software/ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ 查看是否解压成功 ls /opt/module/ 将Hadoop添加到环境变量 1)在/opt/module路径下获取Hadoop安装路径 /opt/module 2)打开/etc/profile文件 sudo vi /etc/profile 3)在profile文件末尾添加Hadoop路径:(shitf+g) ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin 4)保存后退出,并让修改后的文件生效: source /etc/profile 5)测试是否安装成功 hadoop version 6)重启(如果Hadoop命令不能用再重启)

    Hadoop目录结构

    查看Hadoop目录结构 [root@hadoop101 hadoop-2.7.2]# ll total 52 drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 bin drwxr-xr-x. 3 10011 10011 4096 Jan 26 2016 etc drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 include drwxr-xr-x. 3 10011 10011 4096 Jan 26 2016 lib drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 libexec -rw-r--r--. 1 10011 10011 15429 Jan 26 2016 LICENSE.txt -rw-r--r--. 1 10011 10011 101 Jan 26 2016 NOTICE.txt -rw-r--r--. 1 10011 10011 1366 Jan 26 2016 README.txt drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 sbin drwxr-xr-x. 4 10011 10011 4096 Jan 26 2016 share 重要目录 1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)4)sbin目录:存放启动或停止Hadoop相关服务的脚本5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
    Processed: 0.028, SQL: 8