文章目录
一、虚拟机环境准备二、安装JDK三、安装HadoopHadoop目录结构
一、虚拟机环境准备
克隆虚拟机修改克隆虚拟机的静态IP 修改IP修改主机名 修改主机名 把其他虚拟机的ip及主机名一起写到下面这个文件:
vim /etc/hosts
关闭防火墙
1)查看防火墙
firewall-cmd --state
2)停止防火墙
systemctl stop firewalld.service
3)禁止开机自启动
systemctl disable firewalld.service
开启免密登录
1)进入到/etc/selinux/config文件
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
2)配制免密登录的命令
ssh-keygen -t rsa
ssh-copy-id root@hadoop101
创建hadoop101用户,配置atguigu用户具有root权限:
vim /etc/sudoers
hadoop101 ALL
=(ALL
) ALL
在/opt目录下创建文件夹
1)在/opt目录下创建module、software文件夹 module:主要用于安装目录 software:主要由于存放安装包
sudo mkdir module
sudo mkdir software
2)修改module、software文件夹的所有者
sudo chown hadoop:hadoop module/ software/
本地浏览器及终端无法通过域名连接远程服务器(此处指VMware中的虚拟机) 添加IP映射
二、安装JDK
由于系统自带的JDK目录比较难找,决定卸载原有的JDK,重新安装1.8的JDK 下载命令:
yum -y remove java-*
下载1.8JDK 1.8JDK下载使用mobaxterm把安装包上传到/opt/software下解压JDK到/opt/module目录下
tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/module/
配置JDK环境变量
1)获取JDK路径
/opt/module/jdk1.8.0_261
2)打开/etc/profile文件:
vi /etc/profile
3)在profile文件末尾添加JDK路径
export JAVA_HOME
=/opt/module/jdk1.8.0_261
export PATH
=$PATH:$JAVA_HOME/bin
export CLASSPATH
=.:
$JAVA_HOME/jre/lib/rt.jar:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
修改后退出
4)让修改后的文件生效
source /etc/profile
5)测试JDK是否安装成功
java -version
三、安装Hadoop
Hadoop下载地址: Hadoop 2.7.2下载将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面 mobaxterm可以直接拖文件进行上传下载进入到Hadoop安装包路径下,解压安装文件到/opt/module下面:
cd /opt/software/
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
查看是否解压成功
ls /opt/module/
将Hadoop添加到环境变量
1)在/opt/module路径下获取Hadoop安装路径
/opt/module
2)打开/etc/profile文件
sudo vi /etc/profile
3)在profile文件末尾添加Hadoop路径:(shitf+g)
export HADOOP_HOME
=/opt/module/hadoop-2.7.2
export PATH
=$PATH:$HADOOP_HOME/bin
export PATH
=$PATH:$HADOOP_HOME/sbin
4)保存后退出,并让修改后的文件生效:
source /etc/profile
5)测试是否安装成功
hadoop version
6)重启(如果Hadoop命令不能用再重启)
Hadoop目录结构
查看Hadoop目录结构
[root@hadoop101 hadoop-2.7.2
]
total 52
drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 bin
drwxr-xr-x. 3 10011 10011 4096 Jan 26 2016 etc
drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 include
drwxr-xr-x. 3 10011 10011 4096 Jan 26 2016 lib
drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 libexec
-rw-r--r--. 1 10011 10011 15429 Jan 26 2016 LICENSE.txt
-rw-r--r--. 1 10011 10011 101 Jan 26 2016 NOTICE.txt
-rw-r--r--. 1 10011 10011 1366 Jan 26 2016 README.txt
drwxr-xr-x. 2 10011 10011 4096 Jan 26 2016 sbin
drwxr-xr-x. 4 10011 10011 4096 Jan 26 2016 share
重要目录
1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)4)sbin目录:存放启动或停止Hadoop相关服务的脚本5)share目录:存放Hadoop的依赖jar包、文档、和官方案例