在虚拟机Ubuntu18.04系统中安装hadoop-2.7.3的过程（面向纯新手）

记录一次hadoop安装过程

虚拟机的配置 首先我们需要先装好一个虚拟机，我这使用的是Ubuntu18.04版本，安装好后是英文界面，可以按照以下方法更换为中文界面

1.首先我们需要下载jdk 打开火狐，切换成百度，搜索jdk，进入官网下载

我们下载这个版本

2.接下来下载hadoop2.7.3版本（其余版本同样，这里使用2.7.3版本进行演示） 下载网址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ 选择这个

点击下载，下载完成后可以在下载文档中查看到这两个包

接下来 我们进行配置，首先我们先下载一个vim编辑器（好用而已，别的能用也行） 右击打开终端（如下图所示）

sudo apt-get install vim

然后系统会自动安装好vim

一、ava环境变量配置

1.将下载好的 jdk包解压缩到一个自己创建的文件夹中（像这样） （首先我在主目录创建usr>java>jdk1.8.0_261）

2.使用如下命令

sudo vim /etc/profile

打开文件后按 i 键进入插入模式 来到最后一行添加以下代码 推荐使用绝对路径（我这相对路径报错 路径可在jdk文件属性中查看）

export JAVA_HOME=/home/master/usr/java/jdk1.8.0_261 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

添加完毕后按esc进入命令模式 按:wq 回车（文件保存并退出） 然后执行如下代码

source /etc/profile

查看java是否安装成功

java -version

二、配置ssh免密登录

一般来说新配置的虚拟机没有安装ssh

# 查看ssh安装包情况 dpkg -l | grep ssh # 查看是否启动ssh服务 ps -e | grep ssh

如果没有安装的话执行如下命令

sudo apt-get install openssh-server

安装完成后

ssh -keygen -t rsa

按两到三次回车直到显示$可以输命令了 然后输入如下命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

配置成功 以后就可以免密码登录

三、配置hadoop

首先将hadoop压缩包解压至自己想放入的文件夹 usr>hadoop (此处我修改了文件名称 去掉了后面的版本号)

进入usr文件打开终端 授予权限

sudo chown -R master ./hadoop

打开配置文件

sudo vim /etc/profile

添加如下代码（相当于覆盖之前java环境配置）

export JAVA_HOME=/home/master/usr/java/jdk1.8.0_261 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH export HADOOP_HOME=/home/master/usr/hadoop

然后:wq 保存退出

source /etc/profile

测试

hadoop version

如下图所示

四、伪分布式安装

在hadoop>etc>hadoop中找到 core-site.xml 和 hdfs-site.xml 和 hadoop-env.sh 三个文件 找到后直接双击打开（以下代码中的路径请按照自己路径进行修改 其中 tmp文件夹没有没关系按代码复制上去） 在core-site.xml中插入如下代码

<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/master/usr/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

在 hdfs-site.xml 中插入如下代码

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/master/usr/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/master/usr/hadoop/tmp/dfs/data</value> </property> </configuration>

在 hadoop-env.sh 中修改 JAVA_HOME的路径 像这样 修改为自己路径

保存退出 最后 配置完成后在 /home/master/usr/hadoop (注意是自己的hadoop目录) 下使用以下命令 执行format命令，格式化名称节点

./bin/hdfs namenode -format

如果成功会在后面看见 has been successfully formatted 字样 开启hdfs： /home/master/usr/hadoop (注意是自己的hadoop目录)

./sbin/start-dfs.sh

输入 jps 查看 如果 datanode和namenode出现表示成功

在浏览器中输入http://localhost:50070 查看 如下 则成功