大数据之Hadoop(二)-Hadoop运行环境搭建(JDK安装和Hadoop安装及Hadoop目录结构分析--手把手教)

    科技2022-07-14  109

    1、虚拟机环境准备

    1、准备一台虚拟机 2、配置网络设置静态IP 具体参考:Linux网络配置 3、修改主机名

    vim /etc/sysconfig/network

    4、关闭防火墙

    #1:查看防火状态 systemctl status firewalld service iptables status #2:暂时关闭防火墙 systemctl stop firewalld service iptables stop #3:永久关闭防火墙 systemctl disable firewalld chkconfig iptables off

    5、创建一个新用户

    #adduser zhukun //添加一个名为zhukun的用户 #passwd zhukun //修改密码 Changing password for user zhukun. New UNIX password: //在这里输入新密码 Retype new UNIX password: //再次输入新密码 passwd: all authentication tokens updated successfully.

    6、赋予新用户root权限 修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示: 修改完毕,现在可以用zhukun帐号登录,然后用命令 sudo – ,即可获得root权限进行操作。

    7、在/opt目录下创建文件夹 1、在/opt目录下创建module、software文件夹

    sudo mkdir module sudo mkdir software

    2、修改module、software文件夹所有者

    sudo chown zhukun:zhukun module/ software/

    2、安装JDK和Hadoop

    JDK资源: 链接:https://pan.baidu.com/s/1C1Pw0iaog3dFGHQAilru3w 提取码:b3kn Hadoop资源: 链接:https://pan.baidu.com/s/15cyEaVsbJpRkH6ce459XWg 提取码:pzda

    1、用Xftp工具将JDK压缩包和Hadoop导入到opt目录下面的software文件夹下面 (Xshell和Xftp的安装和使用) 2、在Linux系统下的opt目录查看软件包是否成功导入 3、将压缩包解压到/opt/module 目录下

    tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

    4、配置JDK环境变量 (1)先获取JDK路径

    [zhukun@hadoop101 jdk1.8.0_144]$ pwd /opt/module/jdk1.8.0_144

    (2)打开/etc/profile文件

    [zhukun@hadoop101 software]$ sudo vim /etc/profile

    在profile文件末尾添加JDK路径 (3)保存后退出 (4)让修改后的文件生效

    [zhukun@hadoop101 jdk1.8.0_144]$ source /etc/profile

    5、测试JDK是否安装成功

    [zhukun@hadoop101 jdk1.8.0_144]# java -version java version "1.8.0_144"

    说明安装成功,如果没显示重启系统reboot

    6、将Hadoop添加到环境变量 (1)获取Hadoop安装路径

    [zhukun@hadoop101 hadoop-2.7.2]$ pwd /opt/module/hadoop-2.7.2

    (2)打开/etc/profile文件

    [zhukun@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

    (3)保存后退出 (4)让修改后的文件生效

    [zhukun@ hadoop101 hadoop-2.7.2]$ source /etc/profile

    7、测试Hadoop是否安装成功

    [zhukun@hadoop101 hadoop-2.7.2]$ hadoop version Hadoop 2.7.2

    说明安装成功,如果没显示重启系统reboot

    3、Hadoop的目录结构

    1、查看Hadoop目录结构

    2、重要目录

    (1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本 (2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件 (3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能) (4)sbin目录:存放启动或停止Hadoop相关服务的脚本 (5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

    Processed: 0.011, SQL: 8