下载Hadoop安装包到本地,解压到安装目录,添加Hadoop安装文件路径到系统“HADOOP_HOME”环境变量,然后添加$HADOOP_HOME/bin 到系统环境变量。
Hadoop 软件包常见目录说明:
bin目录:Hadoop客户端命令所在的目录etc目录:很多文件夹,最重要的是hadoop文件夹,里面有所有的hadoop相关配置文件。sbin目录:一些脚本,这些脚本用于启动hadoop相关进程。share目录:常用例子Hadoop环境配置:
编辑 /etc/hadoop 文件下的文件:
hadoop-env.sh:配置JAVA_HOME 变量,export JAVA_HOME=……core-site.xml:在<configuration>标签中添加如下配置:<property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property> hdfs-site.xml:在<configuration> 标签中添加如下配置:<!--(配置副本数量,设置一个块要被存放在几个节点中)--> <property> <name>dfs.replication</name> <value>1</value> </property> <!--配置临时文件的放置位置,默认是/tmp/hadoop,系统重启的时候会清空,可以修改为自定义的目录--> <property> <name>hadoop.tmp.dir</name> <value>这里填写自定义的目录</value> </property>添加Hadoop到环境变量: 执行下面的命令:
vim ~/.bash_profile // 非root用户登录的状态下 或者 vim /etc/profile // root 用户登录的状态下然后在打开的配置文件中添加以下内容:
export HADOOP_HOME=(hadoop安装目录) export PATH=$HADOOP_HOME/bin:$PATH执行下面的命令让配置生效
source ~/.bash_profile 或者 source /etc/profile第一次启动的时候一定哟啊格式化文件系统,只需一次格式化即可,不要重复执行。格式化文件系统的命令如下:
hdfs namenode -format进入到hadoop安装目录下的sbin目录,执行下面的命令启动HDFS:
./start-dfs.sh 或者执行 $HADOOP_HOME/sbin/start-dfs.sh在终端输入jps命令,如果有DataNode和NameNode进程则表示启动成功。 还可以使用浏览器浏览 http://虚拟机ip:50070 来验证是否启动成功,这一步要求防火墙开启了50070端口或者防火墙是关闭状态的,相关防火墙命令如下:
查看已经开放的端口:firewall-cmd --list-ports 开放某一端口:firewall-cmd --zone=public --add-port=50070/tcp --permanent 注意,开放端口后需要重启防火墙才可以生效。关闭某一个端口:firewall-cmd --zone=public --remove-port=50070/tcp --permanent 注意,这里同样需要重启防火墙生效。关闭防火墙systemctl stop firewalld 重启防火墙firewall-cmd --reload 或者 systemctl restart firewalld 打开防火墙systemctl start firewalld 设置开机启动防火墙systemctl enable firewalld 设置开机禁止启动防火墙systemctl disable firewalld停止HDFS的方法十分简单,进入到hadoop安装目录下的sbin 目录,执行该目录下的stop-dfs.sh脚本即可。
HDFS的常用命令非常类似于Linux的shell命令,只要在前边加上“hadoop fs”即可。
hadoop fs -ls [目录名] 用于列出目录中的文件和文件夹hadoop fs -put [文件] [目标目录] 将本地文件复制到HDFS文件系统中hadoop fs -copyFromLocal [文件名] [目标目录] 将文件从本地复制到HDFS系统中。hadoop fs -moveFromLocal [文件名] [目标目录] 将文件从本地剪切到HDFS系统中。hadoop fs -cat [文件名] 查看文件的内容hadoop fs -text [文件名] 查看文件的内容hadoop fs -get [文件地址]从HDFS获取文件到本地hadoop fs -mkdir [名称] 创建对应名称的目录hadoop fs -mv [源] [目标] 将文件从HDFS源地址复制到HDFS目标地址hadoop fs -getmerge [文件夹] [合并后的文件名称] 将HDFS目录下的所有文件合并成一个文件,下载到本地文件系统。hadoop fs -rm [文件名] 将HDFS上对应的文件删除hadoop fs -rmdir [文件夹名称] 将HDFS对应文件夹删除,有非空文件夹检测hadoop fs -rm -r [文件夹名称] 将HDFS对应文件夹删除