Hadoop常用命令和CentOS命令的不同

    科技2026-10-01  11

    Hadoop常用命令

    Hadoop常用命令-格式Hadoop常用命令—查看版本hadoop常用命令—目录操作使用Shell命令执行Hadoop自带的WordCount 总结

    1、打开终端模拟器 、Hadoop常用命令-格式 、Hadoop常用命令-查看版本 、Hadoop常用命令-目录操作 、hadoop常用命令-文件操作


    打开终端模拟器,切换到/apps/hadoop/sbin目录下,启动Hadoop

    cd /apps/hadoop/sbin ls ./start-all.sh

    执行jps,检查一下Hadoop相关进程是否启动

    jps

    [root@bogon ceshi]# jps 71776 DataNode 84946 NodeManager 110389 Jps 82571 NameNode 71930 SecondaryNameNode 84285 ResourceManager

    Hadoop常用命令-格式

    HDFS提供了Shell的操作接口

    操作系统与外部最主要的接口就叫做shell。shell是操作系统最外面的一层。 shell管理你与操作系统之间的交互:等待你输入,向操作系统解释你的输入,并且处理各种各样的操作系统的输出结果。 shell提供了你与操作系统之间通讯的方式。这种通讯可以以交互方式(从键盘输入,并且可以立即得到响应),或者以shell script(非交互)方式执行。 shell script是放在文件中的一串shell和操作系统命令,它们可以被重复使用。 本质上,shell script是命令行命令简单的组合到一个文件里面。 Shell基本上是一个命令解释器,类似于DOS下的command.com

    文件操作命令与Linux相似

    使用前先启动Hadoop配置环境和jp查看是否打开。

    格式为:hadoop fs -<命令> <目标>

    hadoop fs -ls /user

    Hadoop常用命令—查看版本

    1、查看hdfs系统版本

    hdfs version

    2、查看hdrs系统状态

    hdfs dfsadmin -report

    hadoop常用命令—目录操作

    1、查看目录及文件

    hadoop fs -ls / #查看根目录 hadoop fs -ls /joel #查看根目录里面的Joel目录 hadoop fs -ls -R / #hadoop fs -ls -R /

    2、创建及删除目录

    hadoop fs -mkdir /joel #创建 hadoop fs -mkdir -p /joel/tmp/apps #创建所有父子目录 hadoop fs -touchz /joel/file.txt hadoop fs -rm -r /joel #删除
    ## hadoop常用命令-文件操作 在Hadoop中的joel文件夹中创建一个text.txt文件 hadoop fs -touchz /joel/test.txt

    将Hadoop根下joel目录中的text.txt文件,移动到根下并重命名为text2.txt

    hadoop fs -mv /joel/text.txt /text2.txt Hadoop中的mv用法同Linux中的一样,都可以起到移动文件和重命名的作用。

    将Hadoop根下的text2.txt文件复制到joel目录下

    hadoop fs -cp /text2.txt /joel

    .在Linux本地/ceshi目录下,创建一个data.txt文件,并向其中写入hello hadoop!

    cd /ceshi touch data.txt echo hello hadoop! >> data.txt

    将Linux本地/jeol目录下的data.txt文件,上传到HDFS中的/test1目录下

    hadoop fs -put /ceshi/data.txt /test1 hadoop fs -put /ceshi/wenben/test1.txt /joel #从根目录找到指定文件上传到 Hadoop/joel 文件目录夹中 ```.. . 查看Hadoop中/joel目录下的data.txt文件 ```powershell hadoop fs -cat /joel/data.txt

    除此之外还可以使用tail方法

    hadoop fs -tail /test1/data.txt tail方法是将文件尾部1K字节的内容输出。支持-f选项,行为和Unix中一致。

    查看Hadoop中/test1目录下的data.txt文件大小

    hadoop fs -du -s /jeol/data.txt -du 后面可以不加-s,直接写目录表示查看该目录下所有文件大小

    text方法可以将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

    hadoop fs -text /test1/data.txt

    stat方法可以返回指定路径的统计信息,有多个参数可选,当使用-stat选项但不指定format时候,只打印文件创建日期,相当于%y

    hadoop fs -stat /joel/data.txt 下面列出了format的形式: %b:打印文件大小(目录为0) %n:打印文件名 %o:打印block size (我们要的值) %r:打印备份数 %y:打印UTC日期 yyyy-MM-dd HH:mm:ss %Y:打印自1970年1月1日以来的UTC微秒数 %F:目录打印directory, 文件打印regular file

    将Hadoop中/joel目录下的data.txt文件,下载到Linux本地/apps目录中

    hadoop fs -get /joel /data.txt /apps hadoop fs -get /joel/test.txt #下载文件 hadoop fs -get /joel/test.txt /ceshi/wenben #从hadoop/joel文件目录夹中下载到指定的/ceshi/wenben目录中

    查看一下/apps目录下是否存在data.txt文件

    ls /apps

    使用chown方法,改变Hadoop中/joel目录中的data.txt文件拥有者为root,使用-R将使改变在目录结构下递归进行。

    hadoop fs -chown root /joel/data.txt

    使用chmod方法,赋予Hadoop中/joel目录中的data.txt文件777权限

    读、写、运行三项权限可以用数字表示,就是r=4,w=2,x=1。所以,上面的例子中的rw-r–r--用数字表示成644。反过来说777就是rwx rwx rwx,意思是该登录用户(可以用命令id查看)、所在的组和其他人都有最高权限。

    hadoop fs -chmod 777 /test1/data.txt

    删除Hadoop根下的text.txt文件

    hadoop fs -rm /text.txt

    删除Hadoop根下joel目录里的text.txt

    hadoop fs -rm /joel/text.txt

    当在Hadoop中设置了回收站功能时,删除的文件会保留在回收站中,可以使用expunge方法清空回收站。

    hadoop fs -expunge

    注意事项 1、在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

    使用Shell命令执行Hadoop自带的WordCount

    首先切换到/data目录下,使用vim编辑一个data.txt文件,内容为:hello world hello hadoop hello ipieuvre

    cd /data vim data.txt

    在HDFS的根下创建in目录,并将/data下的data.txt文件上传到HDFS中的in目录

    hadoop fs -put /data/data.txt /in 将/data/data.txt 里的内容上传到根目录 并将data.txt 名字更改为in

    执行hadoop jar命令,在hadoop的/apps/hadoop/share/hadoop/mapreduce路径下存在hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar包,我们执行其中的worldcount类,数据来源为HDFS的/in目录,数据输出到HDFS的/out目录 使用前切换到 /apps/hadoop/share/hadoop/mapreduce/目录下查看hadoop-mapreduce-examples-版本.jar包。

    cd /apps/hadoop/share/hadoop/mapreduce ls [joel@localhost mapreduce]$ ls hadoop-mapreduce-client-app-2.7.2.jar hadoop-mapreduce-client-common-2.7.2.jar hadoop-mapreduce-client-core-2.7.2.jar hadoop-mapreduce-client-hs-2.7.2.jar hadoop-mapreduce-client-hs-plugins-2.7.2.jar hadoop-mapreduce-client-jobclient-2.7.2.jar hadoop-mapreduce-client-jobclient-2.7.2-tests.jar hadoop-mapreduce-client-shuffle-2.7.2.jar hadoop-mapreduce-examples-2.7.2.jar hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /in /out

    查看HDFS中的/out目录

    hadoop fs -ls /out hadoop fs -cat /out/*

    进入Hadoop安全模式

    hdfs dfsadmin -safemode enter

    退出Hadoop安全模式

    hdfs dfsadmin -safemode leave

    切换到/apps/hadoop/sbin目录下,关闭Hadoop

    cd /apps/hadoop/sbin ./stop-all.sh

    总结

    掌握hadoop常用命令 语法格式:hadoop fs -<命令> <目标> 查看版本前要先打开Hadoop集群,检查是否打开输入jps命令查看开启状态不论在那个位置输入都会出现响应。 hdfs version 查看Hadoop版本信息 hdfs dfsadmin -report 查看系统状态 目录操作 hadoop fs -ls <目标> 掌握CentOS基本命令即可掌握 Hadoop命令使用有所不同就是在前添加了hadoop fs Hadoop fs -cat <目标>查看文件命令 liux 只有一个 cat <目标>
    Processed: 0.011, SQL: 9