HDFS的Shell操作

1.语法介绍

1.1 通用语法

hdfs dfs [选项]

1.2 创建文件夹

hdfs dfs -mkdir [-p]<paths>

1.3 列出文件、目录

[-d] 返回path [-h] 人性化显示大小(human-readble) [-R] 级联显示path下的目录

hdfs dfs -ls [-d][-h][-R]<paths>

显示级联目录

hdfs dfs -ls -R <paths>

1.4 新建文件

hdfs dfs -touchz<paths>

1.5 上传文件至HDFS中

hdfs dfs -put [-f][-p]<localsrc> <dst> hdfs dfs -copyFromLocal [-f][-p][-l]<localsrc> <dst>

1.6 将本地文件移动到HDFS中

此命令将文件复制到HDFS中，本地文件被删除

hdfs dfs -moveFromLocal <localsrc> <dst>

1.7 下载文件

hdfs dfs -get [-p]<src> <localdst> hdfs dfs -copyToLocal [-p]<src> <localdst>

1.8 查看文件

[-ignoreCrc] 忽视循环检验失败的文件 [-f] 动态更新显示数据

hdfs dfs -cat/text[-ignoreCrc] <src> hdfs dfs -tail [-f]<file>

1.9 追写文件

hdfs dfs -appendToFile <localsrc> <dst>

1.10 删除目录或文件

hdfs dfs -rm [-f][-r/R] <src>

1.11 显示占用磁盘空间大小

[-s] 显示指定目录下的文件总大小 [-h] 人性化显示(human-readble)

hdfs dfs -du [-s][-h] <path>

1.12 HDFS文件复制

hdfs dfs -cp [-f][-p] <src> <dst>

1.23 HDFS文件移动（改名）

hdfs dfs -mv [src] [dst]

1.24 HDFS文件合并下载

hdfs dfs -getmerge [src] [dst]

1.25 HDFS统计

统计目录下的子目录、文件个数及文件大小 结果第一个数字表示目录（目录为空时，统计‘.’这个目录），第二个数字标识文件数，第三个数字表示文件大小。

hdfs dfs -count

1.26 扩展命令

hdfs dfs -setfattr {-n name [-v value]} hdfs dfs -getfattr {-n name | -d}

1.27 管理命令

hdfs dfsadmin [参数]

报告文件系统基本信息和统计信息

hdfs dfsadmin -report

查看拓扑

hdfs dfsadmin -printTopology

2.HDFS高级功能

2.1 安全模式

查看当前状态

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

离开安全模式

hdfs dfsadmin -safemode leave

等待安全模式结束

hdfs dfsadmin -safemode wait