hdoop(2)——hdfs一些常用的配置文件

    科技2024-08-13  27

    (1)core-site xml

    此文件在etc/hadoop/下,此目录下写入了外部访问hdfs的端口信息:

    默认端口号为9000

    (2)hdfs-site xml

    此文件位置同(1),用cat命令查看该文件: <1> 此处内容表示的是副本数,在这里可以设置副本数为几个 <2> <3> 此处可以看到datanode数据存放在哪 此处可以设置我们的namenode的文件放置在哪

    (3)mapred-site xml

    文件位置同上 <1> 此处指定了mapreduce执行的端口号为9001 <2> 此处指定了调度工具为yarn

    (4)yarn-site xml

    文件位置同上 <1> 我们在shuffle阶段处理所用到的工具 <2>

    yarn跑起来后的hostname的设定 <3> 配置虚拟内存是否检查

    Processed: 0.010, SQL: 8