hadoop(6)——mrjob的使用(2)——交给hadoop集群

    科技2025-10-02  22

    (1)开启hdfs和yarn服务

    (2)查看写好的文件(同上一篇hadoop(5)) (3)执行命令 (4)任务完成 (5)查看output

    ps:中间遇到了很多坑,比如说在执行该命令向前,一定要先hadoop fs -rm -r /output,不然已经建立了该文件夹hadoop会报错 还有就是如果在虚拟环境下创建该任务,除了(3)的命令外,一定要加上– python-bin +/python解释器的位置参数 还有就是一定要把safe模式关掉:hdfs dfsadmin -safemode leave

    Processed: 0.023, SQL: 8