Hive集成Tez引擎跑任务出现的问题(Java heap space问题)

    科技2022-07-11  161

    问题1:Hive集成Tez引擎跑任务出现异常:TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space

    看yarn 的job平台是success的,所以想到Tez的内存设置问题,因为Tez引擎是纯内存操作,所以对内存大小肯定有要求。所以查看下tez的设置情况: 查看了

    SET hive.tez.container.size;容器大小:如果8G,去除预留和其他组件给4G,4*1024 SET hive.tez.java.opts;(java内存设置 -Xmx1048m)值一般是80% * 容器大小 SET hive.am.resource.memory.mb; SET hive.am.java.opts;

    以下是调优参数这是:

    问题2:如果报以下问题:

    Status: Failed Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskResource=<memory:4096, vCores:1>, Cluster MaxContainerCapability=<memory:2048, vCores:2> FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskResource=<memory:4096, vCores:1>, Cluster MaxContainerCapability=<memory:2048, vCores:2>

    则继续调整tez内存大小,不能超过yarn的单个任务的最大设置。 执行ok了

    附录:

    一、AM、Container大小设置1、tez.am.resource.memory.mb  #设置 tez AM容器内存   默认值:1024     配置文件:tez-site.xml  建议:不小于或者等于yarn.scheduler.minimum-allocation-mb值。    2、hive.tez.container.size  #设置 tez container内存   默认值:-1   默认情况下,Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。   配置文件:hive-site-xml  建议:不小于或者是yarn.scheduler.minimum-allocation-mb的倍数 二、AM、Container JVM参数设置 1、tez.am.launch.cmd-opts  #设置 AM jvm,启动TEZ任务进程期间提供的命令行选项。   默认值:-XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseParallelGC(用于GC),默认的大小:80%*tez.am.resource.memory.mb  配置文件:tez-site.xml  建议:不要在这些启动选项中设置任何xmx或xms,以便tez可以自动确定它们。   2、hive.tez.java.ops  #设置 container jvm   默认值:Hortonworks建议“–server –Djava.net.preferIPv4Stack=true–XX:NewRatio=8 –XX:+UseNUMA –XX:UseG1G”,默认大小:80%*hive.tez.container.size  说明:在hive 2.x的官方文档中没有找到这个参数。看有些博客里面有这个值。  配置文件:hive-site.xml 3、tez.container.max.java.heap.fraction  #设置task/AM占用jvm内存大小的比例。  默认值:0.8  配置文件:tez-site.xml  说明:这个值按具体需要调整,当内存不足时,一般都要调小。三、Hive内存Map Join参数设置1、tez.runtime.io.sort.mb  #设置输出排序内存大小  默认值:100  配置文件:tez-site.xml  建议:40%*hive.tez.container.size,一般不超过2G2、hive.auto.convert.join.noconditionaltask  #是否将多个mapjoin合并为一个  默认值:true  建议使用默认值。  配置文件:hive-site.xml3、hive.auto.convert.join.noconditionaltask.size   默认值:10000000  (10M)  说明:这个参数使用的前提是hive.auto.convert.join.noconditionaltask值为true,多个mapjoin转换为1个时,所有小表的文件大小总和小于这个值,这个值只是限制输入的表文件的大小,并不代表实际mapjoin时hashtable的大小。 建议值:1/3* hive.tez.container.size  配置文件:hive-site.xml 4、tez.runtime.unordered.output.buffer.size-mb  #如果不直接写入磁盘,使用的缓冲区大小  默认值:100M  建议:10%* hive.tez.container.size  配置文件:tez-site.xml5、tez.am.container.reuse.enabled  #容器重用  默认值:true  配置文件:tez-ste.xml
    Processed: 0.010, SQL: 8