Hadoop的作业调度器主要有三种:FIFO,Capcity Schedule和Fair Schedule.
默认的调度器是Capcity Schedule,存放在yarn-default.xml文件中
FIFO调度器容量调度器
支持多个队列,每个队列可以配置一定的资源量,每个队列采用fifo调度策略为了防止同一用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占的资源量进行限定.最闲的队列计算方法,task/资源百分比
队列内任务的排序按照作业优先级和计较时间顺序,同时考虑用户资源量限制和内存限制
三个队列并发执行
公平调度器
队列中的每个job都有几乎去得到资源.按照优先级分配资源,优先级越高,越容易得到资源.但是每个job都会分配到资源以确保公平.资源有限的情况下,每个job理想情况下获得的计算资源与实际获得的计算资源存在一种差距,叫做差额同一个队列中,job的资源缺额越大,越先获得资源有限制性.作业是按照缺额的高低来先后执行的,而且可以看到图上有多个作业同时在执行所需的资源比较大,对机器性能的要求也比较高.否则就会出现那种情况,运行的机器数多,但是没有一个能跑完的.三种资源调度器怎么选择呢?
机器性能好,直接使用公平调度器
机器性能差的话,又想要并发度,就使用容量调度器
机器性能差,有没有并发度,fifo
又想要并发度,就使用容量调度器
机器性能差,有没有并发度,fifo
