Yarn的调度器

介绍

FIFO调度器:这是最简单的调度器,它根据任务提交的先后顺序进行资源分配。由于它不支持多队列,所以在当前强调多租户和资源利用率的环境下,很少有集群采用FIFO调度器。

容量调度器:这是Yahoo开发的多用户调度器。它支持多队列,每个队列可以配置一定的资源量,并且每个队列内部采用FIFO调度策略。管理员可以为每个队列设置资源最低保证和资源使用上限。如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列。

公平调度器:这是Facebook开发的多用户调度器。它也支持多队列,每个队列可以配置一定的资源量,并且每个队列内部可以选择FIFO、FAIR或DRF策略。公平调度器综合考虑了提交到队列中的各种大小任务的差异,能避免因长时间运行的大任务占用了大量集群资源,造成小任务长时间得不到资源无法执行,影响用户体验。


请使用浏览器的分享功能分享到微信等