Map-reduce作业生成几个映射器并在Yarn中运行。如何批量运行这些映射器。假设MR作业产生了100个地图,如何一次只运行10个,以及如何配置下一个10个地图集,以便在前一个集完成后进行拾取。目前所有映射器都是并行运行的。
如果您使用的是Hadoop 2.7或更高版本,则可以使用mapreduce.job.running.map.limit属性来限制同时运行的映射器数量
mapreduce.job.running.map.limit