如何在MR作业中配置映射以批量执行?

问题描述 投票:0回答:1

Map-reduce作业生成几个映射器并在Yarn中运行。如何批量运行这些映射器。假设MR作业产生了100个地图,如何一次只运行10个,以及如何配置下一个10个地图集,以便在前一个集完成后进行拾取。目前所有映射器都是并行运行的。

hadoop hive mapreduce yarn cloudera
1个回答
0
投票

如果您使用的是Hadoop 2.7或更高版本,则可以使用mapreduce.job.running.map.limit属性来限制同时运行的映射器数量

© www.soinside.com 2019 - 2024. All rights reserved.