如何在HBase中控制并发映射器

Question

我有进入hive外部表（Hbase）的导入工作。由于我的数据太大，我看到500个映射器被打开并被执行。但我想控制需要同时执行的并发映射器的数量。

我的期望是。让hive仍然创建500个映射器。但我希望一次只能执行100个映射器。

不确定如何控制并发映射器。

任何帮助真的很感激。提前致谢！！

Answer 1

我的期望是。让hive仍然创建500个映射器。但我希望一次只能执行100个映射器。

不确定这是什么意思。但是如果你想控制映射器的数量，一种方法是控制输入分割如下：

set mapreduce.input.fileinputformat.split.maxsize= <some number>;
set mapreduce.input.fileinputformat.split.minsize= <some number>;

设置输入的最大和最小大小将帮助您控制映射器。

您也可以尝试在hive中设置映射器的数量：

SET mapreduce.job.maps=100

希望这可以帮助 ：）