蜂巢中的减速器选择

问题描述 投票:1回答:1

我有以下记录集要像]处理>

 1000, 1001, 1002 to 1999,
 2000, 2001, 2002 to 2999,
 3000, 3001, 3002 to 3999

[我想使用HIVE处理以下记录集,以便reducer-1将处理1000至1999的数据,reducer-2将处理2000至2999的数据,而reducer-3将处理3000至3999的数据。请帮助我解决以上问题。

我有以下记录集要处理,例如1000、1001、1002到1999、2000、2001、2002到2999、3000、3001、3002到3999,并且我想以这种方式使用HIVE处理以下记录集。 。

hive hiveql hadoop-partitioning
1个回答
0
投票

使用DISTRIBUTE BY,映射器的输出将根据distribution by子句进行分组,以将其传输到reducer进行处理:

© www.soinside.com 2019 - 2024. All rights reserved.