我有以下记录集要像]处理>
1000, 1001, 1002 to 1999, 2000, 2001, 2002 to 2999, 3000, 3001, 3002 to 3999
[我想使用HIVE处理以下记录集,以便reducer-1将处理1000至1999的数据,reducer-2将处理2000至2999的数据,而reducer-3将处理3000至3999的数据。请帮助我解决以上问题。
我有以下记录集要处理,例如1000、1001、1002到1999、2000、2001、2002到2999、3000、3001、3002到3999,并且我想以这种方式使用HIVE处理以下记录集。 。
使用DISTRIBUTE BY
,映射器的输出将根据distribution by子句进行分组,以将其传输到reducer进行处理: