如何在MapReduce中将信息从一个reducer传递到另一个reducer

问题描述 投票:0回答:1

我有两个映射器和两个缩减器(1和2)。我的驱动程序类运行两个作业,这些作业需要两个不同的输入文件并输出两个不同的输出文件(再次为1和2)。因此job1与inputfile1,outputfile1,map1和reduce1相关联;同样适用于job2。

Reduce1使用context.write输出格式为(id,number)的数据。我的目标是在Reduce2中访问这些键值对,但是我不知道如何操作。我已经尝试在reduce1中执行conf.setInt,但是这些值未传递到reduce2中,因为在执行conf.getInt时没有得到它们。

java hadoop mapreduce
1个回答
0
投票

根据我的经验,您将输出写入一个路径,然后使用该路径作为输入来运行另一项工作...

理论上,如果在第一个Job的waitForCompletion方法之后添加更多代码,则可以在一个程序中创建两个Jobs

© www.soinside.com 2019 - 2024. All rights reserved.