我有两个映射器和两个缩减器(1和2)。我的驱动程序类运行两个作业,这些作业需要两个不同的输入文件并输出两个不同的输出文件(再次为1和2)。因此job1与inputfile1,outputfile1,map1和reduce1相关联;同样适用于job2。
Reduce1使用context.write输出格式为(id,number)的数据。我的目标是在Reduce2中访问这些键值对,但是我不知道如何操作。我已经尝试在reduce1中执行conf.setInt,但是这些值未传递到reduce2中,因为在执行conf.getInt时没有得到它们。
根据我的经验,您将输出写入一个路径,然后使用该路径作为输入来运行另一项工作...
理论上,如果在第一个Job的waitForCompletion
方法之后添加更多代码,则可以在一个程序中创建两个Jobs