Apache的紧缩:如何设置多个输入路径?

问题描述 投票:0回答:1

我有一个问题:当我使用Apache的紧缩,我不能设置多个输入通道。我怎么解决这个问题?

mapreduce hadoop2 apache-crunch
1个回答
0
投票

你可以通过在列表中指定的所有输入通道的多个输入文件添加到紧缩。

public class Name {

public static void main(String[] args) {
    Pipeline pipeline =  new MRPipeline(Name.class, jobName, conf);
    List<Path> inputPathList = new ArrayList<>(); // Add your InputPaths here
    PCollection<String> source = From.sequenceFile(inputPathList, Text.class);
  }
}
© www.soinside.com 2019 - 2024. All rights reserved.