数据流管道中dynamicWrite FileIO中的动态文件夹名称

问题描述 投票:2回答:1

我有一个PCollection<KV<String,String>>。我想将数据按K分组,并将密钥K的所有值写入到名为K的文件夹内的google存储中的文件中。假设使用by分组值后,我有2个条目。

['a',[apple,as]],['b','bat,ball']

我想将所有名称为data_record.txt的文件写在文件夹名'a'中,用于'apple,as',而在'b'中,用于'bat,ball'。如何使用FileIO.dynamicWrite创建动态文件夹名称?该文件夹必须通过用于分组的键来命名。

google-cloud-dataflow apache-beam dataflow apache-beam-io
1个回答
0
投票

您好,您解决了这个问题吗?我有同样的问题

© www.soinside.com 2019 - 2024. All rights reserved.