我有两个bigquery表。
表A.
c_id count_c_id p_id
表B.
id c_name p_type c_id
根据表A中的列,我需要使用DF管道从表B中查找详细信息。
PCollection<TableRow> tableRowBQ = pipeline.apply(BigQueryIO.Read
.named("Read").fromQuery("select c_id,count_c_id,p_id from TableA"));
我的要求是基于此查询的c_id返回我应该能够使用pcollection从TableB获取c_name。我无法找到任何pcollection示例来迭代一个表中的字段并使用该字段从另一个表中获取数据。
Google小组分享的示例作为参考。 https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master-1.x/src/main/java/com/google/cloud/dataflow/examples/cookbook/JoinExamples.java。
从Cloud DataFlow documentation,我认为你有两种方法来完成这种JOIN任务。根据你有多少独特的c_id
s,我会选择以下两个选项之一。
c_id
s,我会把你的SELECT
查询的结果视为一个侧输入,并用它作为过滤器传递到表B中的查找;这是一个使用BigQueryIO查询结果作为侧面输入的代码片段:Apply Side input to BigQueryIO.read operation in Apache Beam。
CoGroupByKey
。例如,Table A:
c_id -> count_c_id, p_id
Table B
c_id -> c_name
由于两个表都可以看作是某些不同值的共享键,因此可以将它们CoGroup为
c_id -> ([count_c_id, p_id], [c_name]]
那么你可以在这个“分组”的新PCollection上做任何你想做的事情。