Bigtable IO连接器是否有Apache Beam DynamicDestinations？

Question

Apache Beam的DynamicDestinations！适用于BigQueryIO。

BigtableIO是否有相同的实现或解决方法？

events.apply(BigTableIO.<UserEvent>write()
  .to(new DynamicDestinations<UserEvent, String>() {
...
...

Answer 1

我会说不，因为BigQuery和BigTable的加载模式不同。

的确，使用BigQuery，您可以导入数据块并将其分组到文件中，并将它们加载到其他表中。动态目标正是这样做的：将数据按正确的块进行路由，然后加载到BigQuery中。

但是，对于BigTable，这种负载不存在。因此，无法应用相同的逻辑。

作为解决方法，您可以根据数据值将自己写入BigTable或写入文件，然后将另一个数据流发送到load data from Storage to BigTable (Dataflow template exists for this)