接收器之后的连续管道流

问题描述 投票:0回答:1

我需要使用Data Fusion在Cloud SQL数据库(postgres)中加载位于GCS中的CSV文件。

对于每条CSV行,我需要在另一张表(Table_B)中插入一行,并使用插入的PK在我的目标表(Table_A)中对其进行引用。

问题:

  1. 是否有可能在下沉之后继续管道流动?我无法在数据库接收器之后添加连接器。
  2. 是否可以在数据库接收器插件中返回插入的pk?

截屏:Data Fusion

google-cloud-platform google-cloud-sql google-cloud-data-fusion
1个回答
0
投票

您可以在接收器之后添加一个动作插件。例如,在管道将数据写入接收器之后,Database Action可用于运行SQL命令。

可以在Pipeline Studio的“条件和操作”部分下找到操作插件。

如果现有的动作插件无法满足您的需要,您可以使用this作为起点编写自己的动作插件。

© www.soinside.com 2019 - 2024. All rights reserved.