Google Cloud Data Fusion 中的 Union 2 数据集

Question

我收到来自两个来源的定期数据上传，这些来源以相同的结构（相同的列等）提交数据。我正在尝试在数据融合中创建一个管道，将该数据合并到 1 个表中。有什么办法可以做到这一点吗？我看到了一个类似的问题，但考虑到十年前就有人提出并回答了这个问题，我想这个平台已经发生了很大的变化，所以我希望这个问题可以问。

我尝试使用联接并将一个数据集中的每一列设置为等于另一个数据集中的同一列，但无济于事。最终产品的空行数等于数据集中未选中列的行数，而包含选中列的数据集的数据完好无损。

Fusion 中的其他工具似乎对此没有用处，但令我难以置信的是，这是不可能的。

我感谢您能够提供的任何帮助！

Answer 1

如果从两个源提取的数据具有相同的模式，我们可以简单地将两个源连接到管道中的同一个接收器。

例如：在给定的管道中，它从具有相同架构的两个不同源（Google Cloud Storage 文件）读取数据并写入相同的目标（Google Cloud BigQuery Table）。