使用Azure数据工厂基于列从存储帐户中合并两个或多个文件

Question

我需要使用ADF管道合并/合并存在于Azure存储帐户中的两个文件。

天蓝色的复制活动中有一个合并选项，但这将合并相似的文件。该文件的列包含管道分隔的数据

我的要求是：根据特定的ID将第二个文件列追加到第一个文件列中

示例>>

File1
ID|Name|Age|XX|YY    
001|Abc|20|x1|y1
002|Dfg|30|x2|y2


File2
ID|AA|BB
001|a1|b1
002|a2|b2

现在，我的ADF活动的输出可以是其他文件，也可以是具有以下格式的文件1或2：>

OutputFile
ID|Name|Age|XX|YY|AA|BB
001|Abc|20|x1|y1|a1|b1
002|Dfg|30|x2|y2|a2|b2
注意：以上文件是根据ID合并的。

如何使用adf管道活动实现相同的目标？

如前所述，尝试了合并复制活动行为。这将无法满足我的要求。

azure data factory: how to merge all files of a folder into one file

我需要使用ADF管道合并/合并存在于Azure存储帐户中的两个文件。天蓝色的复制活动中有一个合并选项，但是它将合并相似的文件。文件...

Answer 1

听起来像SQL中的UNION之类的Merge Copy函数，所以它之所以可行，是因为这不适用于您的方案。考虑到您提到的限制，特别是缺少数据流，您将不得不在某个地方进行一些自定义编码。关于如何解决此问题，我有两个想法。