如何在不使用Dataflow或Databricks或Azure datalake分析的情况下使用Azure Data Factory删除文件中的重复项

Question

我正在创建一个数据管道，以将数据从一个文件复制到另一个文件。我的输入文件有4列，而我的输出文件有2列。我只想复制输入文件的第1列和第3列，并将其存储在输出文件中。复制完后，我想从输出文件中删除重复项。但是我无法使用Dataflow或Databricks或Azure datalake分析，因为我的设置中没有计算。有没有不使用compute的方法吗？

Answer 1

您需要一个计算环境来进行重复数据删除。 ADF管道库中有针对不同行和重复数据删除的预构建模式。