使用 Azure 数据工厂处理 zip 文件

Question

在数据湖中 我正在寻找有关如何处理包含单个.zip 文件的信息。 不确定我是否可以直接将 zip 文件内的内容处理到 Azure 数据库中，而无需将内容解压缩到单独的文件夹中。

另一个问题是文本文件在管道分隔符中具有可变数量的列计数，因为单个文本文件保存来自多个表的数据。不确定处理此可变列计数文本文件的可能方法是什么。

Answer 1

数据工厂支持读取.zip文件中的文件/数据，我们可以为.zip文件设置压缩类型，并且不需要将内容解压缩到单独的文件夹中。请参阅下面的示例：

对于您的另一个问题，文本文件的管道分隔符中的列数是否可变。数据工厂不能很好地处理这种文件，它总是根据列分隔符编号将第一行视为架构。目前还没有好的处理方法。

HTH.

Answer 2

查找活动仅限 5000 条记录。那么在这种情况下，如何在不解压文件的情况下获取文件的行数？