从u-sql中的文件夹获取要处理的文件数

问题描述 投票:0回答:1

如何在u-sql中从文件夹(目录)中获取文件计数

如果文件夹中有多个文件,则仅处理最新文件,否则处理第一个文件!

azure-data-lake u-sql azure-stream-analytics azure-analytics
1个回答
0
投票

正如我在评论中所说,您可以执行以下操作:

DECLARE EXTERNAL @input string = @"/someFolder/{file}.csv";

@extractedData = EXTRACT file as string,
                         col1 as number,
                         col2 as string
                         FROM @input
                         USING new Extractors.Csv();

因此,您将提取文件夹中的所有文件并使用它,即使它是一个或多个文件。 您需要保证文件具有相同的结构否则您的提取器将抛出类似]的错误

“期望3列,但得到” x“列...

之后,您可以处理文件数据。

© www.soinside.com 2019 - 2024. All rights reserved.