如何防止Azure流分析作业读取不完整的文件

问题描述 投票:0回答:1

我在Azure中创建了流分析作业,该作业从blob存储中的文件读取数据(从blob存储中的已定义容器读取数据,并且此作业将文件中的数据放入Cosmos DB SQL API中。如何防止Azure Strean Analytics作业读取不完整的文件。我不希望作业不完整(仍在写文件)。

azure stream azure-stream-analytics
1个回答
0
投票

据我所知,ASA作业无法识别哪些文件是不完整的文件,哪些是已完成的文件。一旦您设置了定义的输入...开始作业,它将实时从输入端收集任何流数据。 ASA的功能!

返回您的要求:您要传输数据,同时要推送数据。但是,您想让传输由文件的某些特定状态执行。

恐怕ASA不是您的选择。使用ETL服务进行触发器可能更适合您。您可能会想到支持触发器执行的Azure Data Factory copy activity概念。完成推送数据后,您可以触发ADF将数据从Blob存储传输到cosmos db。

© www.soinside.com 2019 - 2024. All rights reserved.