Databricks 中的自动加载器

问题描述 投票:0回答:1

如果自动加载器读取文件并且写入失败,下次运行流时会发生什么?它会忽略这些文件还是会在流媒体过程中再次出现?

我试图使用自动加载器读取和写入数据。读取工作正常,写入也工作正常。但有时写入会失败

azure databricks
1个回答
0
投票

Autoloader 存储有关成功处理哪些文件的信息,并在失败时再次处理。

Databricks 文档:

如果出现故障,Auto Loader 可以通过检查点位置中存储的信息从中断处恢复,并在将数据写入 Delta Lake 时继续提供一次性保证。

https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/

© www.soinside.com 2019 - 2024. All rights reserved.