有没有办法在我只读的表上防止 ConcurrentAppendException？

Question

我有一个结构化流，它从 delta 表

sessions

读取并写入 delta 表

records

。目标是让流继续运行（这就是我认为流应该工作的方式），但是，我不断收到以下错误：

delta.exceptions.ConcurrentAppendException：文件已通过并发更新添加到分区 [...]。请重试操作。

对我来说，这似乎是一个非常简单的用例。在每次迭代中，流应该拍摄

sessions

的快照并将快照的结果写入

records

。在此期间对

sessions

的任何更新只会出现在流的下一个触发迭代中。

为什么会出现这种错误，可以采取什么措施？我希望能够让我的结构化流继续运行而不必包含任何重试逻辑。再一次，我认为这就是结构化流媒体的全部意义所在。或者我错过了什么？

阿帕奇火花 3.3 三角洲湖 2.2