具有Azure事件中心的触发器。>

问题描述 投票:0回答:1

[我正在阅读有关使用Trigger.Once流而不是批处理(https://databricks.com/blog/2017/05/22/running-streaming-jobs-day-10x-cost-savings.html)。我使用Azure事件中心作为来源,每个触发器的项目限制为10.000,我必须处理几百万个事件。这将导致仅处理10.000项,并且在启用Trigger.Once时流停止。是否有人对如何使用流和Trigger做到这一点有任何想法。一旦有了功能,当流为空或处理到设定的时间时停止并停止?

我正在阅读有关使用Streaming与Trigger.Once而不是批处理(https://databricks.com/blog/2017/05/22/running-streaming-jobs-day-10x-cost-savings.html)。我正在使用Azure事件中心...

spark-structured-streaming azure-eventhub
1个回答
0
投票

我有相同的问题,有人帮忙吗?

© www.soinside.com 2019 - 2024. All rights reserved.