如何使用 PySpark 正常关闭 StructureStreaming？

Question

作为主题，如何使用 PySpark 正常关闭 StructureStreaming？当我调用

spark.streams.awaitAnyTermination(timeout=100)

时，它总是返回错误：ERROR MicroBatchExecution：查询 [id = 97f61bda-ae06-4bcb-9a84-a10ea0f2f349，runId = 1370184a-8fd8-4445-b4a9-d87a1b0de07c] 因错误而终止 java.lang.IllegalStateException：无法在已停止的 SparkContext 上调用方法。

请对我的问题提出任何建议

正常关闭 Pyspark StructuredStreaming 程序

Answer 1

此查询

spark.streams.awaitAnyTermination(timeout=100)

用于等待 Spark 结构化流查询的终止或指定的超时（本例中为 100 毫秒），以先发生者为准。

但是要正常关闭会话，您可以使用

stop()

方法来停止底层 SparkContext 并释放其使用的所有资源。

spark.stop()

希望有帮助！