PySpark 中的 Union 静态数据帧与 Spark 结构化流数据帧？

Question

是否有其他方法可以在 PySpark 中应用静态数据帧和结构化流数据帧之间的并集？

Answer 1

不，这在标准上是不可能的。

使用

foreachBatch()

和批处理功能可以满足这一点。

参见 https://docs.databricks.com/en/structured-streaming/foreach.html