在Intellij中可视化结构化的流writeStream输出

Question

我在Intellij中拥有结构化流Scala应用程序。

在使用以下方法以writeStream（）形式获得结果后：

val streamingDS = data
  .writeStream
  .format("json")
  .option("checkpointLocation", path)
  .option("path",path)
  .start()
  .awaitTermination()

如何使用display()功能在Intellij中实时可视化writeStream输出？ https://docs.databricks.com/notebooks/visualizations/index.html#visualizations-in-scala

display（）函数在Intellij中似乎不可用。请帮助。

Answer 1

tl [dr]类似display的功能在Databricks之类的笔记本环境之外不可用。

最接近的是使用console格式来打印要控制台的行。

val streamingDS = data
  .writeStream
  .format("console") // <-- use console
  .option("checkpointLocation", path)
  .option("path",path)
  .start()
  .awaitTermination()

Answer 2

[display是Databricks函数，仅在任何其他环境中使用Spark时不可用。

但是，您可以使用console sink调试流的输出，有关详细信息，请参见https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#starting-streaming-queries。

您必须将代码更改为类似的内容>

data
  .writeStream
  .outputMode("complete")
  .format("console")
  .start()
  .awaitTermination()