如何在流查询中生成摘要统计信息（使用Summarizer.metrics）？

Question

当前，我正在使用Spark结构化流式传输，以（id，timestamp_value，device_id，temperature_value，comment）的形式创建随机数据的数据帧。

每批火花数据帧：

基于上面数据框的屏幕快照，我想对“ temperature_value”列进行一些描述性统计。例如，最小值，最大值，平均值，计数，方差。

我在python中实现此目标的方法如下：

import sys
import json
import psycopg2
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
from pyspark.sql.functions import from_json, col, to_json
from pyspark.sql.types import *
from pyspark.sql.functions import explode
from pyspark.sql.functions import split
from pyspark.sql.functions import get_json_object
from pyspark.ml.stat import Summarizer
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.feature import StandardScaler
from pyspark.sql.functions import lit,unix_timestamp
from pyspark.sql import functions as F
import numpy as np
from pyspark.mllib.stat import Statistics

spark = SparkSession.builder.appName(<spark_application_name>).getOrCreate()
spark.sparkContext.setLogLevel("WARN")
spark.streams.active

data = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "kafka_broker:<port_number>").option("subscribe", <topic_name>).option("startingOffsets", "latest").load()

schema = StructType([
    StructField("id", DoubleType()),
    StructField("timestamp_value", DoubleType()), 
    StructField("device_id", DoubleType()), 
    StructField("temperature_value", DoubleType()),
    StructField("comment", StringType())])

telemetry_dataframe = data.selectExpr("CAST(value AS STRING)").select(from_json(col("value").cast("string"), schema).alias("tmp")).select("tmp.*")

telemetry_dataframe.printSchema()

temperature_value_selection = telemetry_dataframe.select("temperature_value")

temperature_value_selection_new = temperature_value_selection.withColumn("device_temperature", temperature_value_selection["temperature_value"].cast(DecimalType()))

temperature_value_selection_new.printSchema()

assembler = VectorAssembler(
  inputCols=["device_temperature"], outputCol="temperatures"
)

assembled = assembler.transform(temperature_value_selection_new)

assembled_new = assembled.withColumn("timestamp", F.current_timestamp())

assembled_new.printSchema()

# scaler = StandardScaler(inputCol="temperatures", outputCol="scaledTemperatures", withStd=True, withMean=False).fit(assembled)

# scaled = scaler.transform(assembled)

summarizer = Summarizer.metrics("max", "min", "variance", "mean", "count")

descriptive_table_one = assembled_new.withWatermark("timestamp", "4 minutes").select(summarizer.summary(assembled_new.temperatures))
#descriptive_table_one = assembled_new.withWatermark("timestamp", "4 minutes").groupBy(F.col("timestamp")).agg(max(F.col('timestamp')).alias("timestamp")).orderBy('timestamp', ascending=False).select(summarizer.summary(assembled.temperatures))

#descriptive_table_one = assembled_new.select(summarizer.summary(assembled.temperatures))

# descriptive_table_two = temperature_value_selection_new.select(summarizer.summary(temperature_value_selection_new.device_temperature))


# -------------------------------------------------------------------------------------

#########################################
#               QUERIES                 #
#########################################

query_1 = telemetry_dataframe.writeStream.outputMode("append").format("console").trigger(processingTime = "5 seconds").start()#.awaitTermination()

query_2 = temperature_value_selection_new.writeStream.outputMode("append").format("console").trigger(processingTime = "8 seconds").start()#.awaitTermination()

query_3= assembled_new.writeStream.outputMode("append").format("console").trigger(processingTime = "11 seconds").start()#.awaitTermination()

#query_4_1 = descriptive_table_one.writeStream.outputMode("complete").format("console").trigger(processingTime = "14 seconds").start()#.awaitTermination()
query_4_2 = descriptive_table_one.writeStream.outputMode("append").format("console").trigger(processingTime = "17 seconds").start()#.awaitTermination()

Summarizer documentation。

基于发布的代码，我隔离了列“ temperature_value”，然后对其进行矢量化（使用VectorAssembler）以创建矢量类型的“温度”列。

我想将“ Summarizer”功能的结果输出到我的控制台。这就是为什么我对outputMode使用“ append”并设置“ console”格式的原因。但是我遇到了以下错误：pyspark.sql.utils.AnalysisException：'当在不带水印的流式DataFrames / DataSet上进行流式聚合时，不支持追加输出模式。因此，我使用了“ withWatermark”函数，但是outputMode“ append”仍然出现相同的错误。

[当我尝试将outputMode更改为“ complete”时，我的终端立即终止了火花流。

即时流式终止：

“>

我的问题

：

1. 我应该如何使用“ withWatermark”功能，以便将向量列“温度”的摘要统计信息输出到控制台？

2. 还有其他方法可以为我的数据框的自定义列计算描述统计信息吗？

我先感谢您的帮助。

编辑（20.12.2019）

已经给出并接受了解决方案。虽然，现在出现以下错误：

[目前，我正在使用Spark结构化流式传输来创建（id，timestamp_value，device_id，temperature_value，comment）形式的随机数据的数据帧。每批次的Spark数据帧：基于...

Answer 1

[当我尝试将outputMode更改为“ complete”时，我的终端立即终止了火花流。