spark-structured-streaming 相关问题

Spark Structured Streaming允许使用unifrom DataFrame和Dataset API处理实时数据流。

我有一个流数据帧有三列时间col1，col2。 + ----------------------- + ------------------- + ----- --------------- + | time | col1 | col2 | ...

scala apache-spark apache-spark-sql spark-structured-streaming

回答 1 投票 6

从Kafka主题中读取结构化流

我已经读取了一个csv文件，并将值字段转换为字节，并使用Kafka生成器应用程序写入Kafka主题。现在我试图使用结构化流媒体来读取Kafka主题，但不是......

apache-kafka spark-structured-streaming

回答 1 投票 0

Spark Structured Streaming error读取字段'topic_metadata'时出错

我试图运行一个非常简单的例子。我有一个Kafka readStream，它从Kafka主题中读取。我正在运行spark 2.4.0和Kafka 0.10.2 var streamingInputDF = spark.readStream .format（“...

apache-spark apache-kafka spark-structured-streaming

回答 1 投票 0

Spark结构化流多个WriteStream到同一个接收器

Spark Structured Streaming 2.2.1中没有按顺序发生到同一数据库接收器的两个Writestream。请建议如何按顺序执行它们。 val deleteSink = ds1.writestream ....

scala apache-spark slick-3.0 spark-structured-streaming

回答 1 投票 2

以有状态的方式处理火花中的网络数据包

我想使用Spark来解析网络消息，并以有状态的方式将它们分组为逻辑实体。问题描述假设每条消息都在输入数据帧的一行中，......

apache-spark apache-spark-sql spark-structured-streaming

回答 2 投票 1

解释Spark Structured Streaming执行程序和Kafka分区之间的映射

我已经使用4个分区在Kafka主题上部署了一个包含4个工作者的结构化流。我假设将有4个工作人员部署4个分区，并在...之间进行一对一的映射。

apache-spark spark-structured-streaming

回答 2 投票 1

Kafka主题的JSON中没有发生结构化流 - 流连接

应用程序监听2 kafka主题userevent paymentevent Payload for userevent {“userId”：“Id_223”，“firstname”：“fname_223”，“lastname”：“lname_223”，“phonenumber”：“P98202384_223”，“usertimestamp”：“.. 。

java apache-spark apache-kafka spark-streaming spark-structured-streaming

回答 1 投票 0

如何在spark结构化流媒体应用程序中优化执行程序实例的数量？

运行时YARN集群模式应用程序Spark结构化流从Kafka主题读取数据关于Kafka主题1主题，包含4个分区 - 现在。（分区数可以更改）添加2000 ...

apache-spark spark-streaming spark-structured-streaming spark-streaming-kafka

回答 1 投票 0

连续处理模式和python udf

Spark 2.4.0是否支持具有连续处理模式的Python UDF？在我的简单代码中，我正在使用kafka主题，每行进行一些简单的处理（基本上为...添加一个虚拟字段）

apache-spark spark-streaming spark-structured-streaming spark-streaming-kafka

回答 1 投票 0

spark-structured-streaming 相关问题

最新问题