spark-streaming 相关问题

Spark Streaming是核心Apache Spark API的扩展，可实现实时数据流的高吞吐量，容错流处理。从版本1.3.0开始，即使遇到故障，它也支持一次性处理语义。

Spark SCALA - 连接两个数据帧，其中一个数据帧中的连接值位于第二个数据帧中的两个字段之间

我有两个数据帧（删除与问题无关的字段）：df1：org.apache.spark.sql.DataFrame = [rawValue：bigint] df2：org.apache.spark.sql.DataFrame = [startLong：bigint ，...

apache-spark apache-spark-sql spark-streaming

回答 1 投票 0

带有Sparking Streaming的订单保证

我试图从kafka获得一些我希望在另一个系统中向下游传播的更改事件。但是，变更指令很重要。因此我想知道这样做的恰当方法是什么......

apache-spark streaming apache-kafka spark-streaming

回答 1 投票 1

KafkaAvroDeserializer的例外情况

我正在使用spark从主题kafka获取数据。我必须使用KafkaAvroDeserialaizer对avro数据进行deserialaizer。我配置kafka使用者：kafkaParams.put（“bootstrap.servers”，“10.0.4.215：9092”）; ...

java exception spark-streaming apache-kafka-streams

回答 2 投票 1

Kafka主题的JSON中没有发生结构化流 - 流连接

应用程序监听2 kafka主题userevent paymentevent Payload for userevent {“userId”：“Id_223”，“firstname”：“fname_223”，“lastname”：“lname_223”，“phonenumber”：“P98202384_223”，“usertimestamp”：“.. 。

java apache-spark apache-kafka spark-streaming spark-structured-streaming

回答 1 投票 0

如何使用具有火花数据流结构的非基于时间的窗口？

我正在尝试使用带有spark和kafka的结构化流媒体窗口。我在非基于时间的数据上使用窗口，因此我收到此错误：'流式DataFrames /不支持非基于时间的窗口...

pyspark apache-spark-sql spark-streaming

回答 2 投票 1

如何在spark结构化流媒体应用程序中优化执行程序实例的数量？

运行时YARN集群模式应用程序Spark结构化流从Kafka主题读取数据关于Kafka主题1主题，包含4个分区 - 现在。（分区数可以更改）添加2000 ...

apache-spark spark-streaming spark-structured-streaming spark-streaming-kafka

回答 1 投票 0

连续处理模式和python udf

Spark 2.4.0是否支持具有连续处理模式的Python UDF？在我的简单代码中，我正在使用kafka主题，每行进行一些简单的处理（基本上为...添加一个虚拟字段）