apache-kafka-streams 相关问题

与Apache Kafka的内置流处理引擎相关,称为Kafka Streams,它是一个用于使用Apache Kafka构建分布式流处理应用程序的Java库。

如何在内存中的Kafka Streams状态存储上启用缓存

我想减少下游发送的数据的数量,因为我只关心给定键的最后一个值,我正在以这种方式从主题读取数据:KTable table = build.table(“inputTopic”,.. 。

回答 1 投票 2

Kafka Stream StateStore是全球所有实例还是本地实体?

在Kafka Stream WordCount示例中,它使用StateStore来存储字数。如果同一个使用者组中有多个实例,则StateStore对于该组是全局的,或者只是本地的...

回答 2 投票 8

StateStoreSupplier在KafkaStreams中存储序列

我需要重新排序来自两个主题的数据(使用外部联接合并)。使用StateStore保持最新序列并使用...修改下游流值是一种好习惯吗?

回答 1 投票 1

如何在DSL中使用KeyValueStore状态存储?

KeyValueStore kvStore =(KeyValueStore )Stores.create(“InterWindowStore1”)。withKeys(Serdes.String())。withValues(Serdes.Long())....

回答 1 投票 0

如何注册无状态处理器(似乎也需要StateStore)?

我正在构建拓扑,并希望使用KStream.process()将一些中间值写入数据库。此步骤不会更改数据的性质,并且完全是无状态的。添加...

回答 1 投票 5

SLF4J:无法在Kafka流中加载类“org.slf4j.impl.StaticLoggerBinder”

当我在Kafka Streams中运行像wordcount这样的示例代码时,我得到以下错误:SLF4J:无法加载类“org.slf4j.impl.StaticLoggerBinder”。 SLF4J:默认为无操作(NOP)记录器......

回答 1 投票 1

kafka 0.10.2.2版本是否存在maven依赖?

我正在使用kafka版本:0.10.2.1并且此版本存在已知问题。 https://issues.apache.org/jira/browse/KAFKA-5167它已按照0.10.2.2及其他更高版本修复...

回答 1 投票 0

反序列化Avro序列化Kafka流的问题

我试图实现商店时收到异常。我正在运行Kafka 1.0,Confluent的Schema Registry 4.0和Avro 1.8.2。我用Avro的maven插件生成了Pojo并部署了......

回答 1 投票 2

Kafka将app粘贴在IO Wait中

我有流拓扑,从2个主题读取,重新分区,然后使用2天的joinWindow连接它们。我的问题是kafka流状态存储似乎导致读取和...

回答 1 投票 1

在Kafka流中是否有任何冷启动持久存储的选项?

我一直在kafka-streams工作几个月。我们使用RocksDB来存储数据。现在,changelog主题只保留数天的数据,如果我们的应用程序的持久存储有数据......

回答 1 投票 0

Apache Kafka 1.0.0 Streams API Multiple Multilevel groupby

如何在Kafka Streams API中使用带有多个约束的.groupby。与Java 8 Streams API示例相同,public void twoLevelGrouping(List 人的){final Map

回答 1 投票 6

在java中读取json列表

以前我用以下格式读取json数据:JSON {“CreationTime”:“2018-01-12T12:32:31”,“Id”:“08f81fd7-21f1-48ba-a991-08d559b88cc5”,“Operation”:“ AddedToGroup“,”......

回答 3 投票 0

Kafka流:将值连接到数组中

我有一个kafka流,它完成了KTable的缺失值(leftjoin完美地做到了这一点)。但有时,我必须将每个值连接成一个数组,我不知道该怎么做...

回答 1 投票 2

kafka Streams会话窗口

您好我正在使用kafka会话窗口,非活动时间为5分钟。当达到非活动时间并且会话根据密钥下降时,我想要某种反馈。我假设我有(A,1)......

回答 1 投票 1

Kafka Streams窗口加入了保留

我们正在使用kafka streams的“windows join”加入2个流,我们想知道:为什么KS会在内部主题上添加+ 24小时?例如,我们有一个1小时的窗口,但内部主题有...

回答 1 投票 3

KafkaStreams在读取主题时写入磁盘

我一直在调查Kafka Streams应用程序上的磁盘写入,我将拓扑结构减少到最低限度,即:KStream stream = builder.stream(“input-topic”); ...

回答 1 投票 3

使用散景绘图与kafka流媒体

这是我目前遇到的一个问题。最近我一直在探索用于绘图的散景和用于流式传输的kafka。我想到使用它们制作样本实时仪表板。但是......

回答 1 投票 0

Apache Kafka分组两次

我正在编写一个应用程序,我正在尝试计算每小时访问一页的用户数。我正在尝试过滤到特定事件,按userId和事件小时时间分组,然后按...分组

回答 1 投票 0

Kafka Streams应用程序在kafka服务器上打开了太多文件

我一直在研究基于java kafka-streams API的应用程序,其目标是处理来自一个kafka主题的数据流,并将其生成另一个主题。看来,......

回答 1 投票 1

KSQL / Kafka Streams可以支持复杂事件处理吗?

我想对kafka中的事件进行用户行为分析。 KSQL / Kafka Streams现在可以支持复杂事件处理了吗?

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.