apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

Kafka 状态存储跨子拓扑共享

我正在尝试创建一个自定义加入消费者来加入多个事件。 我创建了一个拓扑,它有四个子拓扑(subtopology-0、subtopology-1、subtopology-2、subtopology-3),不在

回答 1 投票 0

具有KRAFT认证的Kafka

我有 kafka 和 KRAFT,我希望我的用户(在 python 中)只能访问专门为他们创建的特定主题。 请任何建议,我完全不明白如何制作。我可以

回答 1 投票 0

Kafka 消费者注册表每次保存都需要很长时间

我对kafka很陌生,我有一个init函数来设置生产者、消费者并订阅我拥有的所有主题。目前,我们的每个 Express 端点(res、req)有 20 个主题。它

回答 1 投票 0

从kafka读取数据并写入hadoop/hbase/hive/spark堆栈批量处理

我有一个技术堆栈,其中 Hadoop 作为原始数据的分布式存储,HBase 作为在 Hadoop 和 HDFS 之上运行的 NoSQL 数据库,Hive 作为 Hive 之上的 RDBMS 数据仓库,用于应用程序...

回答 1 投票 0

Quarkus 消息传递 - 验证连接器传出消息

我们使用 Quarkus 来消费来自 Kafka 的事件,执行一些丰富操作,并使用自定义连接器通过 HTTP 将它们推送到内部系统。 我们需要验证丰富的事件是否...

回答 1 投票 0

Openshift 到 Kafka 服务器的路由

是否可以创建到Openshift中部署的Kafka服务器的Openshift路由,以便使用Kafka工具从本地计算机连接Kafka? 有一个 Pod(Kafka、Zookeeper), 服务(

回答 1 投票 0

Zookeeper f-sync 问题导致 Kafka 超时

我们正在尝试在具有 16 核和 16 GB RAM 的 VM 上为 Zookeeper 和 Kafka 进行单节点安装。 Zookeeper 显示 f-sync 问题,并且在设置的 6000 毫秒超时期限之后 kafka gi...

回答 1 投票 0

消费者中的@KafkaHandler不会将主题消息作为对象类消费,而仅作为字符串消费

我有一个简单的 Java Spring Boot 应用程序,它应该将来自 Kafka 的主题消息作为对象类使用,但它只能作为字符串调用。仅调用了handleDefault..为什么? @

回答 1 投票 0

Kafka - 重置分区偏移量不起作用

我有一个主题“oranges”,有 10 个分区,1 个消费者组内有 2 个消费者。我正在使用 Spring Kafka。 由于某些原因,我需要时不时地重新读取数据,我需要重置

回答 1 投票 0

当我使用 Apache Kafka 重新启动应用程序时,我想再次使用相同的消息,但这需要几乎 1 分钟

我有一个控制台应用程序(消费者)。当我重新运行我的应用程序时,我想再次使用相同的消息。我已经设置:EnableAutoCommit = false 但每次我重新运行我的应用程序时......

回答 1 投票 0

Spark消费者使用docker运行时找不到kafka主题分区

当我提交连接到 kafka 代理的 Spark 应用程序时,它会执行 kafka 查询,但不会将任何内容返回到控制台。找不到主题分区。 这是我的日志

回答 1 投票 0

Spring Cloud Kafka Binder 设置指定消费者组的自动偏移重置不会更改默认值

我正在尝试从最新的可用偏移量中读取(没有为消费者组提交偏移量),所以我在属性中指定 spring.cloud.stream.bindings.process-in-0.group=测试组 spring.cloud.stream.

回答 1 投票 0

在一个 Spring Boot 应用程序中使用多个不同的 kafka 服务器的方法是什么?

我有一个 Spring Boot 应用程序,与 kafka 一起使用(假设 kafka#1) 现在我有一个案例,当我需要连接到外部服务(kafka#2)的 kafka 服务器以及明天另一个外部服务的

回答 2 投票 0

如何删除 Kafka 中的所有 ACLS

我尝试了以下方法,但它不起作用,尽管理论上,根据 acl 工具提示它应该起作用。 kafka-acls --bootstrap-server 服务器:9094 --command-config client-sasl.properties --r...

回答 1 投票 0

Spark 流 + kafka 集成,每 15 分钟从 kafka 读取一次数据,并使用 PySpark 存储最后读取的偏移量

使用PySpark,实现了Spark Streaming + Kafka集成。每次运行都会给出从 0 开始的偏移量。 需要解决2个问题: 最后 15 分钟的阅读流 从每个

回答 1 投票 0

Mirror Maker 2.0性能调优优化

我正在使用 Mirror Maker 2.0 将数据从一个集群复制到另一个集群。我已经完成了设置,并且在几个主题上运行良好。 当我们尝试增加...时,我遇到了问题...

回答 1 投票 0

从 Quarkus 中的 ConfigProperty 传递常量值

我需要在我的kafka主题前面传递一个前缀,因为我们在所有环境中使用相同的kafka。在 SpringBoot 中,它非常简单,如下所示: 本地楼层酒吧 hmlg_foo_bar 产品_foo_bar 在

回答 1 投票 0

监听 KafkaAvro 格式事件时 KafkaListener 出现 CompletionException 错误

我在使用 KafkaListener 侦听来自 Azure EventHub 的 Avro 格式事件时收到此 CompletionError。错误日志: java.util.concurrent.CompletionException: java.lang.NoClassDefFoundError...

回答 1 投票 0

DebeziumException“连接器之前在拍摄快照时停止,但现在连接器配置为绝不允许快照”

我正在分布式模式下使用debezium将mssql db的cdc事件推送到kafka主题。 命令:%KAFKA_HOME% in\window

回答 0 投票 0

需要使用 Kafka Connect 将小型 JSON 消息从 Kafka 移动到 HDFS,但不使用 Confluence 库(如果不是完全免费的话)

我想使用 Kafka Connect 将 JSON 消息从 Kafka 移动到 HDFS,然后移动到 Impala,仅使用开源库。 我试图了解是否可以使用 Kafka Conn 的 Confluence Sink 库......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.